BIJLAGE. PO en VO SAMENVATTING LITERATUURONDERZOEK NATIONAAL EN INTERNATIONAAL

BIJLAGE SAMENVATTING LITERATUURONDERZOEK NATIONAAL EN INTERNATIONAAL.

PO en VO

Hessel de Boer Zeger van Hoffen Gert Kamphof Tseard Veenstra Josée von Weijhrother

R&D Visitatie een krachtig middel voor onderwijsontwikkeling. PO en VO.

Bijlage literatuur. December 2013.

1

Inhoud

1.

Aanleiding voor collegiale consultatie.

2.

Definitie en doelen.

3.

Internationaal onderzoek en literatuur.

4.

Nederlands en Belgisch onderzoek, literatuur en voorbeelden.

5.

Literatuur- en bronnenoverzicht

Voor het lezen: Bij het zoeken naar relevante onderzoeken en trajecten van Collegiale Visitatie / Consultatie geven de meeste publicaties een algemene aanpak van peer review. Het aantal gepubliceerde toepassingen van collegiale visitatie in de praktijk en zo mogelijk bewezen (positieve) effecten is helaas beperkt. Het verifiëren van opgenomen citaten en commentaren is minimaal mogelijk geweest. Wat opvalt is dat in enkele publicaties gesproken wordt over collegiale consultatie, terwijl het om collegiale ondersteuning of begeleiding gaat.



2

Bevindingen (collegiale) visitatie op basis van literatuur. Het sloa/r&d-onderzoek naar ‘resultaten van visitatie’ spitst zich toe op concrete ervaringen binnen het (basis- en voortgezet) onderwijs in Nederland. Over visitatie en andere vormen van peerreview is vanuit andere sectoren en landen veel bekend, zoals blijkt uit het hieronder opgenomen literatuuroverzicht. Het overzicht bestaat uit twee delen. Deel 1 bevat onderzoeksrapportages en artikelen over collegiale visitatietrajecten in het buitenland en deel 2 over trajecten in Nederland/België. De literatuur uit andere landen dan Nederland betreft diverse onderzoeks- en ontwikkeltrajecten uit sectoren als de accountancy, journalistiek, wetenschappelijk uitvoerend werk en het onderwijs. De voorbeelden die naar voren komen, bevestigen veelal de beelden en opinies hoe Collegiale Visitatie en/of Consultatie in het Nederlandse onderwijs vormgegeven zou moeten worden. De Nederlands/Belgische voorbeelden van collegiale visitatietrajecten beschrijven eveneens enkele onderzoeks- en ontwikkeltrajecten in andere sectoren. Zoals de gezondheidszorg, organisatieadviesbureaus. En enkele gepubliceerde (pilot-)trajecten in het onderwijs. Al deze kort beschreven onderzoeks- en pilottrajecten bieden een goed aanknopingspunt en leveren handige input en formats voor mogelijke ontwikkeltrajecten in het Nederlandse onderwijs.

1. Aanleiding voor Collegiale Visitatie. Uit de literatuur blijkt dat er twee majeure redenen zijn om visitatie te starten: a)

Re-actief: Organisaties, bijvoorbeeld in de zorg, accountancy, journalistiek of advocatuur, kiezen voor visitatie vanwege kritiek die zijn krijgen op een nogal gesloten, weinig transparante houding. Er is een (maatschappelijke) druk om de ‘luiken te openen’. Ook voor de onderwijssector is deze invalshoek actueel, maar zeker niet doorslaggevend. Scholen krijgen het verwijt dat zij niet transparant zijn, zowel als het gaat om onderwijs in de klas (‘koning in eigen klaslokaal’) als om het schoolbeleid. Zeker in de Amerikaanse literatuur zijn veel voorbeelden beschreven van collegiale visitatie (peer review) met een crises als aanleiding. Zo bracht de financiële crises aan het licht dat accountants goedkeuringen hadden afgegeven, terwijl de onderbouwing daarvoor ontbrak. Recente voorbeelden van publicaties of misdragingen van personen of organisaties hebben betrekking op onder meer wetenschappelijk onderzoek, journalistiek, banken en de zorg (foute declaraties en onvoldoende kwaliteit van behandeling. Het instrument wordt ingezet omdat de kwaliteit van het onderzoek of de uitvoering van het werk onvoldoende blijkt te zijn of onvoldoende wordt geacht door de gebruikers of de inspectie en om schade te voorkomen.

b)

Pro-actief: Deze aanmerkelijk positievere insteek van visitatie gaat uit van het creëren van een cultuur van ‘met en van elkaar leren’. Een cultuur waarin sprake is van samenwerken, team-teaching, lesobservaties en anderen vormen van de ‘deuren open’ op lerarenniveau. Ook op school(leiders-)niveau is dit de cultuur die ons onderwijs van goed naar excellent kan brengen, zo stelt het rapport ‘Het Nederlands Onderwijs: beter dan we denken, maar niet zo goed als we willen’ (McKinsey, augustus 2012).



3

2. Definitie en doelen. Collegiale visitatie of collegiale consultatie wordt internationaal aangeduid met Peer Review. Dit wordt omschreven als een instrument waarmee personen of organisaties elkaar de spiegel voorhouden, zodat ze na visitatie over en weer een volgende stap (kunnen) zetten in het eigen ontwikkelingsproces. De doelstellingen van Collegiale Visitatie zijn dan: -

het ontwikkelen en realiseren van een sterke vorm van reflectie in organisaties.

-

het verder versterken van de systematische kwaliteitszorg in organisaties. 1

3. Internationaal onderzoek en literatuur. Wat zien we in andere landen? Internationaal springt in drie sectoren een stringente vorm van collegiale consultatie in het oog en wel ten eerste bij accountantsbureaus in de Verenigde Staten tijdens en kort na de wereldwijde financiële crisis in 2008. Zij hadden goede accountantsrapporten afgegeven, terwijl die instellingen daarna door een onvoldoende inzicht in de complexe en niet geheel transparante financiële boekhouding toch in zwaar weer kwamen. Voor de journalistiek, waar men mede door diverse rechtszaken de kwaliteit en waarheid van ingezonden artikelen wilde kunnen evalueren, ontwikkelde David Shatz 2 een eerste aanzet voor het inzetten van een evaluatie door deze beroepsgroep. Tenslotte zijn de ontwikkelingen rondom peer review bij het wetenschappelijk uitvoerend werk opmerkelijk. Niet in het minst vanwege de breed in de pers uitgemeten en, voor de hoog aangeschreven universiteiten, erg gênante fraudegevallen. Peer review is bij uitstek geschikt om toe te passen bij het wetenschappelijk uitvoerend werk. Ulrich Pöschl 3 stelt, op basis van een aantal uitgebreide internationale wetenschappelijke onderzoeken en onderzoekspublicaties, in zijn artikel “Multi-Stage Open Peer Review: Scientific Evaluation Integrating the Strengths of Traditional Peer Review with the Virtues of Transparency and Self-Regulation” dat de traditionele vormen van wetenschappelijk publiceren en peer-review niet aan alle eisen van een efficiënte communicatie en kwaliteitsborging in de zeer divers en snel veranderende wereld van de wetenschap van vandaag voldoen. Het is te gemakkelijk om fraude te plegen. De vormen van wetenschappelijk publiceren moeten volgens Pöschl worden verbeterd en aangevuld met interactieve en transparante vormen van beoordeling, publicatie en discussie. Die transparant moeten zijn en open moeten staan voor zowel de wetenschappers als het publiek. De voordelen van open toegang, van openbare peer review en interactieve discussie kan, volgens Pöschl, efficiënt en flexibel worden gecombineerd met de sterke punten van traditionele wetenschappelijke peer review. Het format van Pöschl voor multi-stage open peer review beschrijft de indicatoren hoe tijdschriften voor wetenschappelijke publicaties een integratieve meerfasenprocedure van publicatie en peer review kunnen toepassen in combinatie met interactieve publieke discussie. Dit biedt volgens hem een oplossing voor het dilemma tussen snelle wetenschappelijke uitwisseling en grondige kwaliteitszorg. De validiteit van deze aanpak is inmiddels bevestigd in een reeks van gerichte studies. Vaststaat dat dezelfde of soortgelijke concepten de afgelopen jaren ook in andere disciplines zijn goedgekeurd, met inbegrip van de life sciences en economie. Wat zien we in het onderwijs? Volgens David Shatz hebben juist studenten, tijdens hun (hbo en universitaire) studies, het grootste profijt van peer review. Zij (zouden) moeten leren hoe ze constructief zichzelf en elkaar de meest effectieve en bruikbare feedback kunnen geven. Michelle Trim 4 heeft voor studenten verschillende methoden ontwikkeld voor het

1

naar beschrijving collegiale visitaties in de brochure SCO Lucas en CVO Rotterdam, Hoofdstuk 1. Ambitie en perspectief Shatz, David (2004): Peer Review, A critical inquiry. Ulrich Pöschl, (Juli 2012), “Multi-Stage Open Peer Review: Scientific Evaluation Integrating the Strengths of Traditional Peer Review with the Virtues of Transparency and Self-Regulation” 4 Trim, Michelle (Juni 2006): Wat every student should know about practicing Peer Review 2 3



4

beoefenen van peer review. Zowel voor toepassing in klassenverband als in een een-op-een samenwerking. Trim heeft in haar publicatie speciale aandacht voor online peer evaluatie. In het boek “Peer review of teaching” bespreekt Mary Van Note Chism

5

belangrijke fundamentele

vraagstukken rondom peer review, praktische voorbeelden en suggesties, die zij uit gesprekken met diverse studiegroepen verzameld heeft. Zij wil voorkomen dat peer review verwordt tot het louter inzetten van formats en rigide procedures. Terwijl het volgens haar een laagdrempelige professionele taak is, die voor het realiseren van goed onderwijs meer dan de moeite waard is om te gebruiken. Als voorbeeld geeft ze het systematisch en doordacht beoordelen van het werk van studenten. Bij wetenschappelijk uitvoerend werk is het actief willen betrekken van de student bij het eigen leren een belangrijk doel van peer review. Dit leidt volgens de onderzoekers namelijk tot een verhoogd gebruik van problem-based learning, de case study methode en andere benaderingen die de traditionele vormen van peer review niet meenemen. Europees onderzoek. Het voor het onderwijs en voor dit onderzoek naar de effectiviteit van collegiale visitatie in het onderwijs meest toepasbare internationale onderzoeksrapport is wel “School peer-review outcomes and suggestions for future peer-reviewing processes” van de Finse onderzoekers Minna Lakkala and Liisa Ilomäki 6. Dit rapport, dat tot stand kwam met hulp van Europese fondsen, heeft de titel P2P Project gekregen en beschrijft een onderzoek naar en analyse van een traject waarin 14 scholen in Europa in 2003-2005 in het kader van een gewenste verbetering en monitoring van e-learning en ict-beleid op hun scholen een collegiale visitatie (peerreview) hebben toegepast om de beste voorbeelden van ict-vernieuwingen en implementatie te kunnen benchmarken (prestaties vergelijken). De focus in het onderzoek was gericht op de inhoud van het visitatieproces en de uitkomsten. Dat wil zeggen: welke kenmerken en elementen hebben de schoolteams (leraren en schoolleiders) bij de bezochte scholen onderzocht, wat vonden ze belangrijk of interessant en wat voor soort ideeën verkregen zij? Er is door de onderzoekers een gezamenlijk kenniskader ontwikkeld om de visitaties (waarnemingen en beoordelingen) te kunnen analyseren en presenteren, de ervaringen en de uitkomsten te kunnen overdragen en de gewenste veranderingen te kunnen bevorderen. Daarnaast hebben de onderzoekers een schooltoetsingskader ontwikkeld, waarin naast de basisgegevens van de scholen ook allerlei informatie over kwaliteitscriteria konden worden opgenomen voor het beoordelen van de waarde van de innovatie. Het P2P rapport is impliciet, dat wil zeggen dat ook de resultaten van de door de deelnemende scholen uitgevoerde kwaliteitsbeoordeling zijn opgenomen. Het nevendoel van het onderzoeksproject was het ondersteunen van de ontwikkeling van essentiële samenwerkende denkprocessen van leraren en scholen. Processen die essentieel zijn voor het individuele en organisatorisch leren en los staan van de dagelijkse praktijk. (Day, 1999; Hargreaves & Dawe, 1990). De analyse van de uitkomsten van de CV hebben de onderzoekers gebaseerd op de rapporten die door de schoolteams zijn geschreven. Wat kan het Nederlandse onderwijs van dit onderzoek leren? Lakkala and Ilomäki noemen in hun onderzoek naar de effectiviteit van collegiale visitatie in het onderwijs de volgende leerpunten ten aanzien van de vraag “Wat heeft Collegiale Visitatie opgeleverd in het P2P traject en welke vragen roept het op?”: 1)

Collegiale visitatie is een uitdagende taak voor schoolteams. Het reflecteren op de praktijken van het lesgeven op een andere school of het schrijven daarover is geen routine-onderdeel van het werk van leraren of zelfs van schoolleiders. Omdat een school daarnaast zeer complex en zeer veelzijdig is, is het niet eenvoudig om erachter te komen waar je je op moet concentreren en wat je moet bekijken.

5

Mary Van Note Chism,(juni 2007), “Peer review of teaching” “School peer-review outcomes and suggestions for future peer-reviewing processes”, maart 2006, Minna Lakkala and Liisa Ilomäki6, Centre for Research on Networked Learning and Knowledge Building Department of Psychology, University of Helsinki, Finland. 6



5

2)

In de rapportages van de leraren/schoolleiders worden veelal de concrete functies van de te onderzoeken items benoemd en allerlei (naast gelegen) problemen. In plaats van de gewenste beschrijving van de waarnemingen omtrent waardevolle kwalitatieve ontwikkelingen in de bezochte school.

3)

De aandacht richt zich, in ieder geval tijdens een kort visitatiebezoek, gemakkelijk op de grotere thema’s die anders (georganiseerd) zijn dan die in het eigen land.

4)

Het kunnen maken van generalisaties op een hoger niveau of interpretaties op basis van de waarnemingen (zoals de praktijken die onzichtbaar zijn en ingebed in de dagelijkse sociale praktijken) is moeilijk voor schoolteams. Te denken valt aan het onderwijzen en de leermethoden of aan het interne en externe netwerken van docenten en leerlingen.

5)

In de rapportages noemden de scholen heel weinig problemen bij het thema "Ideeën en praktijken die u bereid bent om in uw eigen school te implementeren ". Ze vermeldden veelal alleen enkele concrete voorbeelden als mogelijke toepassingen in de eigen school.

6)

Als een enkele ontwikkelde praktijk een essentieel onderdeel is geworden van een schoolwerkcultuur, is deze diepgaand aanwezig in alle activiteiten en concrete acties en wordt die ook waargenomen in een kort, wat oppervlakkig bezoek.

Reflectie van de onderzoekers bij 4): Onderzoek leert dat dit niet alleen een probleem is voor het uitvoeren van visitatiebezoeken, maar nauw verbonden is met de vraag naar de rol van de docent en hun verantwoordelijkheid in een scholengemeenschap wereldwijd. Gewone docenten hebben gedurende de schooldag heel weinig tijd over om samen te komen en ideeën te delen en hun onderwijs te verfijnen. Leraren zijn zich niet volledig bewust van hun professionele kennis en middelen en maken niet bewust gebruik van de onderling opgebouwde pedagogische know-how (Hargreaves, 1999, zie ook Hakkarainen, Palonen, Paavola, & Lehtinen, 2004). Onderzoek van Bereiter & Scardamalia 1993; Fullan, 2001 laat zien dat leraren niet de gewoonte hebben van het geven en ontvangen van informatie. In veel gevallen ontmoedigt de schoolcultuur het dergelijk delen van kennis. En de pedagogische praktijk van scholen ondersteunt veelal niet de expertachtige kenniscreatie. De onderzoekers constateerden dat de manier van werken in het P2P-project helaas geen ondersteuning biedt aan de ontwikkeling van de reflectieve vaardigheden die hiervoor nodig waren. Een open vraag die uit het onderzoek oprijst is, welke ondersteuning de schoolteams nodig zouden hebben gehad om reflectie op een hoger niveau te bereiken? Zouden de teams met een hoger kennisniveau van en ervaring met reflectie meer motivatie en betrokkenheid hebben geëist, meer tijd, meer middelen, systematische training of meer ondersteuning en consultatie van de onderzoekers? Reflectie bij 5): De onderzoekers concluderen niet dat leraren en directies niets leren van het bezoek aan een andere school. Het werkelijke voordeel van de peer review wordt slechts geleidelijk gerealiseerd in het praktische schoolwerk. Aanbevelingen voor het Nederlandse onderwijs: 1.

Organiseer (start-)bijeenkomsten.

2.

Besluit of het maken van een reflectieverslag echt nodig is.

3.

Besluit of er gemeenschappelijke afspraken/procedures moeten komen en een format voor de communicatie.

4.

Laat scholen zich helpen bij de oriëntatie op onderzoeksthema’s en de reflectie achteraf.

5.

Laat scholen zich adviseren/ondersteunen bij het maken van een model voor visitatie.

6.

Ondersteun de bezoekende teams.

7.

Goed gecommuniceerd (internationaal) voorbeeld doet goed volgen.

8.

Gebruik verschillende (sociale) media en virtuele manieren voor collegiale visitatie.



6

4. Nederlands en Belgisch onderzoek, literatuur en voorbeelden. a.

Collegiale visitatie in de gezondheidszorg.

Voorbeeld ouderengeneeskunde. In Nederland springt vooral de gangbare collegiale visitatie in de gezondheidszorg in het oog. De specialisten ouderengeneeskunde bijvoorbeeld passen al een aantal jaren op basis van gelijkwaardigheid, vertrouwelijkheid en deskundigheid collegiale visitatie toe. Zij hebben in november 2009 een relevante publicatie uitgebracht rondom “Collegiale toetsing van specialisten ouderengeneeskunde en hun vakgroep” (Verenso 7). De focus ligt op het leren van elkaar. In de publicatie “Visitatie als kwaliteitsinstrument. Visitatie: instrument voor evaluatie” wordt het instrument als volgt omschreven: vakgenoten gaan bij elkaar op ‘visite’ om te zien hoe de zorgverlening in de betreffende praktijk is georganiseerd. Het wordt ‘collegiale evaluatie van het functioneren’ genoemd, waarbij ze de lat hoog leggen: ze verwachten als effect goede behandelresultaten, tevreden patiënten, soepele samenwerking tussen disciplines, zorgvernieuwing. Dit houdt in: iedereen wil dat patiënten de best mogelijke zorg krijgen. Deze methodiek biedt elke deelnemende specialist ouderengeneeskunde reflectie op het eigen handelen en het functioneren van de vakgroep. De winst van visitatie is dat de vakgroep en de individuele arts op basis van systematische feedback inzicht krijgen in sterke en verbeterpunten. De deelname van de specialisten is nu nog vrijblijvend. Vanaf 1 januari 2014 is visitatie echter een verplicht onderdeel van periodieke herregistratie van de specialist ouderengeneeskunde. Uitvoering en toezicht. De uitvoering en het toezicht op de kwaliteit van de visitaties is door de beroepsgroep neergelegd bij de landelijke Commissie Visitatie (Verenso). Deze Commissie organiseert de visitaties en formeert de visitatieteams. De commissie stelt ook het visitatierapport vast, waarna het naar de gevisiteerde vakgroep wordt gestuurd. In de visitatiesystematiek worden vier instrumenten ingezet: het portfolio, de Quick Scan, casuïstiek en de 360° feedback. Deze visitatiemethodiek sluit aan op de taken, werkwijze en werksituatie van de specialist ouderengeneeskunde. Bij de ontwikkeling van het instrument is gekeken naar de ervaringen met de al langer bestaande visitatiesystemen voor medisch specialisten, huisartsen en bedrijfsartsen. Voorbeeld Infectieziektenbestrijding. Een treffend voorbeeld is de aanpak van het VISI (Bureau voor Versterking Infrastructuur Infectieziektebestrijding). Het VISI heeft in maart 2003 in het kader van verbetering van het werk van de professionals en instellingen op het gebied van preventie volksgezondheid en bestrijding infectieziekten een plan van aanpak gemaakt voor een pilotproject collegiale visitatie. Deze is uitgevoerd bij het ROI Noord-Holland / Flevoland 8. Na deze pilot zijn aan het ontwikkelde stappenplan en aan de planning de elementen Activiteit, Actor, Tijdpad en Resultaat toegevoegd. Uitvoering en toezicht. Collegiale visitatie werd en wordt voor deze sector ingezet als een kwaliteitsinstrument voor het toetsen en verbeteren van de zorgverlening van professionals en instellingen. De aanpak betreft een intercollegiale doorlichting van de organisatie van het zorgverleningsproces op locatie. Dat wil zeggen, een aantal beroepsgenoten, zoals wetenschappelijke verenigingen van medisch specialisten, tandheelkundige beroepsbeoefenaren en GGD Nederland, gaan bij elkaar op ‘visite’ om te zien hoe de zorgverlening in de betreffende praktijk is georganiseerd. Het uitvoerend bureau, VISI, past de methodiek toe van het Centraal BegeleidingsOrgaan voor de intercollegiale toetsing voor wetenschappelijke verenigingen (CBO 9). Het CBO is in 1979 opgericht door de orde van medisch specialisten (voorheen landelijke specialisten vereniging– LSV) en de Geneeskundige Vereniging (GV).

7

Verenso, (november 2009), Utrecht, landelijk ondersteunend bureau voor specialisten in ouderengeneeskunde. ROI is Regionaal Overleg Infectieziekten 9 CBO, Centraal BegeleidingsOrgaan, is onderdeel van TNO 8



7

De volgende activiteiten worden door het CBO als ondersteunende organisatie uitgevoerd:

• • • • • • •

advisering bij het opzetten van visitatieprojecten en -trajecten; ontwikkeling van visitatiematerialen, zoals vragenlijsten en visitatieprotocollen; training van ervaren en aankomende visiteurs; coaching van visiteurs tijdens de (proef)visitaties; evaluatie van visitatietrajecten; ondersteuning bij het verbeteren van een visitatieproject; begeleiding bij de ontwikkeling van kwaliteitsbeleid.

Basisgedachte in de gezondheidszorg. De basisgedachte achter de visitatie in de gezondheidszorg is, dat tekortkomingen in de kwaliteit van zorg zelden te wijten zijn aan onkunde, ondeskundigheid of desinteresse van de zorgaanbieders. Zij hangen vaak samen met de organisatie van de zorg en de geboden randvoorwaarden. Zodoende levert het proces de kwaliteit waarvoor het ontworpen is. Er blijven dus altijd mogelijkheden om de kwaliteit van het uitvoerend werk (verder) te verbeteren. De visitatie is zeker niet bedoeld om elkaar te controleren, maar zowel een leermoment voor de gevisiteerde, als de visiterende beroepsgenoten, omdat zij kennis maken met andere vormen van praktijkvoering. Er wordt derhalve bij beide partijen commitment gecreëerd voor veranderingen. Via de site van het CBO wordt duidelijk hoe de werkwijze is. b.

Organisatieadviseurs.

Voorbeeld intercollegiale consultatie bij organisatieadviseurs. Een van de (weinige) empirische onderzoeken naar de uitkomsten van intercollegiale consultatie in Nederland is het onderzoek van Maarten Driehuis (1997), die een kwalitatieve analyse uitvoerde van twintig ICC-sessies van organisatieadviseurs. Driehuis’ resultaten zijn niet ondubbelzinnig: hij vindt aanwijzingen voor positieve effecten door kritische reflectie en nieuwe inzichten (divergeren), en door de impuls om het eigen handelen bij te sturen (convergeren). Aan de andere kant constateert Driehuis ook dat onvoldoende diepgang bereikt wordt om onderliggende factoren te vinden (divergeren) en dat de ICC-omgeving te liberaal is waardoor er te weinig externe druk is op leeropbrengsten (convergeren). Driehuis vindt onvoldoende gerichtheid op lange termijnleeropbrengsten. Nadelen van ICC komen volgens sommige auteurs voort uit relatief geringe mogelijkheden om gebruik te kunnen maken van de convergerende, accommoderende en assimilerende leerstijlen 10 (Driehuis, 1997; De Haan, 2001). Hieronder een aantal nadelen: a. ICC bereikt niet altijd genoeg focus om over te kunnen gaan tot toepassing in de eigen werkpraktijk, doordat oordelen en adviezen worden uitgesteld en de werkpraktijk zelf buiten de consultatiegroep blijft; b. De druk tot vernieuwing en verandering dient binnen de inbrenger te ontstaan: het accommoderende leren dat ontstaat bij implementeren of uitproberen van het geleerde, blijft hierdoor onderbelicht; c. Het verankeren en ordenen van het geleerde door middel van theoretische modellen en eerder ontwikkelde kennis blijven beperkt, want assimileren door koppeling van het geleerde aan voorhanden zijnde literatuur en kennis is afhankelijk van de toevallige inbreng van de aanwezige professionals. c.

Onderzoeken

Onderzoek Intercollegiale Consultatie in de praktijk. De onderzoekers De Haan en De Ridder (juni 2003) 11 zijn voor hun publicatie “ICC in de praktijk, hoe leren deelnemers?” nagegaan of de beloftes van intercollegiale consultatie, waar collegiale visitatie deel van uitmaakt, inderdaad waargemaakt worden.

10

11

David Kolb: Experiential learning (Ervaringsleren, 1984) Dr. E. de Haan, Drs. E. de Ridder, (2003), M&O artikel, Collegiale consultatie in de praktijk. Hoe leren deelnemers?



8

De onderzoeksvragen waren: a.

Lukt het deelnemende professionals om daadwerkelijk tot leren te komen?

b.

Zo ja, welk type leren rapporteren de professionals?

c.

Heeft dit type leren effect op de manier waarop de professionals werken?

In meerderheid rapporteren de deelnemers aan de onderzoekers dat het traject intercollegiale consultatie waardevol is geweest. De deelnemers koppelen de waarde van het instrument aan ‘leereffecten’. de Haan en De Ridder trekken daaruit de conclusie dat de deelnemers het traject als een leertraject hebben ervaren. In hun kwalitatieve open aanmerkingen benadrukken zij vooral het ‘niets verbloemende’, ‘positief confronterende’ karakter van intercollegiale consultatie. En aan het belang dat zij daardoor hechten aan het op peil houden van de veiligheid binnen de groep en het onderling vertrouwen en respect. De onderzoekers zien dat bij de evaluatie van het traject als een extra bevestiging dat in ICC groepen vooral sprake is van “…divergerend leren, want divergerend leren doet een beroep op emoties, onderlinge relaties tussen en sensitiviteit voor mensen (Kolb, 1984)”. Het valt de onderzoekers in de rapportages van de deelnemers op dat de toepasbaarheid in de praktijk soms tekortschiet; een andere aanwijzing vinden zij voor het tekortschieten van convergeren en accommoderen in ICC. Een leereffect is ook de feedback die de deelnemers van anderen ontvangen. Tijdens ICC gaan zij ‘naar de kern van de vraag’ en worden vragen op een goede manier uitgediept. Deelnemers geven aan dat zij relatief minder leren van toepassing en aanpassing van werkwijzen (vernieuwing) en verbetering van hun contacten op het werk. Het leren lijkt volgens De Haan en De Ridder geen groot direct effect te hebben op de werkpraktijk. De onderzoekers geven aan dat vanwege de beperktheid van het onderzoek zij slechts willen spreken van wel of niet significante aanwijzingen en nergens van aangetoonde effecten. Wat is door het onderzoek van De Haan en De Ridder waar te nemen? •

Lange termijn: er zijn aanwijzingen dat het leren in een ICC-groep zich in de tijd langzaam versterkt, met name in de richting van verdere verdieping (divergeren) en in de richting van toepassingen (convergeren).

•

Rendement: deelnemers die van zichzelf al meer gemotiveerd zijn voor reflectie op werkvragen, dus voor

•

Effect neemt af: hetzelfde convergerende en divergerende leren neemt in de ogen van deelnemers vooral

divergerend leren, halen meer uit het ICC-traject; af naarmate het ICC-traject langer achter de rug is. Dit lijkt op een terugval in leren na afronding van het traject, zoals consistent is met onderzoek in de trainingsliteratuur naar transfer van trainingen (Broad en Newstrom, 1992). Omgekeerd bij langere participatie in ICC-groepen zijn er wel degelijk aanwijzingen in de richting van meer convergentie, dus toepassing; •

Tegenstelling : tot verrassing van de onderzoekers benadrukken deelnemers veel kwalitatieve uitspraken over eigen wil, doorzettingsvermogen en eigen verantwoordelijkheid voor het leerproces. Terwijl het kwantitatieve deel van het onderzoek juist aanwijzingen geeft dat eigen initiatief en verwachtingen van zelfeffectiviteit geen verschil maken voor leereffecten. Volgens De Haan en De Ridder kan het zijn dat dit een rationalisatie betreft die weinig te maken heeft met de werkelijkheid, een espoused theory die geen verankering kent in de theory in use (in de woorden van Argyris en Schön, 1978). Allerlei vormen van zelfsturend en zelfstandig leren genieten gedurende het laatste decennium in Nederland een toenemende populariteit en worden vooral onder professionals en opleiders aangeprezen als essentieel voor een succesvol leerproces (januarinummer 2001 van het tijdschrift Opleiding & Ontwikkeling). Op grond van de resultaten van het onderzoek betwijfelen De Haan en De Rider echter of zelfsturing echt wel zo belangrijk is voor het vooral divergerende leren van ICC. ICC is in de ogen van deelnemers spannend, confronterend en niets verbloemend en roept dus veel onzekerheden en twijfels op. Het is volgens de onderzoekers in dergelijke omstandigheden niet altijd zo verstandig om lerenden zelf geheel verantwoordelijk te houden voor hun eigen leerproces. Integendeel, de onderzoekers denken dat de leersituatie juist gediend is door de externe sturing die zij bij ICC aanbrengen, zoals de verdeling van drie duidelijk onderscheiden rollen (inbrenger, procesbegeleider, adviseurs) en het aanbieden van zeer gestructureerde methodieken. Zij achten hier verder onderzoek voor nodig.



9

Onderzoek horizontale verantwoording in het voortgezet onderwijs. Sardes en Oberon hebben in opdracht van het ministerie OCW van 2003 tot eind 2005 bij het Twents Carmelcollege een pilot-traject uitgevoerd voor ‘het leren omgaan met horizontale verantwoording VO’. In plaats van het afleggen van collegiale visitatiebezoeken, heeft men een aantal netwerkbijeenkomsten georganiseerd. Hierbij vond enerzijds uitwisseling plaats van de eigen praktijk en anderzijds werd gezamenlijk gewerkt aan vragen uit de praktijk. Voor dit traject is met de deelnemende scholen een toolkit ontwikkeld waarbij de opbrengsten geplaatst zijn op de website www.horizontaleverantwoording.kennisnet.nl. Daarnaast is er een passende kijkwijzer/rekenblad gemaakt voor collegiale consultatie, teneinde te voorkomen dat er ‘oordelen’ worden gegeven door relatieve buitenstaanders, daar waar ‘verwondering en inspiratie’ bedoeld was. Het in de beginfase zelf laten schrijven van een gestructureerd het plan van aanpak is volgens de adviseurs een bepalende factor geweest in het project. Hierdoor kon de korte uitvoeringsfase functioneel verlopen. De scholen geven aan dat het schrijven van het plan van aanpak met een tijdpad gezorgd heeft voor draagvlak en een ‘sense of urgency’ bij de betrokkenen. d.

Onderwijs

Voorbeeld intercollegiale visitatie in landelijke vaksecties. Verschillende landelijk georganiseerde vaksecties hebben voor hun vak een aanpak voor collegiale visitatie ontwikkeld. Zo heeft het Regiecentrum Godsdienst/Levensbeschouwing als examenvak in januari 2011 de publicatie van drs. T.D. Visser uitgegeven betreffende “Collegiale visitatiekader voor het havo/vwo examenvak Godsdienst/Levensbeschouwing”. Hierin is onder meer een voor het onderwijs c.q. docenten godsdienst/levensbeschouwing ontwikkeld passend frame en integraal stappenplan collegiale visitatie opgenomen. Zowel de KVLO (Koninklijke Vereniging voor Lichamelijke Opvoeding), die als eerste vakvereniging in Nederland een systematisch kwaliteitszorgsysteem heeft ontwikkeld voor de praktijk, als de VECO (Vereniging voor leraren in de economisch-maatschappelijke vakken) wilden in pilots voor hun respectievelijke vaksecties (LO en Ec) een instrument voor kwaliteitszorg ontwikkelen. Het zou tevens overdraagbaar moeten zijn naar andere vakken. Het traject leidde tot twee krachtige instrumenten: zelfevaluatie en collegiale visitatie. a. Instrument Zelfevaluatie De zelfevaluatie vindt plaats aan de hand van een web-based vragenlijst (Kwalo voor LO). De 34 vragen zijn opgebouwd aan de hand van de indicatoren van de inspectie voor goed onderwijs. b. Instrument Collegiale Visitatie Met de gegevens uit de zelfevaluatie en de panelgesprekken wordt een zelfevaluatierapport geschreven. Hierin staan de verbeterpunten van de vaksectie. Dit rapport is de basis voor de visitatie. Voorafgaand aan de visitatie wordt een tweede scholing georganiseerd. Hierin komen wederom communicatietechnieken aan de orde (het houden van panelgesprekken). Daarnaast wordt de organisatie van een visitatiedag besproken. Collega’s (critical friends) komen op bezoek, bekijken enkele lessen en voeren gesprekken met de schoolleiding, docenten en leerlingen. Er wordt nagegaan of de visitatiecommissie het eens is met het zelfevaluatierapport. In dit systeem word je niet alleen gevisiteerd, je gaat ook zelf op bezoek bij een andere school (carrouselmodel) voor een kijkje in de keuken. De visitatiecommissie bestaat uit: een externe voorzitter en secretaris van de KVLO/VECON, twee docenten en een aantal leerlingen. De secretaris van de commissie schrijft het uiteindelijke visitatierapport. Aan de hand daarvan kan de sectie het beleidsplannetje (activiteitenplan) schrijven met de verbeterpunten voor het aankomende jaar. Uitvoering en toezicht. De vaksecties hebben de mogelijkheid een helpdeskmedewerker van de KVLO / VECON ter ondersteuning te raadplegen en gedurende het hele project staat een projectmedewerker ter beschikking voor adviezen en



10

begeleiding. Inmiddels wordt het instrument door vaksecties van volgende scholen breed ingevoerd, hebben veel scholen het traject met goed gevolg afgerond en zijn meerdere vaksecties enthousiast gestart met als doel elk jaar beter te worden. In het traject van het KVLO spelen leerlingen een voorname rol. Om kwaliteitszorg om te zetten in goed beleid worden de criteria doelgericht, cyclisch, systematisch en integraal gebruikt (PDCA). Voorbeeld literatuurstudie naar organisatie-factoren van intercollegiale visitatie. Runhaart Sanders en Sleegers van het Twente Centre for Career Research van de Universiteit Twente hebben een literatuurstudie gedaan naar organisatie-factoren die implementatie van nieuwe onderwijsconcepten zoals Collegiale Visitatie bevorderen. In de publicatie “De school als ontwikkelplek voor leraren” wordt verslag gedaan van een literatuurstudie onder welke voorwaarden een leraar zich optimaal kan ontwikkelen tot innovatieve leraar. Die vraag is in de studie vertaald als de vraag welke organisatiefactoren de implementatie van nieuwe onderwijsconcepten bevorderen. Hun onderzoeksvraag luidde: ‘welke organisatiefactoren bevorderen dat leraren een nieuw onderwijsconcept op eenzelfde manier interpreteren en hun handelen daarop aanpassen?”. In de literatuur komt naar voren dat het leren eruit bestaat dat leraren actief deelnemen aan de volgende leeractiviteiten: reflecteren, observeren, feedback uitwisseling, kennis vergaren en innovatief gedrag. En dat een organisatie het leren daarom kan stimuleren door de leerangst te reduceren (bijvoorbeeld door een veilig leerklimaat te creëren, onderling vertrouwen, steun van de leidinggevende, voldoende ontwikkelingsmogelijkheden) en door overlevingsangst te stimuleren (bijvoorbeeld door consequent vast te houden aan het nieuwe onderwijsconcept en de boodschap herhaaldelijk op verschillende momenten en plekken terug te laten komen). e.

Artikelen/publicaties

Voorbeeld McKinsey Mc McKinsey en Company geeft in het artikel ‘Het Nederlandse onderwijs: beter dan we denken, maar niet zo goed als we willen‘ (augustus 2012) aan dat ons onderwijs beter kan. De lessen uit het buitenland zijn dat met geconcentreerde actie ook onze scholen binnen 5 tot 7 jaar een uitstekend resultaat kunnen boeken. Wat houdt het onderwijs tegen? Er bestaat volgens het internationaal werkend adviesbureau McKinsey in Nederland een complete set “interventies” die goed lijken te werken. Docenten geven aan dat je geen professional bent, maar dat je dat wordt door van elkaar te leren – met je deur open. Betere leraren voor de klas krijg je niet alleen door de kwaliteit van nieuwe leraren te verhogen, je moet ook de bestaande leraren in staat stellen en stimuleren om zich te professionaliseren. Om als docent werkelijk een ‘professional’ te worden, is het nodig om van anderen te leren en bovenal te blijven leren. Daarom zie je in excellente schoolsystemen in Nederland en daarbuiten een cultuur die er op gericht is dat leraren voortdurend van elkaar leren. Het samen leren is met de ‘deur open’ les geven, samen lessen voor te bereiden en elkaars lessen bij te wonen. In Nederland is het eerder een uitzondering dat docenten intensief met elkaar samenwerken. Proefwerken worden nog wel gezamenlijk voorbereid, maar de frequentie waarmee leraren elkaars lessen bijwonen varieert van nooit tot eens in de paar jaar. Oftewel, de huidige werkwijze staat, volgens McKinsey, de eigen professionalisering in de weg, ten koste van de ontwikkeling van de leerlingen. De schoolleider speelt hierin ook een belangrijke rol. McKinsey vraagt zich af wat een sterke schoolleider is? En geeft aan dat in de landen die excellent presteren het volgende beeld naar voren komt: de schoolleider analyseert nauwgezet de resultaten van leerlingen om verbetermogelijkheden te vinden. Hij besteedt 40% van zijn of haar tijd met leraren om lesmaterialen te verbeteren en om hen te coachen in de klas, hij betrekt ouders bij het onderwijs en creëert bij de leraren een cultuur van met elkaar leren. Uit vergelijkingen tussen schoolleiders in Nederland en in landen/regio’s met zeer sterk presterende schoolsystemen blijkt bijvoorbeeld dat maar 43% van de Nederlandse schoolleiders minimaal eens per week tijd vrijmaakt om zijn of haar leraren te coachen en ondersteunen. In excellente schoolsystemen ligt dit percentage veel hoger: gemiddeld op 74%. McKinsey geeft aan dat je niet vanzelf een goede schoolleider wordt, maar dat je dat moet leren. In excellente schoolsystemen worden schoolleiders in staat gesteld van andere schoolleiders te leren, door bijvoorbeeld met andere schoolleiders in kleine groepen aan problemen te werken en zo ervaringen met elkaar te delen. In



11

Engeland worden aanstormende schoolleiders al vroeg geïdentificeerd en begeleid door ervaren, zeer goed presterende schoolleiders. In Ontario (Canada) werken groepjes schoolleiders samen om een bepaald probleem dat op hun scholen speelt, aan te pakken. Uiteindelijk zijn schoolleiders van cruciaal belang voor een school die zich continu wil verbeteren. Dat soort scholen, met goed opgeleide leraren die van elkaar blijven leren, kunnen van Nederland een excellent onderwijsland maken. Mc Kinsey concludeert dat het Nederlands onderwijs relatief goed presteert en dat we daar blij mee mogen zijn. Maar dat andere landen laten zien dat het beter kan – in een korte periode van 5 tot 7 jaar en dat zonder extra geld. De in het artikel genoemde voorbeelden uit Boston en Ontario geven heel concrete handvatten waarmee scholen onmiddellijk aan de slag kunnen – met alle spelers in ons onderwijs: ouders, leraren, schoolleiders en de overheid. Er worden enkele voorbeelden gegeven waar leraren en schoolleiders nú mee kunnen beginnen. Met als kern een antwoord op vragen als: krijgt onderwijskwaliteit wel de hoogste prioriteit? Hoeveel tijd besteed je als schoolleider in de klas en met je leraren? Hoe krijg je leraren zo ver om samen lesmaterialen te ontwikkelen en bij elkaar in de klas te gaan zitten? Hoe kunnen leerlingenresultaten helpen de grootste pijnpunten vast te stellen en leraren verder op weg te helpen? Voorbeeld publicatie ‘Leren leiden’. Als het gaat om het versterken van het onderwijs zit Eric Verbiest, lector Schoolontwikkeling en Schoolmanagement van de Fontys Hogescholen in Den Bosch op dezelfde lijn als McKinsey. In zijn afscheidsdocument ‘Leren leiden’ (nov. 2009) gaat hij in op de uitdagingen waar schoolleiders in de komende decennia voor staan. Er wordt urgent om een bezinning gevraagd op de rol, positie en professionalisering van schoolleiders. Verbiest werkt in de publicatie de vragen uit wat een professional is en wat er voor het professioneel leiden van een excellente onderwijspraktijk nodig is. Professionaliteit van leerkrachten bestaat volgens Verbiest deels in het participeren in een professionele leergemeenschap (Verbiest, 2004a; 2008). Het professioneel handelen van zichzelf en de daarin geïmpliceerde mentale modellen wordt daarin met collega’s kritisch onderzocht, geëvalueerd – ook in het licht van “bewezen aanpakken” – en, indien nodig, bijgesteld. Een belangrijk aspect van de professionaliteit van een leerkracht is het kunnen hanteren van een veelheid aan zoekschema’s (morele, pedagogische, didactische, onderwijskundige en psychologische theorieën en benaderingen) die toelaten situaties te interpreteren. En die suggesties bieden om in die situaties te handelen. Op basis hiervan kan vastgesteld worden dat een belangrijke praktijk van een schoolleider bestaat in het stimuleren van het praktijkdenken van leraren. Van de schoolleider mag verwacht worden dat hij leerarrangementen voor leerkrachten inricht en begeleidt, met het oog op het verbeteren van het primaire proces en van de professionaliteit van die leerkrachten. In die leerarrangementen kan de schoolleider de leerkrachten stimuleren om reflectieve pauzes in te bouwen in hun denken en doen. Deze reflectieve pauzes hebben zowel betrekking op het vaststellen van wat er aan de hand is als op het bepalen van interventies. Langzamerhand wordt meer kennis ontwikkeld over hoe leergemeenschappen het leren van leraren ondersteunen (Bryk & Schneider, 2002; Vescio, Ross & Adams, 2008) en hoe deze te ontwikkelen (Verbiest, 2008). Er is helaas slechts beperkte kennis over de competenties waarover schoolleiders dienen te beschikken om professionele leergemeenschappen te realiseren. Kerngedachte daarin is dat leiding geven ook op te vatten valt als laten leren. Zoals een leerkracht leerlingen laat leren, zo kan een schoolleider ook zijn teamleden leiding geven door ze te laten leren, d.w.z. door individuele en vooral collectieve leerprocessen te initiëren en te begeleiden en de condities te scheppen die daarvoor nodig zijn. f.

Ontwikkeltrajecten

Twee ontwikkeltrajecten. In Nederland/België komen twee ontwikkeltrajecten Collegiale Visitatie in de literatuur naar voren. De Universiteit van Antwerpen (departement onderwijs) heeft in haar nascholingsaanbod een project (cursus) Collegiale Visitatie opgenomen waaraan schoolteams uit het basisonderwijs mee kunnen doen. In de trajectbeschrijving wordt gemeld dat voor scholen in Vlaanderen Collegiale Visitatie een nieuwe aanpak is om aan kwaliteitszorg te werken. Een team van praktijkmensen bezoektop een systematische wijze een school en doet er ‘vaststellingen’. Op basis van het gezamenlijke professionele oordeel over de vaststellingen schrijft het



12

visitatieteam een rapport waarin het de bezochte school collegiale adviezen verstrekt. De gevisiteerde school beslist zélf welke conclusies zij uit het rapport trekt. Uit onderzoek van de universiteit naar de effecten van de cursus blijkt dat deelname aan collegiale visitatie wordt ervaren als een sterke leerervaring, niet alleen voor de bezochte school maar ook voor de leden van het team. Om de essentie krachtig weer te geven: ‘het onderwijs wordt teruggegeven aan zijn rechtmatige eigenaars: de leerkrachten’. In Nederland ondersteunt op dit moment de Onderwijscoöperatie 12, in samenwerking met de PO‐raad, de VO‐ raad en de MBO‐raad, pilots in die onderwijssectoren om het instrument Interscolaire Visitatie verder te ontwikkelen en ervaring op te doen met de structurele inbedding ervan in het schoolbeleid. Er kunnen vijf keer twee scholen per sector samen een meerjarig pilot uitvoeren, gericht op structurele inbedding van de werkwijze in het schoolbeleid.

Samenvatting Uit de internationale en Nederlandse literatuur komt naar voren dat een op onderzoek gebaseerde ontwikkeling en begeleide c.q. gestuurde uitvoering van collegiale visitatie door daarvoor aangestelde onafhankelijke, deskundige mensen zeer wenselijk is. En wel om kwalitatief goede zelfevaluatie- en visitatietrajecten te kunnen realiseren, de gevisiteerde en de visitatieteams scherp en gefocust te kunnen houden op de onderzoeksvraag en te kunnen borgen dat het instrument geen doel op zich wordt. Maar dat collegiale visitatie een instrument is en blijft om de kwaliteit van het Nederlandse onderwijs op alle niveaus op peil te houden of daar waar nodig te verbeteren.

Hierachter is een overzicht opgenomen van alle geraadpleegde bronnen en literatuur.

12

Onderwijscoöperatie is een initiatief van, voor en door leraren en gevestigd in Utrecht. Bron: informatieblad “Pilots interscolaire visitatie als vorm van Peer Review”.



13

5. Literatuurlijst Uit onderstaande publicaties / bronnen zijn stukken tekst ontleend voor de R&D publicatie over collegiale visitatie in het basis- en voortgezet onderwijs. -

Lakkala, Minna en Ilomäki, Liisa: 21 March 2006: School peer-review outcomes and suggestions report for future peer-reviewing processes. Centre for Research on Networked Learning and Knowledge Building. Department of Psychology, University of Helsinki, Finland.

-

McCormick, R (2006). The peer review process.

-

New England Peer Review: www.nepr.org

-

Pöschl, Ulrich: . Multi-Stage Open Peer Review: Multi-Stage Open Peer Review: Scientific Evaluation Integrating the Strengths of Traditional Peer Review with the Virtues of Transparency and Self-Regulation. PMC US National Library of Medicine. National Institutes of Health. Online gepubliceerd 5 juli 2012 doi: 10.3389/fncom.2012.00033

-

Rosenfield, Daniel, Arts, B. Sc and Hoffman, Steven J. BHSc., december 2009. Snappy answers to stupid questions: an evidence-based framework for responding to peer-review feedback. Grol, Lawrence (20…): Quality improvement by Peer Review (vertaling Nederlandse uitgave)

-

Shatz, David, november 2004. Peer Review, a critical inquiry.

-

Trim, Michelle, juni 2006. Wat every student should know about practicing Peer Review

-

Van Note Chism, Mary & Chism, Grady W. juni 2007. Peer review of teaching.

-

Nature, portable peer review (hergebruik beoordelingen moet publicatie versnellen, (februari 2013), www.c2w.nl/peer-review-gaat-generiek.308643.lynkx

Nederland -

Verenso, Utrecht, Specialisten in ouderengeneeskunde. November 2009. Methode voor collegiale toetsing van specialisten in ouderengeneeskunde en hun vakgroep via www.btsg.nl

-

VISI, Versterking Infrastructuur Infectieziektebestrijding, Maart 2003. VISI Pilot Project voor regio ROI Noord-Holland / Flevoland )via www.ggdkennisnet.nl

-

CBO, Utrecht (Centraal Begeleidingsorgaan voor de intercollegiale toetsing van wetenschappelijke verenigingen(onderdeel TNO).2005. Handboek Kwaliteitsvisitatie nieuwe stijl voor wetenschappelijke verenigingen. Zie http://www.cbo.nl/visitatie/visitatie.htm en http://www.cbo.nl/product/audit_visitatie/folder20020919181040/default_view

-

Dr. E. de Haan, Drs. E. de Ridder, (2003), M&O artikel, Collegiale consultatie in de praktijk. Hoe leren deelnemers?



14

-

McKinsey Company, augustus 2013. Artikel Het Nederlandse onderwijs: beter dan we denken, maar niet zo goed als we willen.

-

De Haan, E. en De Ridder, E. (juni 2003), artikel “ICC in de praktijk, hoe leren deelnemers?”

-

Twente Centre for Career Research, Universiteit Twente, juni 2007. Publicatie: De school als ontwikkelplek boor leraren.” Een literatuuronderzoek naar organisatie-factoren die implementatie van nieuwe onderwijsconcepten bevorderen. Door dr. Piety Runhaar, Prof. dr. Karin Sanders, & Prof. dr. Peter Sleegers

-

Sardes en Oberon. Januari 2007. Pilotproject Horizontale verantwoording VO. Eindrapport.



15

BIJLAGE. PO en VO SAMENVATTING LITERATUURONDERZOEK NATIONAAL EN INTERNATIONAAL

Recommend Documents