RICHTLIJNEN VOOR DE IMPACT VAN PEER REVIEWS. Peer Review Impact De impact van Peer Reviews vergroten om het aanbod van VET in Europa te verbeteren

RICHTLIJNEN VOOR DE IMPACT VAN PEER REVIEWS Peer Review Impact – De impact van Peer Reviews vergroten om het aanbod van VET in Europa te verbeteren

RICHTLIJNEN VOOR DE IMPACT VAN PEER REVIEWS Leena Koski (ed.)

Ontwikkelingsgroep

Leena Koski, Finse Nationale Onderwijsraad Annikki Häkkilä, Finse Nationale Onderwijsraad Tiina Halmevuo, Keuda Kari Rantalainen, Tampere College Maria Gutknecht-Gmeiner, IMPULSE Christoph Kimbacher, HTL Steyr Katalin Molnárné Stadler, M & S Consulting Kft Katalin Otott, Ferenc Hansági Imre Csullog, Ferenc Hansági Ismene Tramontano, ISFOL Allulli Giorgio, ISFOL Willem de Ridder, ROC Aventus Adrie J. Visscher, Universiteit Twente Helsinki, September 2011

HET LEONARDO-PROJECT ‘Peer Review Impact – De impact van Peer Reviews vergroten om het aanbod van VET in Europa te verbeteren, 2009–2011’ Projectnummer − 2009-1-FI1-LEO05-01584

Dit project is financieel ondersteund door de Europese Commissie. Deze publicatie is louter een weerspiegeling van de opvattingen van de auteurs. De EC kan derhalve niet verantwoordelijk gehouden worden voor de wijze waarop enige informatie uit dit document wordt gebruikt.

VOORWOORD Kwaliteitsbewaking en kwaliteitsverbetering worden steeds belangrijker voor beroepsonderwijsinstellingen (Engels acroniem: VET, Vocational Education and Training) en onderwijsautoriteiten in heel Europa. Er zijn verschillende procedures en instrumenten geïntroduceerd die worden gebruikt voor het verbeteren en evalueren van de kwaliteit van VET. De uitkomsten van de evaluaties worden echter zowel door VET-instellingen zelf als op systeemniveau niet altijd even efficiënt of stelselmatig gebruikt. Het ‘Peer Review Impact’-project, dat deel uitmaakt van het Leonardo da Vinci-programma, is erop gericht een bijdrage te leveren aan de implementatie van het Europese ‘Quality Assurance Reference Framework for VET’ (EQAVET) op het niveau van VET-instellingen. Dit gebeurt door de focus te leggen op de reviewfase en meer duidelijkheid te verschaffen over het samenspel tussen kwaliteitsbeheersystemen, evaluaties en verbetering van het beroepsonderwijs. Een ander doel van het project was om de Europese Peer Review-methodologie te verbeteren en verder te ontwikkelen. Om dit te bereiken wordt er nadruk gelegd op de impact van Peer Reviews, zijn er veranderingen aangebracht in de methodologie en wordt het gebruik van Peer Reviews op zowel landelijk als Europees niveau gestimuleerd. Een Peer Review is een instrument voor het bewaken en verbeteren van de kwaliteit – een externe evaluatie van VET-instellingen die wordt uitgevoerd door ‘peers’ (zoals collega’s van andere VET-instellingen, mensen die een beroep uitoefenen waarvoor een VET-instelling haar leerlingen opleidt, en/of andere ‘kritische vrienden’). De peers geven VET-instellingen feedback in de verwachting dat instellingen deze feedback zullen analyseren en gebruiken om hun programma’s en werkwijzen te verbeteren. De Europese Peer Review-procedure voor het uitvoeren van Peer Reviews in het beroepsonderwijs is ontwikkeld binnen een Leonardo da Vinci-project genaamd ‘Peer Review in initial VET’. De procedure en het Europese Peer Review Handboek waren oorspronkelijk ontworpen voor gebruik op het niveau van ‘initial VET’ (d.w.z. beroepsonderwijs als vervolgopleiding voor jongeren), maar werd tijdens een later project (‘Peer Review Extended II’) aangepast zodat het ook voor ‘continuing VET’ (opleiding, bijscholing en training voor werknemers of werklozen) kan worden gebruikt. Bij weer een ander Leonardo-project, ‘REVIMP – From Review to Improvement’, probeerde men te achterhalen welke factoren bepalend zijn voor een succesvolle reviewfase (waarbij gegevens op het gebied van kwaliteitsbewaking werden vertaald in acties om de kwaliteit van het VET-aanbod te verbeteren). De REVIMP-richtlijnen bevatten richtlijnen voor kwaliteitsbewaking (‘QA’, Quality Assurance) tijdens de reviewfase, die oorspronkelijk werden getest binnen instellingen die ‘initial VET’ aanbieden in de gezondheidszorg. De ontwikkeling van de Richtlijnen voor de Impact van Peer Reviews begon met een analyse van de impact van de 14 grensoverschrijdende Europese Peer Reviews die tussen 2006 en 2009 werden uitgevoerd in acht Europese landen. Doel hiervan was de specifieke omstandigheden te bepalen waarbij Peer Reviews uitmondden in het gebruik van Peer Review-feedback (als startpunt voor verbetering van de operationele organisatie van de VET-instellingen) en in het afleiden van kritische succesfactoren uit deze bevindingen (‘Peer Review Impact Analysis Report’). Voor de analyse

werd een aangepaste versie van het REVIMP-kader gebruikt. De Peer Review Richtlijnen werden ook vergeleken met EQAVET, waarbij in het bijzonder rekening werd gehouden met de diverse beschrijvende termen. De richtlijnen werden getest in de partnerlanden en verder ontwikkeld op basis van de uitkomsten van de testfase. De Richtlijnen voor de Impact van Peer Reviews zijn ontwikkeld voor organisaties die van plan zijn om de impact van nationale en transnationale Peer Reviews te verbeteren. Het belangrijkste doel van de Richtlijnen voor de Impact van Peer Reviews is VET-instellingen en opleidingscentra te helpen bij het opzetten en uitvoeren van Peer Reviews en hen te helpen de juiste focus te behouden tijdens alle fases van het Peer Review-proces, zodat er ook na de Peer Review sprake is van een significante impact. De Richtlijnen voor de Impact van Peer Reviews zijn bedoeld om samen met het Europese Peer Review Handboek voor VET te worden gebruikt. De richtlijnen worden gecompleteerd door een praktische ‘toolbox’ die verkrijgbaar is via de website van het project (www.oph.fi), en formulieren, controlelijsten, methodes, aanvullende informatie en aanbevelingen in digitale vorm bevat. We hopen dat u de Richtlijnen voor de Impact van Peer Reviews met veel plezier zult lezen – uw feedback wordt erg op prijs gesteld! Namens de ontwikkelingsgroep van de ‘Richtlijnen voor de Impact van Peer Reviews’, Leena Koski Projectcoördinator Finse Nationale Onderwijsraad Voor meer informatie kunt u contact opnemen via e-mail: [email protected]

INHOUDSOPGAVE Inleiding

7

Waarom richten we ons op de impact?

7

Wat is het idee achter de Richtlijnen voor de Impact van Peer Reviews ?

7

Tot wie richten we ons?

8

Hoe dient u de Richtlijnen voor de Impact van Peer Reviews te gebruiken?

8

Hoofdstuk 1 Algemene richtlijnen

10

Hoofdstuk 2 Richtlijnen voor de verschillende fases van de Peer Review

15

Voorbereidingsfase (Fase 1)

15

Peer Visit (Fase 2)

17

Peer Review Verslag (Fase 3)

18

Plannen ten uitvoer brengen (Fase 4)

18

Evaluatie (Fase 5)

20

Hoofdstuk 3 Methodes en instrumenten om de impact van Peer Reviews te bevorderen Peer Review – Waar het wel en niet voor bedoeld is

21 21

Peer Review als onderdeel van een algeheel kwaliteitsbeheer- en evaluatiesysteem van een VET-instelling 22 Stappen uit het Peer Review Verslag om acties en follow-up te verbeteren

23

Peer Review – Workshop kwaliteitsverbetering

26

Literatuur

30

Bijlagen

32

7

INLEIDING Dit boekje bevat richtlijnen om de impact van Peer Reviews in het beroepsonderwijs (VET) in Europa te optimaliseren.

Waarom richten we ons op de impact?  Studies hebben aangetoond dat de vierde fase van de EQAVET-kwaliteitsbewakingscyclus (Evaluatie) in feite de zwakste schakel is.  Er zijn veel gegevens beschikbaar uit evaluaties en andere feedback, maar het lijkt erop dat systematische verbetering slechts tot een bepaalde hoogte plaatsvindt. VET-instellingen zijn zich ofwel niet voldoende bewust van de noodzaak om actie te ondernemen naar aanleiding van deze gegevens of ze beschikken niet over de procedures, competenties en kennis om een systematisch en succesvol veranderingsproces in gang te zetten. Managers zijn niet altijd in staat om de vereiste veranderingsprocessen op een systematische manier te leiden.

Wat is het idee achter de Richtlijnen voor de Impact van Peer Reviews? Het belangrijkste doel van de Richtlijnen voor de Impact van Peer Reviews is de impact van Peer Reviews te optimaliseren, en wel op de volgende manier:  een praktisch instrument bieden om het veranderingsproces, institutionele ontwikkeling en continue kwaliteitsverbetering te bevorderen;  manieren voorstellen om het gebruik van Peer Reviews te stimuleren;  een basis leggen om toekomstige Peer Reviews nog effectiever te implementeren;  informatie verschaffen over waar een Peer Review wel en niet voor bedoeld is;  een instrument bieden voor personeelsontwikkeling voor docenten, managers, facilitators en kwaliteitsbewakingsteams;  voorbeelden geven van praktische instrumenten om de EQAVET-methodiek aan te passen en te gebruiken. De richtlijnen kunnen ook worden gebruikt om andere door uw organisatie gehanteerde procedures te bekijken, zoals audits, externe evaluaties en assessments, etc.

8

Tot wie richten we ons? De belangrijkste doelgroep van de Richtlijnen voor de impact van Peer Reviews bestaat uit VETinstellingen en/of scholen die interesse hebben in of al betrokken zijn bij Peer Reviews. Hoewel niet alle richtlijnen geschikt zullen zijn voor alle soorten VET-instellingen, zijn ze tot een bepaalde hoogte ook nuttig in een andere context dan scholen, zoals leren in de praktijk. De richtlijnen kunnen tevens worden gebruikt om de impact van andere evaluaties (waaronder audits) te bevorderen. In het document wordt de term ‘VET-instellingen’ gebruikt, waarmee vooral verwezen wordt naar beroepsopleidingen tijdens de ontwikkelingsfase van de richtlijnen. De belangrijkste doelgroepen zijn:  Bestuur en management van VET-instellingen  Peer Review Facilitators  Peers Andere doelgroepen zijn:  Partijen die op nationaal niveau betrokken zijn bij VET  Mensen die beroepsmatig steun verlenen aan VET-instellingen

Hoe dient u de Richtlijnen voor de Impact van Peer Reviews te gebruiken? De Richtlijnen voor de Impact van Peer Reviews vormen geen introductie tot Peer Reviews. De Peer Review-procedure is beschreven in het Europese Peer Review Handboek (Engelstalig, zie http://www.peer-review-education.net), dat de primaire bron van informatie over Peer Reviews is. De Richtlijnen voor de Impact van Peer Reviews kunnen alleen worden toegepast in combinatie met het Europese Peer Review Handboek voor VET.  Maak uzelf vertrouwd met het Europese Peer Review Handboek voor VET en andere beschikbare hulpmiddelen en instrumenten, voordat u de Richtlijnen voor de Impact van Peer Reviews gaat lezen.  Gebruik de Richtlijnen voor de Impact van Peer Reviews samen met het Europese Peer Review Handboek voor VET.  Houd rekening met de richtlijnen bij de planning, implementatie en follow-up van een Peer Review. De richtlijnen kunnen ook van pas komen wanneer een VET-instelling overweegt of een Peer Review al dan niet een geschikte methode is voor de betreffende instelling. De context van Peer Reviews kan aanzienlijk verschillen, aangezien opleidingssystemen en benaderingen van kwaliteitsbewaking ook aanzienlijk verschillen binnen Europa. De richtlijnen zijn bedoeld als bron van informatie die flexibel gebruikt kan worden door degenen die betrokken zijn bij het opzetten en uitvoeren van Peer Reviews. Met andere woorden: ze zijn niet bedoeld als een keurslijf

9

dat ten allen tijde en in elke context van de eerste tot en met de laatste richtlijn strikt nageleefd moet worden.  Bekijk de richtlijnen en volg daarbij die richtlijnen die u op basis van uw kennis van de lokale context het meest geschikt vindt.  U kunt alle richtlijnen gebruiken, of slechts een deel ervan, of alleen enkele instrumenten die erin beschreven staan. De richtlijnen zijn onderverdeeld in secties die gebaseerd zijn op de vier fases van het Peer Review proces zoals beschreven in het Europese Peer Review Handboek voor VET. Er is hier echter een Fase ‘Nul’ aan toegevoegd. Deze extra fase bevat algemene richtlijnen die niet rechtstreeks verband houden met de fases van het Peer Review-proces, maar wel belangrijke voorwaarden zijn waaraan moet zijn voldaan om de juiste impact van de Peer Review te garanderen. Fase 5, ‘Evaluatie’, is eveneens toegevoegd aan het Peer Review-proces. Deze fase bevat een evaluatie van het gehele Peer Reviewproces en wat de sterke punten en verbeterpunten van het proces zijn. Op basis hiervan dient het proces waar nodig te worden aangepast. Na de Peer Review is het belangrijk om de impact te evalueren en de uitkomsten te analyseren om vast te stellen welke verbeteringsacties moeten worden ondernomen voordat de volgende Peer Review plaatsvindt.

10

11 Richtlijnen

Hoofdstuk 1 ALGEMENE RICHTLIJNEN (Fase 0) Deze richtlijnen zijn in algemeen opzicht belangrijk. Dit betekent dat ze niet specifiek gelden voor een of meerdere fases van de Peer Review. In veel gevallen zijn deze richtlijnen belangrijke voorwaarden waaraan dient te zijn voldaan voordat er een Peer Review kan worden gestart. Zo kunt u de impact van de uitkomsten van de Peer Review bevorderen: 

Volg het Europese Peer Review Handboek voor VET en gebruik ondersteunend materiaal en procedures (zie http://www.peer-review-education.net).



Zorg ervoor dat er binnen uw organisatie enkele systematische procedures voor kwaliteitsbewaking en evaluatie zijn. 



Dit betekent bijvoorbeeld dat het gebruik van de Peer Review sterk wordt verbeterd als u dergelijke procedures al hebt ingesteld in uw organisatie. Als dit niet het geval is, raden we u aan om systematische procedures voor kwaliteitsbewaking in te voeren. Deze dienen tevens procedures voor de analyse, verspreiding en follow-up van de uitkomsten van de evaluatie te bevatten.

Zorg ervoor dat de Peer Review wordt of zal worden geïntegreerd met de procedures voor kwaliteitsbewaking en evaluatie van de VET-instelling. 

Meer informatie hierover vindt u in Hoofdstuk 3.2 (Peer Review als onderdeel van een algeheel kwaliteitsbeheer- en evaluatiesysteem van een VET-instelling).



Zorg ervoor dat van het begin af aan duidelijk is wie de beoogde gebruikers van de uitkomsten van de Peer Review zijn (zoals management, docenten en studenten).



Zorg ervoor dat alle relevante partijen erbij betrokken zijn en dat hun betrokkenheid tijdens alle stadia van het Peer Review-proces wordt gestimuleerd. 



Om de kans op een succesvolle Peer Review te vergroten, dient u ervoor te zorgen dat partijen met ervaring op het gebied van evaluaties, kwaliteitsbewaking en zelfevaluatie betrokken worden bij het Peer Review-proces. 



Dit betreft de beoogde gebruikers van de uitkomsten van de Peer Review (zie Fase 4) maar ook anderen die betrokken zijn bij veranderingsprocessen, zoals instructeurs op praktijkleerplaatsen.

Een positieve houding van het personeel ten opzichte van evaluatie in het algemeen vergroot de kans op een succesvol Peer Review.

Zorg ervoor dat de organisatie die van plan is een Peer Review uit te voeren daar ook klaar voor is en er realistische verwachtingen over heeft. 

Het management dient zich bewust te zijn van het feit dat een Peer Review sterke punten maar ook verbeterpunten in de operationele organisatie van de VET-instelling blootlegt. Een externe evaluatie

12

zoals een Peer Review is een gelegenheid om prestaties te verbeteren en verandering te stimuleren; het is geen marketinginstrument. 



Aan de andere kant zal een Peer Review geen overweldigende nieuwe inzichten opleveren, want dit zou betekenen dat alle eerdere evaluaties er volledig naast zaten. U kunt van de Peer Review verwachten dat deze bevestigt wat er bij eerdere evaluaties naar voren is gekomen, maar dat er ook enkele nieuwe aspecten aan het licht zullen komen.

Zorg ervoor dat problemen zoals bestaande interne conflicten er niet toe leiden dat de Peer Review weinig resultaat oplevert. 

Zie Hoofdstuk 3.1: Peer Review – Waar het wel en niet voor bedoeld is

Eigen bevindingen

-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------

13

Figuur 1 Fases van de Europese Peer Review en impact van de Peer Review

Richtlijnen

Volgende Peer Review

Fase 1 Voorbereiding (min. 3 maanden) Fase 5 Evaluatie  Evaluatie van het Peer Review-proces en beoordeling van de impact van de Peer Review  Verbetering van het proces

Richtlijnen Fase 4 Plannen ten uitvoer brengen (6–12 maanden)  Doelen formuleren  Hulpbronnen duidelijk vastleggen  Actieplan en implementatie  Initiële planning van de volgende Review

   

Aan de slag Peers uitnodigen Zelfevaluatie en zelfverslag Peer Visit voorbereiden

Fase 0 Gunstige voorwaarden: Algemene richtlijnen

Richtlijnen Fase 3 Peer Verslag (4 weken)  Conceptverslag  Opmerkingen van VETinstelling  Eindverslag 

Richtlijnen Fase 2 Peer Visit (2-3 dagen)  Gegevens verzamelen  Gegevens analyseren  Mondelinge feedback

14

15

Hoofdstuk 2 RICHTLIJNEN VOOR DE VERSCHILLENDE FASES VAN DE PEER REVIEW Als er gestart wordt met de voorbereiding van een Peer Review, moet er een algemeen plan worden opgesteld dat alle fases van de Peer Review omvat: voorbereiding van de Peer Review, de Peer Review Visit, het Peer Review Verslag en, erg belangrijk, de fase waarin plannen ten uitvoer worden gebracht.

Voorbereidingsfase (Fase 1)

Richtlijnen

De juiste planning van het Peer Review-proces is een kritieke succesfactor voor het vergroten van de impact van Peer Reviews. Een belangrijk onderdeel van de planningsfase is duidelijk vastleggen wie erbij betrokken is (rollen en verantwoordelijkheden), wat de doelstellingen van de Peer Review zijn en hoe de uitkomsten van elke stap en activiteit worden gedocumenteerd. 

Het management dient rekening te houden met de algehele strategie van de VET-instelling bij het kiezen van de kwaliteitsterreinen die zullen worden geëvalueerd (identificeren van sterke punten en/of gebieden die voor verbetering vatbaar zijn). 

Dit houdt bijvoorbeeld in dat alle relevante partijen, waaronder managementpersoneel op alle niveaus, betrokken zijn bij het selecteren van de kwaliteitsterreinen.



Stel eerst vast welke onderwerpen en vragen geschikt zijn voor de Peer Review en welke onderwerpen en vragen met andere instrumenten of door speciale experts behandeld moeten worden.



Zorg ervoor dat de VET-instelling en het Peer Team dezelfde opvatting hebben over de inhoud van de kwaliteitsterreinen, dat er duidelijkheid bestaat over de termen en definities die gebruikt worden in de te evalueren kwaliteitsterreinen en over de evaluatievragen.



Stel bij het starten van de voorbereiding van een Peer Review een algemeen plan op dat alle fases van de Peer Review omvat: voorbereiding van de Peer Review, Peer Review Visit, Peer Review Verslag en het ten uitvoer brengen van de plannen. 

Zie Bijlage 2: Schema van het Peer Review-proces voor VET-instellingen



Zie Bijlage 3: Schema van het Peer Review-proces voor Peers



Het management dient de follow-up van de Peer Review van het begin af aan serieus te nemen en dient volledig achter alle fases van de Peer Review te staan.



Zorg ervoor dat de VET-instelling erop toeziet dat er voldoende steun en hulpmiddelen beschikbaar zijn tijdens alle fases van de Peer Review, vooral tijdens de fase waarin de verbeterpunten ten uitvoer worden gebracht.



Wees bij het plannen van een Peer Review duidelijk over hoe de uitkomsten van de Peer Review gebruikt zullen worden: o Hoe en wanneer worden de uitkomsten intern (en wellicht ook extern) verspreid?

16

o o o o o

Hoe en wanneer worden de uitkomsten besproken en geanalyseerd? Wie beslist er welke acties worden uitgevoerd? Wat is de uiterste datum waarop deze beslissingen genomen moeten zijn? Wie is er verantwoordelijk voor het uitvoeren van de acties? Hoe worden de effecten en impact van de acties gecontroleerd en geëvalueerd?



Zie Bijlage 1: Een voorbeeld van het ‘Peer Review informatieformulier’



De VET-instelling moet een uitgebreid en kwalitatief hoogwaardig verslag opstellen.



Zorg ervoor dat de beoogde gebruikers de bevoegdheid en hulpmiddelen hebben om te handelen naar de uitkomsten van de Peer Review of dat ze gesteund worden door degenen die over deze bevoegdheid beschikken.



Bij de voorbereiding van de Peer Review dient ook te worden bepaald hoe de diverse signalen (vroegtijdige waarschuwingen) moeten worden gevolgd en gecontroleerd. Dit zijn signalen die aangeven dat dingen niet gaan zoals verwacht, waardoor er corrigerende acties plaats dienen te vinden. Het gaat hierbij om signalen die bijvoorbeeld op de volgende situaties wijzen: 

Het management is niet betrokken bij en staat niet achter de voorbereidingsfase.



Mensen zijn niet aanwezig tijdens interviews of feedbacksessies.



Degenen die betrokken zijn bij de Peer Review lijken geen realistische verwachtingen te hebben ten aanzien van de uitkomsten van de Peer Review. Bijvoorbeeld: ze verwachten wellicht dat de Peer Review een algehele evaluatie van de operationele organisatie van de VET-instelling oplevert of ernstige interne conflicten zal oplossen.



De Peer Review Agenda die door de Peers wordt ingeleverd, wijst uit dat de Peers het zelfevaluatieverslag en de evaluatievragen (voor zover gebruikt) niet (helemaal) goed hebben begrepen, omdat niet alle onderwerpen aan bod zijn gekomen, belangrijke stakeholders er niet bij betrokken zijn, etc.

Eigen bevindingen

---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------

17

Peer Visit (Fase 2)

Richtlijnen

Een solide voorbereiding van de Peer Review Visit vereist dat het Peer Review Handboek voor VET, de algemene richtlijnen en de richtlijnen voor de voorbereidingsfase goed bestudeerd worden. Daarnaast willen we hier graag nog enkele aanbevelingen doen: 

Tijdens een Peer Visit treden er vaak onvoorziene omstandigheden op. De Peer Review Facilitator en andere mensen die betrokken zijn namens de VET-instelling dienen zich ervan bewust te zijn dat ze zich flexibel moeten opstellen en adequaat moeten reageren. 



Voorbeelden van dergelijke omstandigheden zijn: een Peer wordt ziek, interviewkandidaten (vooral externe) komen niet opdagen of komen te laat, er zijn vertragingen waardoor de agenda moet worden aangepast, etc.

Het Peer Review-proces dient continu gecontroleerd en bijgesteld te worden om problemen te voorkomen of op te lossen, zoals: 

Geen toewijding en/of geen betrokkenheid van het management



Absentie van mensen tijdens interviewsessies



Onrealistische verwachtingen m.b.t. de uitkomsten van de Peer Review.



Houd er rekening mee dat de kwaliteit van de uitkomsten vanwege niet-geanticipeerde veranderingen kan afwijken van de verwachte uitkomsten. Toch dient er tijdens het gehele Peer Review-proces voor te worden gezorgd dat de uitkomsten van acceptabele kwaliteit zijn en dat de organisatie die onderwerp is van de Peer Review baat heeft bij de uitkomsten.



Zorg ervoor dat alle relevante informatiebronnen (deze variëren afhankelijk van de context en het gekozen kwaliteitsterrein) beschikbaar zijn tijdens de Peer Review Visit. Als dat niet het geval is, dienen de Peer Review Facilitator en/of de manager van de VET-instelling ervoor te zorgen dat de Peers over up-to-date informatie beschikken.

Eigen bevindingen

-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------

18

Peer Review Verslag (Fase 3)

Richtlijnen

Naast wat er in het Peer Review Handboek vermeld staat over het Peer Review Verslag willen we tevens de volgende aanbevelingen doen: 

De VET-instelling dient over uitgebreide en transparante informatie- en communicatieprocedures te beschikken; hieronder vallen onder meer de principes en procedures voor het verspreiden en gebruiken van uitkomsten van de evaluatie. 



Het dient bijvoorbeeld duidelijk te zijn aan wie en via welke kanalen de uitkomsten van de Peer Review worden verspreid en gecommuniceerd.

Maak het Peer Review Verslag beschikbaar voor de beoogde gebruikers tijdens het Peer Review-proces en houd daarbij rekening met hun behoeften en voorkeuren (hoeveel informatie kunnen ze verwerken en in welke vorm).

Eigen bevindingen

-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------

Plannen ten uitvoer brengen (Fase 4)

Richtlijnen

VET-instellingen dienen zich ervan bewust te zijn dat het echte werk pas begint nadat ze het Peer Review Verslag ontvangen hebben. Het algemene plan dat tijdens de voorbereidingsfase (Fase 1) is opgesteld, dient nu een meer gedetailleerde vorm te krijgen: er dienen specifieke acties te worden opgesteld en uitgevoerd om de beoogde verbeteringen te bewerkstelligen.

19



De VET-instelling dient een interne follow-upprocedure te implementeren, zoals: 

Indicatoren en het doelniveau voor elke indicator definiëren om de impact van acties ter verbetering te kunnen controleren.



Duidelijk aangeven wie verantwoordelijk is voor specifieke follow-upactiviteiten en wanneer deze moeten worden uitgevoerd.



Een follow-upverslag voorbereiden.



Follow-upvergaderingen organiseren.



Follow-upactiviteiten op de agenda zetten voor managementoverleg.



De VET-instelling dient zich ervan bewust te zijn dat er extra steun en hulpmiddelen vereist kunnen zijn om de plannen ten uitvoer te brengen.



De VET-instelling dient systematisch te controleren of beslissingen over acties ter verbetering die op basis van de Peer Review zijn geïmplementeerd, ook daadwerkelijk worden uitgevoerd en hoeveel impact deze acties hebben.

Eigen bevindingen

-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------

20

Evaluatie (Fase 5) 

Richtlijnen

De VET-instelling moet het gehele Peer Review-proces en de impact ervan evalueren en de uitkomsten analyseren. Daarnaast moet het Peer Review-proces en de bijbehorende voorwaarden waar nodig verder worden ontwikkeld, voordat er begonnen wordt met een nieuwe Peer Review.

Eigen bevindingen

-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------

21

Hoofdstuk 3 METHODES EN MIDDELEN OM DE IMPACT VAN PEER REVIEWS TE BEVORDEREN Dit hoofdstuk vormt een inleiding op enkele voorbeelden van de middelen en methodes die de impact van Peer Reviews zouden kunnen vergroten.

Peer Review – Waar het wel en niet voor bedoeld is Dit is een soort controlelijst die u laat zien waar een Peer Review wel en niet voor bedoeld is. Ga aan de hand van deze lijst zorgvuldig na of een Peer Review het geschikte instrument is om uw organisatie verder te ontwikkelen.

Een Peer Review is bedoeld om 

kritische feedback over uw organisatie te ontvangen van collega’s in het veld.



u een perspectief van buitenaf te bieden.



de kwaliteit van de door u aangeboden diensten vast te stellen en te verbeteren.



uw sterke punten te belichten.



verantwoording richting belanghebbenden te vergroten.



blinde vlekken en zwakke punten bloot te leggen.



netwerken en samenwerking met andere VET-instellingen tot stand te brengen.



een extern evaluatieverslag te verkrijgen.



intern bewustzijn te vergroten van uw sterke en zwakke punten en van gebieden die voor verbetering vatbaar zijn.

Een Peer Review is niet bedoeld om 

conflicten binnen uw organisatie op te lossen. Een Peer Review is geen instrument voor ‘mediation’ (bemiddeling) of conflictmanagement.



uw organisatie op te hemelen. Als de uitkomsten van de Peer Review aantonen dat alles binnen uw organisatie perfect is, dan hebt u de verkeerde vragen gesteld!

22



uw organisatie naar beneden te halen. Als de uitkomsten van de Peer Review aantonen dat alles binnen uw organisatie verkeerd zit, dan hebt u de verkeerde vragen gesteld!



onbelangrijke vragen te beantwoorden. Zorg ervoor dat u kwaliteitsterreinen kiest die belangrijk zijn voor de verdere ontwikkeling van uw organisatie.



geheime documenten te produceren. Alle relevante stakeholders dienen toegang te krijgen tot de uitkomsten van de Peer Review.



specifiek advies in te winnen. Een Peer Review laat u gebieden zien die voor verbetering vatbaar zijn, maar het is aan u om actie te ondernemen.

Als u de Peer Review gebruikt waar deze voor bedoeld is, dan zal uw gehele organisatie profiteren van de uitkomsten en krijgt u te zien wat uw sterke punten zijn en welke gebieden voor verbetering vatbaar zijn. Maak goed gebruik van deze kans!

De Peer Review als onderdeel van het algehele kwaliteitsbeheer- en evaluatiesysteem van een VET-instelling De sturings- en besluitvormingsprocessen van de VET-instelling dienen gebaseerd te zijn op betrouwbare en gevarieerde prestatie- en evaluatiegegevens. Om de optimale impact uit de evaluaties te verkrijgen, dient de VET-instelling een duidelijk systeem te hanteren en te bepalen hoe de werkzaamheden worden geëvalueerd en de uitkomsten worden beoordeeld. Hierbij dienen alle belangrijke doelstellingen, beleidslijnen en richtlijnen met betrekking tot de evaluatie en beoordeling, evenals de schema’s en verantwoordelijkheden die daarmee samenhangen, aan bod te komen. Informatie over de schooleigenaar of organisatie waar de instelling onder valt, duidelijkheid vooraf over hun mate van betrokkenheid in het proces en hun verwachtingen ten aanzien van de externe evaluatie en van de Peer Review zelf zijn erg belangrijke factoren voor een succesvolle Peer Review en de impact die de review heeft. In landen waar scholen in handen zijn van de autoriteiten, worden de autoriteiten niet per se geïnformeerd voordat er een Peer Review plaatsvindt, noch worden de uitkomsten aan hen medegedeeld. Het is eveneens belangrijk – in verband met de heersende verwachtingen van de organisatie – dat de instelling haar doelen en oogmerken definieert en doelstellingen opstelt met betrekking tot de Peer Review. Daarnaast moeten de soort uitkomsten worden bepaald die men graag wil bereiken door het implementeren van deze externe evaluatie. Een Peer Review kan:    

bevestigen wat al bekend is (‘Zijn we op de juiste weg?’); ideeën voor verbeteringen aandragen of steunen; blinde vlekken en nieuwe gebieden voor verbetering ontdekken; sterke punten aanstippen die benut kunnen worden.

23

Meer informatie vindt u in Hoofdstuk 3.1, ‘Peer Review – Waar het wel en niet voor bedoeld is’. U vindt er ook een handige controlelijst.

Stappen uit het Peer Review Verslag om acties en follow-up te verbeteren Grondige documentatie van alle fases (door formulieren en sjabloondocumenten te gebruiken) ondersteunt de evaluatie van het Peer Review-proces en laat op basis van ervaringen zien hoe voorbereidingen voor de volgende Peer Review kunnen worden verbeterd. Dit helpt ook om het Peer Review-proces zelf te verbeteren wat betreft de impact en acties die het gevolg zijn van ontvangst van het Peer Review Verslag. Om de impact van de Peer Review te bevorderen, dient er een korte informatiesessie gehouden te worden voor al het personeel en alle andere personen die bij het proces betrokken zijn. Alle relevante belanghebbenden dienen toegang te krijgen tot de uitkomsten van de Peer Review. Iedereen dient te weten wat de cruciale uitkomsten van de Peer Review zijn, wat de allereerste ideeën zijn en hoe deze gebruikt gaan worden. Het is zinvol om de veranderingsprocedures te plannen in samenwerking met de organisatie van de VET-instelling of met de afdeling waar de Peer Review is uitgevoerd. Het veranderingsproces zou acties op zowel strategisch als operationeel niveau kunnen omvatten. Verandermanagement is een systematische benadering voor het omgaan met veranderingen, zowel vanuit het perspectief van een organisatie als vanuit het perspectief van een individu. Verandermanagement behelst zorgvuldige planning, goed afgestemde implementatie en bovenal overleg met en betrokkenheid van diegenen voor wie de veranderingen gevolgen zullen hebben. Als verandering opgelegd wordt aan mensen, leidt dit tot problemen: angst, weerstand, boycot, etc. Verandering moet realistisch, haalbaar en meetbaar zijn. Bij het plannen van acties en taken die moeten worden uitgevoerd na ontvangst van het Peer Review Verslag, dienen de taken voor het schooljaar, de jaarlijkse actieplannen en de strategische plannen voor de lange termijn zorgvuldig op elkaar te worden afgestemd. De plannen en acties dienen te worden geïntegreerd met het algemene ontwikkelingsplan van de VET-instelling/-organisatie. Bij de planning dienen de tijdsperiodes, intervallen en deadlines zorgvuldig te worden gedefinieerd. Operationele doelstellingen dienen te worden gedefinieerd in de vorm van SMART-doelstellingen. S

Specifiek

M

Meetbaar

A

Acceptabel

R

Realistisch

T

Tijdgebonden

Er dienen adequate hulpbronnen en andere vormen van ondersteuning te worden toegewezen voor de implementatiefase.

24

Figuur 2. Stroomschema: From the Peer Review Report to Improvement Goede ervaringen delen

PEER REVIEW RAPPORT

Het maken van het informatieplan op basis van geanalyseerde resultaten en goede praktijken

Het verwerken van de resultaten door de daarvoor verantwoordelijke persoon binnen de organisatie

Het verbinden van te verbeteren gebieden met kerndoelen

Selectie van verbeteringsgebieden door de daarvoor verantwoordelijke persoon binnen de organisatie

Het maken van ontwikkelingsplannen en benoemen van verantwoordelijke personen:  doelen identificeren en publiceren  voorstellen voor actie  verantwoordelijkheden toekennen  tijdsplanning  middelen  ondersteuning  monitoring  evaluatie (indicatoren)

Monitoren en evalueren van de ontwikkelingsplannen

Resultaten en hun evaluatie

Maken indicatoren

Analyse en marketing van bereikte resultaten

Implementatie verbeteringsmaatregelen volgens planning Synchronisatie van het rapport met andere verbeteringsgebieden

Informatie voor:    

stakeholders partners studenten eigenaren

Feedback voor betrokkenen

Monitoring door directe supervisor/op teamniveau/ door de verantwoordelijke, incl. budget

Zelfevaluatie en verstrekking tussentijdse informatie voor monitoring als onderdeel van het werk van het management team

Noodzakelijke veranderingen in het actieplan

Procesevaluatie

Afronding ontwikkelingswerk

Plannen van de volgende maatregel

25

Follow-up van plannen voor verbetering en procedures voor verandering zijn ook cruciaal voor succes. De verantwoordelijkheden en het schema voor de follow-up dienen helder gedefinieerd te worden. Indicatoren leveren daartoe de benodigde informatie. Follow-upsjablonen zijn ook erg handige hulpmiddelen. Tot slot helpt de beoordeling van de Peer Review en het ontwikkelingsproces om te bepalen welke vooruitgang er is geboekt en of de ontwikkelingsdoelstellingen zijn gehaald. Het biedt tevens informatie over de behoefte aan verdere veranderingen. In Figuur 2 wordt het proces beschreven voor de behandeling van het Peer Review Verslag. Het proces bevat verschillende stappen en taken.

Peer Review Impact – Workshop kwaliteitsverbetering 1. Het primaire doel van de workshop kwaliteitsverbetering is het selecteren en ontwerpen van een conceptuele basis voor de acties ter verbetering die de organisatie (zoals een VET-instelling) in gaat zetten om zich te verbeteren of verder te ontwikkelen. De workshop is erop gericht de uitkomsten/bevindingen van de Peer Review bekend te maken, deze goedgekeurd te krijgen door het management en prioriteiten toe te kennen aan de diverse mogelijkheden om verbeteringen door te voeren. 2. De deelnemers aan de workshop zijn de leden van het hoger managementteam van de organisatie, de Peer Review Facilitator, andere leden van het Peer Review-projectteam (degenen die belast zijn met de Peer Review binnen de organisatie) en andere personeelsleden (in elk geval degenen die deelgenomen hebben aan de Peer Review). Wat betreft de deelnemers moet benadrukt moet worden dat de workshop niet kan worden gehouden en niet werkbaar is zonder deelname van het hoger management. 3. De input voor de workshop wordt gevormd door de uitkomsten/bevindingen uit het Peer Review Verslag en de sterke punten en gebieden ter verbetering die door de peers zijn geïdentificeerd voor elk van de onderzochte kwaliteitsterreinen. 4. De benodigde tijd voor de workshop hangt grotendeels af van de omvang van de organisatie en het aantal gekozen kwaliteitsterreinen en hun complexiteit (aangezien dit invloed heeft op de mate waarin het terrein moet worden beoordeeld). Eveneens van invloed is de kwaliteit van de gegevens die door het Peer Team zijn verzameld en geanalyseerd, alsmede de mate waarin het management een actieve rol heeft gespeeld bij de voorbereiding en implementatie van het Peer Review-proces. 5. Uit de definitie van de doelstelling volgt dat de primaire output van de workshop bestaat uit: 1) acties ter verbetering die de organisatie in gang wil zetten op basis van de uitkomsten van de Peer Review en 2) het concept voor deze acties ter verbetering.

26

Onderstaande tabel geeft de structuur weer van een dergelijke workshop voor kwaliteitsverbetering. Agenda 1. Inleiding: doel en programma van de workshop 2. Overzicht van de Peer Review  overzicht van het Peer Review-proces  overzicht van de uitkomsten van het Peer Review-proces: vastgestelde sterke punten en gebieden voor verbetering 3. Verbeteringen rangschikken/ prioriteren  overeenstemming over en goedkeuring voor de criteria voor het rangschikken/prioriteren van verbeteringen  de goedgekeurde gebieden voor verbetering prioriteren  de te implementeren verbeteringen selecteren 4. Definitie van acties/projecten ter verbetering  uitwerken van het concept van een actie ter verbetering (opstellen van een lijst met acties ter verbetering) 5. Samenvatting:  de leerpunten van het Peer Reviewproces samenvatten  de leerpunten van de dag samenvatten  overeenstemming bereiken over verdere taken

Doel

Tijd

Verantwoordelijke persoon

Inleiding, definiëren van de randvoorwaarden

10 min.

Leider van de organisatie

30 min.

Peer Review Facilitator Aangewezen lid van het Peer Review Team

Overzicht van het voltooide werk en de resultaten hiervan, met goedkeuring van het management

Selectie van verbeteringen die moeten worden geïmplementeerd

120 min.

Uitwerken van de concepten voor acties ter verbetering

60 min.

Leerpunten samenvatten, overeenstemming bereiken over verdere taken

20 min.

Totale tijdsduur:

240 min.

Peer Review Facilitator

Leider van de organisatie

Peer Review Facilitator

(pauzes niet inbegrepen)

Als er in de loop van de workshop een taak door afzonderlijke groepen moet worden uitgevoerd, dan dient er meer tijd te worden gereserveerd voor de plenaire discussie over de resultaten van het teamwerk. Dit kan betekenen dat er daardoor meer tijd uitgetrokken moet worden voor de workshop. Tijdens de workshop kunnen er verschillende overwegingen worden gebruikt om gebieden ter verbetering te rangschikken; deze kunnen globaal genomen in twee groepen worden onderverdeeld: …het BELANG van de verbetering, vanuit het oogpunt van de huidige en toekomstige situatie van de organisatie, en …de HAALBAARHEID van de verbetering, rekening houdend met externe en interne omstandigheden.

27

Deelnemers aan de workshop moeten overeenstemming bereiken over de precieze rankschikkingscriteria; ze moeten deze criteria tijdens de hele workshop consequent toepassen.

Rangschikking op basis van belang en haalbaarheid Er zijn veel manieren waarop het belang en de haalbaarheid kan worden beoordeeld en waarop deze criteria kunnen worden gebruikt bij het rangschikken van gebieden die voor verbetering vatbaar zijn. De volgende passages bevatten een mogelijke methode die wordt aanbevolen om te gebruiken bij het Peer Review-proces. Er zijn drie criteria die de moeite waard zijn om te overwegen met betrekking tot het BELANG van de verbetering: Doelstellingen van de organisatie – De impact die de verbetering heeft op de doelstellingen van de organisatie dient hier te worden beoordeeld. Hoe hoger het niveau en het belang van de doelstellingen die voor verbetering vatbaar zijn, des te belangrijker is de verbetering voor de ontwikkeling/verbetering van de organisatie. Impact op de prestaties van de organisatie – De impact van de specifieke verbetering op de prestaties van de organisatie dient hier te worden beoordeeld. Dit kan eigenlijk alleen worden bepaald als de basis-/hoofd-/kernprocessen van de organisatie volledig bekend zijn. Betrokkenheid van leden van de organisatie –De mate van zichtbaarheid moet hier worden geschat, d.w.z. hoe duidelijk het resultaat van de verbetering voor leden van de organisatie is en op welke partners deze verbetering invloed heeft (zoals klanten, belangrijke partners, personeel of andere partners, stakeholders), en in welke mate de partners het positieve effect van de verbetering op hun eigen terrein kunnen waarnemen. Elk gebied ter verbetering moet eerst worden beoordeeld op basis van de drie hierboven vermelde criteria. De scores die aan elk van deze criteria zijn toegekend, moeten vervolgens bij elkaar worden opgeteld. De beoordeling zelf onderscheidt drie niveaus die zijn gebaseerd op het belang van het gebied dat voor verbetering vatbaar is: laag belang (score 1), gemiddeld belang (score 3), hoog belang (score 5). Als de scores eenmaal zijn samengevoegd, geven ze het belang van elk gebied ter verbetering aan op basis van de drie criteria. (De volgende tabel helpt bij dit rangschikkingsproces.)

28 Opmerkingen

Betrokkenheid van leden van de organisatie

Impact op de prestaties van de organisatie

(Het belang van elk afzonderlijk gebied ter verbetering dient hier te worden beoordeeld op de drie criteria.) Doelstellingen van de organisatie

Hier dienen de gebieden ter verbetering te worden vermeld die in de loop van de Peer Review zijn vastgesteld en door het management zijn goedgekeurd.

Prioriteitenindex (kan worden berekend door de afzonderlijke scores op te tellen)

Beoordelen van belang Gebieden ter verbetering

1 – laag belang 3 – gemiddeld belang 5 – hoog belang

Hoe hoger de score die een gebied ter verbetering krijgt, des te belangrijker is het om deze verbetering te implementeren. Dit proces is handig om de eerste 10–15 zeer belangrijke gebieden ter verbetering te selecteren uit alle mogelijke gebieden die in de loop van de Peer Review naar voren zijn gekomen. In de volgende stap/fase moeten de 10–15 geselecteerde gebieden verder worden onderzocht door de organisatie: nu moeten die verbeteringen worden geïdentificeerd die beslist bij zullen dragen aan de ontwikkeling/verbetering van de organisatie. Deze stap wordt gevolgd door een analyse van de 10–15 gebieden die zijn geselecteerd op basis van het belang dat eraan is toegekend vanuit het perspectief van haalbaarheid. Bij het boordelen van de HAALBAARHEID zijn er opnieuw drie criteria die overwogen moeten worden: Bestek van implementatie – De mate waarin de verbetering kan worden geïmplementeerd binnen de bevoegdheden van de organisatie dient hier te worden beoordeeld; tevens dient bekeken te worden hoeveel centraal aangeboden steun vereist is voor implementatie. Hoe groter de haalbaarheid van de verbetering binnen de bevoegdheden van de organisatie, des te hoger zal de bijbehorende score uitvallen. Benodigde hulpbronnen voor implementatie – De hulpbronnen die nodig zijn voor de implementatie van de specifieke verbetering moeten hier worden beoordeeld. In dit geval leidt een lagere vraag naar hulpbronnen tot een hogere score. Verwachte tijdsduur voordat het resultaat zichtbaar is – Het tijdsbestek voor het bereiken van de verwachte resultaten van de verbetering moet hier onderzocht en beoordeeld worden. Hoe sneller de resultaten van de verbetering zichtbaar en merkbaar zijn, des te hoger dient de score voor haalbaarheid te zijn. De beoordeling wordt uitgevoerd aan de hand van een vergelijkbaar systeem als gebruikt is voor het belang van de verschillende gebieden, d.w.z. door de dezelfde schaal met drie onderdelen (laag – gemiddeld – hoog) te gebruiken die hier is weergegeven. De volgende tabel kan worden gebruikt om de haalbaarheid te beoordelen:

Beoordeling van haalbaarheid

Verwachte tijdsduur voordat het resultaat zichtbaar is

Bestek van implementatie

Hier dienen de gebieden te worden vermeld die gekozen zijn op basis van hun belang.

(De haalbaarheid van elk afzonderlijk gebied ter verbetering dient hier te worden beoordeeld op de drie criteria.) Vereiste hulpmiddelen voor implementatie

Gebieden ter verbetering

Prioriteitenindex (kan worden berekend door de afzonderlijke scores voor haalbaarheid samen te voegen)

29 Opmerkingen

1 – moeilijk te implementeren (laag) 3 – gemiddelde moeilijkheidsgraad m.b.t. implementeren van verbetering (gemiddeld) 5 – eenvoudig te implementeren (hoog)

Ook in dit geval geldt dat hoe hoger de score die een gebied voor verbetering heeft, des te gemakkelijker het zal zijn om deze verbetering te implementeren. Over het algemeen geldt dat de verbeteringen die belangrijk zijn voor de organisatie en die gemakkelijk te implementeren zijn als eerste in gang moeten worden gezet. Tegelijkertijd is het erg belangrijk om erop te wijzen dat deze rangschikkingsmethode slechts een middel is om de besluitvorming van het management te ondersteunen. In alle gevallen is het de taak en verantwoordelijkheid van het management om te definiëren welke verbeteringen in gang moeten worden gezet om de organisatie te verbeteren (nadat de eerste voorbereidingen zijn afgerond die aan de besluitvorming ten grondslag liggen). Daarom is het zo belangrijk dat alle leden van het hoger management van de organisatie deelnemen aan de workshop kwaliteitsverbetering, aangezien hier wordt gekozen welke verbeteringen geïmplementeerd moeten worden en tijdens deze sessies ook het concept van de verbeteringsprojecten gegenereerd wordt. Bij het selecteren van de verbeteringen is het de moeite waard om na te denken over het aantal verbeteringen dat door de organisatie in gang moet worden gezet. Als algemene regel geldt dat er wordt aangeraden om minimaal drie verbeteringen in gang te zetten, zodat de inspanningen die er gestopt zijn in de zelfevaluatie en de Peer Review zich terugbetalen in de vorm van resultaten als gevolg van de beoogde verbeteringen. Om het maximum aantal in gang te zetten verbeteringen te bepalen, moet bekeken worden welke middelen de organisatie ter beschikking staan. Zorg ervoor dat u niet meer verbeteringen in gang zet dan de organisatie kan bewerkstelligen naast de alledaagse/normale taken en werkzaamheden (het gemiddeld aantal aanbevolen verbeteringen ligt tussen 3 en 6).

30

LITERATUUR Peer Review Impact Analysis Report. Analysis of 14 transnational European Peer Reviews carried out in eight European countries 2006-2009. 2010. Gutknecht-Gmeiner, Maria. Vienna. Case study reports of 14 Peer Reviews, project partners 2010. (Giorgio Allulli, Maria GutknechtGmeiner, Leena Koski, Katalin Molnárné Stadler, Willem de Ridder, Ismene Tramontano, Adrie J. Visscher). Gutknecht-Gmeiner, Maria (ed.) 2009. European Peer Review Manual for VET. Vienna. Guidelines for the quality assurance of vocational education and training in EU countries. Leonardo project REVIMP – From Review to Improvement. REVIMP project partners. 2009. UK. Gutknecht-Gmeiner, Maria (ed.) (2009b): European Peer Review Reader. Developments and experiences 2004–2009. Vienna. Quality Management Recommendation for Vocational Education and Training. 2008. Finnish National Board of Education. Yliopistopaino. Helsinki. Recommendation of the European Parliament and the Council on establishment of a European Quality Assurance Reference Framework for Vocational Education and Training. June 2009. Visscher, Adrie J. (ed.) 2009. Improving Quality Assurance in European Vocational Education and Training. Factors Influencing the Use of Quality Assurance Findings. Springer.

31

32

BIJLAGE 1 Peer Review informatieformulier 1) Contactinformatie Naam van de instelling voor beroepsonderwijs Adres Telefoon, fax, e-mail Contactpersonen

Naam

Contact (e-mail)

Directeur Peer Review Facilitator Andere verantwoordelijke personen 2) Startpunt (b.v. vorige evaluaties, nationale kwaliteitsvereisten, enz.) en besluit om de Peer Review uit te voeren (wanneer en door wie genomen?)

3) Doel en reden van de Peer Review

4) Externe organisatie

Enkelzijdige Peer Review Wederzijdse Peer Review Peer Review in een netwerk

5) Interne organisatie (Beschrijf wie verantwoordelijk is voor welke taken.)

6) Overzicht van de procedure en tijdsplanning Activiteit

Tijdsschema en opleveringsdata

Zelfevaluatie Zelfrapportage (oplevering uiterlijk 1 maand voor het Peer Review bezoek) Voorbereiding van Peer Visit Peer Visit

Geef 2 mogelijke data (reserveer een hele week) Datum 1: Datum 2:

33 Peer Review Rapport Ranking / Prioritering verbeteringen 

Verantwoordelijk voor prioritering

Actieplan 

Verantwoordelijk voor het actieplan

Verbeteringsactiviteiten 

Verantwoordelijk voor de verbeteringsactiviteiten

Follow-up van het actieplan en verbeteringsactiviteiten 

Verantwoordelijk voor de followup

Evaluatie van het Peer Review proces 

Verantwoordelijk voor de metaevaluatie



Verantwoordelijk voor de verbetering van het Peer Review proces

7) Object van de Peer Review

gehele organisatie delen van de organisatie (geef aan welke):

8) Kwaliteitsgebieden 8.1) Speciale evaluatievragen voor de Peers (indien mogelijk) 8.2) Verzoeken betreffende de Peers – benodigde expertise, van welke organisatie(s), etc.

9) Voeg een lijst toe van mogelijke Peers met naam, adres en contactinformatie

10) Verdere opmerkingen en vragen aan de mogelijke coördinerende instantie

34

BIJLAGE 2

Schema van het Peer Review-proces voor VET-instellingen Uit te voeren taken


Deelnemers, medewerkers, contribuanten

Methode(s) en/ of middel(en) voor implementatie

Resultaat van de taak

FASE I – Voorbereiding van/op Peer Review I.1. Aan de slag – Voorbereidende activiteiten

I.2. Peers en Peer Team

Deadline/ tijdsbestek

35

Uit te voeren taken




I.3. Zelfevaluatie uitvoeren en het zelfevaluatieverslag opstellen

I.4. Peer Visit voorbereiden



36

Uit te voeren taken




FASE II – Peer Visit II.1. Welkom en eerste sessie met VET-instelling

II.2. Peers ondersteunen bij het verzamelen van gegevens



37

Uit te voeren taken



II.3. Feedbacksessie met Peers

II.4. Meta-evaluatie van het Peer Review-proces




38

Uit te voeren taken




FASE III – Peer Review Verslag III.1. Opmerkingen over het concept Peer Review Verslag

III.2. Reflectie op de uitkomsten van de Peer Review



39

Uit te voeren taken




FASE IV – Plannen ten uitvoer brengen IV.1. Doelstellingen vastleggen – Definitie van verbeterpunten

IV.2. Uitwerking van actieplannen/verbeterpunten



40

Uit te voeren taken




IV.3. Implementatie van actieplannen/verbeterpunten

IV.4. Evaluatie van de implementatie van actieplannen/verbeterpunten



41

BIJLAGE 3

Schema van het Peer Review-proces voor Peers Uit te voeren taken




Resultaten van de taak

FASE I – Voorbereiding van / op Peer Review I.1. Aan de slag – Voorbereidende activiteiten

I.2. Peers en Peer Team


42

Uit te voeren taken


I.3. Zelfevaluatieverslag

I.4. Voorbereiding op de Peer Visit





43

Uit te voeren taken




FASE II – Peer Visit II.1. Welkom en eerste sessie met VET-instelling

II.2. Gegevens verzamelen



44

Uit te voeren taken


II.3. Gegevens analyseren

II.4. Algehele beoordeling en feedback





45

Uit te voeren taken




II.5. Feedbacksessie met VET-instelling

II.6. Reflectie op uitkomsten en meta-evaluatie van het Peer Review-proces



46

Uit te voeren taken




FASE III – Peer Review Verslag III.1. Uitwerken van het Peer Review Verslag

III.2. Afronden van het Peer Review Verslag



47

BIJLAGE 4

Voorbeelden a) ACTIES TER VERBETERING – WERKPLAN

Gebied ter verbetering

Doel van de verbetering

Specifieke actie ter verbetering

Verwachte resultaten (indicatoren en doelen)

Relevante spelers

Tijdsbestek

b) Een ander voorbeeld van een actieplan.

Onderwerp

Concrete activiteit

Tijdschema


Status

Verantwoord elijk voor activiteiten

48

Bijlage 5 Lijst met partners De coördinator van het Leonardo-project ‘Peer Review Impact’ was de Finse Nationale Onderwijsraad (FNBE), www.oph.fi. Finland Finse Nationale Onderwijsraad Leena Koski, [email protected] Annikki Häkkilä Keuda Vocational College Tiina Halmevuo, [email protected] Tampere College Kari Rantalainen, [email protected] Oostenrijk Österreichisches Institut für Berufsbildung (öibf) Judith Proinger, Judith.proinger@oeibf@at Maria Gutknecht-Gmeiner, [email protected] (externe deskundige) Höhere Technische Bundeslehranstalt Steyr Christoph Kimbacher, [email protected] Hongarije Ferenc Hansági School voor Beroeps- en Middelbaar Onderwijs voor Catering en Toerisme Imre Csüllog, [email protected] Katalin Otott, [email protected] Katalin Molnar-Stadler (M&S Consulting Kft), [email protected], (externe deskundige) Italië ISFOL – Italiaans Instituut voor de Ontwikkeling van Beroepsopleidingen voor Arbeiders Giorgio Allulli, [email protected] Ismene Tramontano, [email protected] Nederland Universiteit Twente Adrie J. Visscher, [email protected] ROC Aventus Willem de Ridder, [email protected]

RICHTLIJNEN VOOR DE IMPACT VAN PEER REVIEWS. Peer Review Impact De impact van Peer Reviews vergroten om het aanbod van VET in Europa te verbeteren

Recommend Documents