RICHTLIJNEN VOOR DE IMPACT VAN PEER REVIEWS

1

RICH HTLIJ JNEN VOOR R DE IM MPACT T VAN N PEE ER RE EVIEW WS Peer Re eview Im mpact – De impact i van Pee er Reviews vergroten n om het aanbod a van VE ET in Eu uropa te e verbetteren

2

RICHTLIJNEN VOOR DE IMPACT VAN PEER REVIEWS Leena Koski (ed.)

Ontwikkelingsgroep

Leena Koski, Finse Nationale Onderwijsraad Annikki Häkkilä, Finse Nationale Onderwijsraad Tiina Halmevuo, Keuda Kari Rantalainen, Tampere College Maria Gutknecht-Gmeiner, IMPULSE Christoph Kimbacher, HTL Steyr Katalin Molnárné Stadler, M & S Consulting Kft Katalin Otott, Ferenc Hansági Imre Csullog, Ferenc Hansági Ismene Tramontano, ISFOL Allulli Giorgio, ISFOL Willem de Ridder, ROC Aventus Adrie J. Visscher, Universiteit Twente Helsinki, september 2011 HET LEONARDO-PROJECT ‘Peer Review Impact – De impact van Peer Reviews vergroten om het aanbod van VET in Europa te verbeteren, 2009–2011’ Projectnummer − 2009-1-FI1-LEO05-01584

Dit project is financieel ondersteund door de Europese Commissie. Deze publicatie is louter een weerspiegeling van de opvattingen van de auteurs. De EC kan derhalve niet verantwoordelijk gehouden worden voor de wijze waarop enige informatie uit dit document wordt gebruikt.

3

VOORWOORD Kwaliteitsbewaking en kwaliteitsverbetering worden steeds belangrijker voor beroepsonderwijsinstellingen (Engels acroniem: VET, Vocational Education and Training) en onderwijsautoriteiten in heel Europa. Er zijn verschillende procedures en instrumenten geïntroduceerd die worden gebruikt voor het verbeteren en evalueren van de kwaliteit van VET. De uitkomsten van de evaluaties worden echter zowel door VET-instellingen zelf als op systeemniveau niet altijd even efficiënt of stelselmatig gebruikt. Het ‘Peer Review Impact’-project, dat deel uitmaakt van het Leonardo da Vinci-programma, is erop gericht een bijdrage te leveren aan de implementatie van het Europese ‘Quality Assurance Reference Framework for VET’ (EQAVET) op het niveau van VET-instellingen. Dit gebeurt door de focus te leggen op de reviewfase en meer duidelijkheid te verschaffen over het samenspel tussen kwaliteitsbeheersystemen, evaluaties en verbetering van het beroepsonderwijs. Een ander doel van het project was om de Europese Peer Review-methodologie te verbeteren en verder te ontwikkelen. Om dit te bereiken wordt er nadruk gelegd op de impact van Peer Reviews, zijn er veranderingen aangebracht in de methodologie en wordt het gebruik van Peer Reviews op zowel landelijk als Europees niveau gestimuleerd. Een Peer Review is een instrument voor het bewaken en verbeteren van de kwaliteit – een externe evaluatie van VET-instellingen die wordt uitgevoerd door ‘peers’ (zoals collega’s van andere VET-instellingen, mensen die een beroep uitoefenen waarvoor een VET-instelling haar leerlingen opleidt, en/of andere ‘kritische vrienden’). De peers geven VET-instellingen feedback in de verwachting dat instellingen deze feedback zullen analyseren en gebruiken om hun programma’s en werkwijzen te verbeteren. De Europese Peer Review-procedure voor het uitvoeren van Peer Reviews in het beroepsonderwijs is ontwikkeld binnen een Leonardo da Vinci-project genaamd ‘Peer Review in initial VET’. De procedure en het Europese Peer Review Handboek waren oorspronkelijk ontworpen voor gebruik op het niveau van ‘initial VET’ (d.w.z. beroepsonderwijs als vervolgopleiding voor jongeren), maar werd tijdens een later project (‘Peer Review Extended II’) aangepast zodat het ook voor ‘continuing VET’ (opleiding, bijscholing en training voor werknemers of werklozen) kan worden gebruikt. Bij weer een ander Leonardo-project, ‘REVIMP – From Review to Improvement’, probeerde men te achterhalen welke factoren bepalend zijn voor een succesvolle reviewfase (waarbij gegevens op het gebied van kwaliteitsbewaking werden vertaald in acties om de kwaliteit van het VET-aanbod te verbeteren). De REVIMP-richtlijnen bevatten richtlijnen voor kwaliteitsbewaking (‘QA’,

4

Quality Assurance) tijdens de reviewfase, die oorspronkelijk werden getest binnen instellingen die ‘initial VET’ aanbieden in de gezondheidszorg. De ontwikkeling van de Richtlijnen voor de Impact van Peer Reviews begon met een analyse van de impact van de 14 grensoverschrijdende Europese Peer Reviews die tussen 2006 en 2009 werden uitgevoerd in acht Europese landen. Doel hiervan was de specifieke omstandigheden te bepalen waarbij Peer Reviews uitmondden in het gebruik van Peer Review-feedback (als startpunt voor verbetering van de operationele organisatie van de VETinstellingen) en in het afleiden van kritische succesfactoren uit deze bevindingen (‘Peer Review Impact Analysis Report’). Voor de analyse werd een aangepaste versie van het REVIMP-kader gebruikt. De Peer Review Richtlijnen werden ook vergeleken met EQAVET, waarbij in het bijzonder rekening werd gehouden met de diverse beschrijvende termen. De richtlijnen werden getest in de partnerlanden en verder ontwikkeld op basis van de uitkomsten van de testfase. De Richtlijnen voor de Impact van Peer Reviews zijn ontwikkeld voor organisaties die van plan zijn om de impact van nationale en transnationale Peer Reviews te verbeteren. Het belangrijkste doel van de Richtlijnen voor de Impact van Peer Reviews is VET-instellingen en opleidingscentra te helpen bij het opzetten en uitvoeren van Peer Reviews en hen te helpen de juiste focus te behouden tijdens alle fases van het Peer Review-proces, zodat er ook na de Peer Review sprake is van een significante impact. De Richtlijnen voor de Impact van Peer Reviews zijn bedoeld om samen met het Europese Peer Review Handboek voor VET te worden gebruikt. De richtlijnen worden gecompleteerd door een praktische ‘toolbox’ die verkrijgbaar is via de website van het project (www.oph.fi), en formulieren, controlelijsten, methodes, aanvullende informatie en aanbevelingen in digitale vorm bevat. We hopen dat u de Richtlijnen voor de Impact van Peer Reviews met veel plezier zult lezen – uw feedback wordt erg op prijs gesteld! Namens de ontwikkelingsgroep van de ‘Richtlijnen voor de Impact van Peer Reviews’, Leena Koski Projectcoördinator Finse Nationale Onderwijsraad Voor meer informatie kunt u contact opnemen via e-mail: [email protected]

5

6

INHOUDSOPGAVE Inleiding Waarom richten we ons op de impact? Wat is het idee achter de Richtlijnen voor de Impact van Peer Reviews ? Tot wie richten we ons? Hoe dient u de Richtlijnen voor de Impact van Peer Reviews te gebruiken? Hoofdstuk 1 Algemene richtlijnen Hoofdstuk 2 Richtlijnen voor de verschillende fases van de Peer Review 2.1 Voorbereidingsfase 2.2 Peer Visit 2.3 Peer Review Verslag 2.4 Plannen omzetten in acties 2.5 Evaluatie Hoofdstuk 3 Methodes en instrumenten om de impact van Peer Reviews te bevorderen 3.1 Peer Review – Waar het wel en niet voor bedoeld is 3.2 Peer Review als onderdeel van een algeheel kwaliteitsbeheer- en evaluatiesysteem van een VET-instelling 3.3 Stappen uit het Peer Review Verslag om acties en follow-up te verbeteren 3.4 Peer Review – Workshop kwaliteitsverbetering

Literatuur Bijlagen

7

INLEIDING Dit boekje bevat richtlijnen om de impact van Peer Reviews in het beroepsonderwijs (VET) in Europa te optimaliseren.

Waarom richten we ons op de impact?  Studies hebben aangetoond dat de vierde fase van de EQAVETkwaliteitsbewakingscyclus (Evaluatie) in feite de zwakste schakel is.  Er zijn veel gegevens beschikbaar uit evaluaties en andere feedback, maar het lijkt erop dat systematische verbetering slechts tot een bepaalde hoogte plaatsvindt. VET-instellingen zijn zich ofwel niet voldoende bewust van de noodzaak om actie te ondernemen naar aanleiding van deze gegevens of ze beschikken niet over de procedures, competenties en kennis om een systematisch en succesvol veranderingsproces in gang te zetten. Managers zijn niet altijd in staat om de vereiste veranderingsprocessen op een systematische manier te leiden.

Wat is het idee achter de Richtlijnen voor de Impact van Peer Reviews? Het belangrijkste doel van de Richtlijnen voor de Impact van Peer Reviews is de impact van Peer Reviews te optimaliseren, en wel op de volgende manier:  een praktisch instrument bieden om het veranderingsproces, institutionele ontwikkeling en continue kwaliteitsverbetering te bevorderen;  manieren voorstellen om het gebruik van Peer Reviews te stimuleren;  een basis leggen om toekomstige Peer Reviews nog effectiever te implementeren;  informatie verschaffen over waar een Peer Review wel en niet voor bedoeld is;  een instrument bieden voor personeelsontwikkeling voor docenten, managers, facilitators en kwaliteitsbewakingsteams;  voorbeelden geven van praktische instrumenten om de EQAVETmethodiek aan te passen en te gebruiken.

8

De richtlijnen kunnen ook worden gebruikt om andere door uw organisatie gehanteerde procedures te bekijken, zoals audits, externe evaluaties en assessments, etc.

Tot wie richten we ons? De belangrijkste doelgroep van de Richtlijnen voor de impact van Peer Reviews bestaat uit VET-instellingen en/of scholen die interesse hebben in of al betrokken zijn bij Peer Reviews. Hoewel niet alle richtlijnen geschikt zullen zijn voor alle soorten VET-instellingen, zijn ze tot een bepaalde hoogte ook nuttig in een andere context dan scholen, zoals leren in de praktijk. De richtlijnen kunnen tevens worden gebruikt om de impact van andere evaluaties (waaronder audits) te bevorderen. In het document wordt de term ‘VET-instellingen’ gebruikt, waarmee vooral verwezen wordt naar beroepsopleidingen tijdens de ontwikkelingsfase van de richtlijnen. De belangrijkste doelgroepen zijn:  Bestuur en management van VET-instellingen  Peer Review Facilitators  Peers Andere doelgroepen zijn:  Partijen die op nationaal niveau betrokken zijn bij VET  Mensen die beroepsmatig steun verlenen aan VET-instellingen

Hoe dient u de Richtlijnen voor de Impact van Peer Reviews te gebruiken? De Richtlijnen voor de Impact van Peer Reviews vormen geen introductie tot Peer Reviews. De Peer Review-procedure is beschreven in het Europese Peer Review Handboek (Engelstalig, zie http://www.peer-revieweducation.net), dat de primaire bron van informatie over Peer Reviews is. De Richtlijnen voor de Impact van Peer Reviews kunnen alleen worden toegepast in combinatie met het Europese Peer Review Handboek voor VET.  Maak uzelf vertrouwd met het Europese Peer Review Handboek voor VET en andere beschikbare hulpmiddelen en instrumenten, voordat u de Richtlijnen voor de Impact van Peer Reviews gaat lezen.

9

 Gebruik de Richtlijnen voor de Impact van Peer Reviews samen met het Europese Peer Review Handboek voor VET.  Houd rekening met de richtlijnen bij de planning, implementatie en follow-up van een Peer Review. De richtlijnen kunnen ook van pas komen wanneer een VET-instelling overweegt of een Peer Review al dan niet een geschikte methode is voor de betreffende instelling. De context van Peer Reviews kan aanzienlijk verschillen, aangezien opleidingssystemen en benaderingen van kwaliteitsbewaking ook aanzienlijk verschillen binnen Europa. De richtlijnen zijn bedoeld als bron van informatie die flexibel gebruikt kan worden door degenen die betrokken zijn bij het opzetten en uitvoeren van Peer Reviews. Met andere woorden: ze zijn niet bedoeld als een keurslijf dat ten allen tijde en in elke context van de eerste tot en met de laatste richtlijn strikt nageleefd moet worden.  Bekijk de richtlijnen en volg daarbij die richtlijnen die u op basis van uw kennis van de lokale context het meest geschikt vindt.  U kunt alle richtlijnen gebruiken, of slechts een deel ervan, of alleen enkele instrumenten die erin beschreven staan. De richtlijnen zijn onderverdeeld in secties die gebaseerd zijn op de vier fases van het Peer Review proces zoals beschreven in het Europese Peer Review Handboek voor VET. Er is hier echter een Fase ‘Nul’ aan toegevoegd. Deze extra fase bevat algemene richtlijnen die niet rechtstreeks verband houden met de fases van het Peer Review-proces, maar wel belangrijke voorwaarden zijn waaraan moet zijn voldaan om de juiste impact van de Peer Review te garanderen. Fase 5, ‘Evaluatie’, is eveneens toegevoegd aan het Peer Review-proces. Deze fase bevat een evaluatie van het gehele Peer Review-proces en wat de sterke punten en verbeterpunten van het proces zijn. Op basis hiervan dient het proces waar nodig te worden aangepast. Na de Peer Review is het belangrijk om de impact te evalueren en de uitkomsten te analyseren om vast te stellen welke verbeteringsacties moeten worden ondernomen voordat de volgende Peer Review plaatsvindt.

10

Hoofdsstuk 1 Algemen A ne richttlijnen (Fase ( 0))

Richtllijnen

Deze rich htlijnen zijn n in algem meen opzich ht belangriijk. Dit bettekent dat ze niet specifiek gelden voo or een of m meerdere fases f van de d Peer Reeview. In veel v z deze riichtlijnen bbelangrijkee voorwaarrden waaraaan dient te t zijn gevallen zijn voldaan voordat v er een Peer R Review kan n worden gestart. Zo kunt u de impacct van de uuitkomsten n van de Peer Review w bevorderen:  Volgg het Euro opese Peerr Review Handboek H voor VET T en gebruik ondersteunend d materiaaal en proceedures (zie http://ww ww.peer-reevieweduccation.net).)  Zorgg ervoor dat d er binnnen uw orgganisatie en nkele systeematische proccedures vo oor kwaliteeitsbewakin ng en evalu uatie zijn.  Dit betekennt bijvoorbeeeld dat het gebruik g van de Peer Revview sterk wordt w verbeterd alls u dergelijkke procedurees al hebt inggesteld in uww organisatiee. Als dit niet het gevval is, raden we u aan om m systematissche proceduures voor kwaliteitsbbewaking in te voeren. Deze D dienen tevens proceddures voor de d analyse, verspreidingg en follow-uup van de uiitkomsten vaan de evaluaatie te bevattten. d de Peerr Review wordt w of zaal worden geïntegreeerd met  Zorgg ervoor dat de procedures p s voor kwaaliteitsbewaaking en ev valuatie vaan de VET Tinsteelling.  Meer inform matie hierovver vindt u inn Hoofdstuk k 3.2 (Peer Review als onderdeel van een alggeheel kwalitteitsbeheer- en e evaluatiesy systeem van een VET-iinstelling). d van hett begin af aan a duideliijk is wie dde beoogdee  Zorgg ervoor dat gebrruikers van n de uitkom msten van de Peer Review R zijnn (zoals man nagement, docenten en studentten).  Zorgg ervoor dat d alle releevante parttijen erbij betrokkenn zijn en daat hun betrrokkenheid d tijdens allle stadia van v het Peeer Review--proces wo ordt gestiimuleerd.  Dit betreft de beoogde ggebruikers van v de uitkomsten van dde Peer Reviiew (zie trokken zijnn bij verandeeringsprocessen, zoals Fase 4) maaar ook andderen die betr instructeurss op praktijkkleerplaatsen. m de kans op o een succcesvolle Peeer Review w te vergrooten, dientt u ervoor  Om te zo orgen dat partijen p m met ervaringg op het geebied van evaluaties,, kwaaliteitsbewaaking en zeelfevaluatie betrokkeen wordenn bij het Peeer Revi view-proces.

11

 Een positieeve houding van het perssoneel ten oppzichte van eevaluatie in het h algemeen veergroot de kaans op een succesvol s Peeer Review. d de orgaanisatie diee van plan is een Peeer Review uit u te  Zorgg ervoor dat voerren daar oo ok klaar vooor is en er e realistiscche verwacchtingen over heeft.  Het managgement dientt zich bewusst te zijn vann het feit datt een Peer Review R sterke puntten maar ookk verbeterpuunten in de operationele o organisatie van de VET-inste telling blootleegt. Een extterne evaluattie zoals eenn Peer Review w is een gelegenheid om prestatiies te verbeteren en veranndering te stiimuleren; heet is geen marketingiinstrument.  Aan de anndere kant zzal een Peer Review geen overweldigeende nieuwe inzichten opleveren, want w dit zouu betekenen dat alle eerddere evaluatiies er volledigg naast zaten. U kunt k van de Peer Review w verwachtenn dat deze beevestigt wat er bij eerdere evalluaties naarr voren is gek komen, maar dat er ookk enkele nieuuwe aspectenn aan het lichht zullen koomen. d problem men zoals bestaandee interne coonflicten er e niet toe  Zorgg ervoor dat leideen dat de Peer P Revieew weinig resultaat r oplevert. o  Zie Hoofdsstuk 3.1: Peeer Review – Waar het wel en niet voor bedoeldd is

Eigen bevvindingen:

12

Figguur 1 Fasses van de e Europese e Peer Reeview en im mpact van n de Peer Review

Next Peer Review

Volgende Peeer Review

Richtlijne en Fase 4 Plannen ten uitv voer brengen (6–12 maan nden)    

Fase 1 Voorbereidin V ng (min. 3 ma aanden)    

Fase 5 Evaluatie  Evaluatie vvan het Peer Reeview‐ proces en b beoordeling van de impact van n de Peer Review  Verbeterin ng van het procees

Richtlijnen n

Aan de slag Peers uitnodiggen Zelfevaluatie een zelfverslag Peer Visit vooorbereiden

Fase 00

Gunsstige voorw waarden: algem mene richttlijnen

Doelen form muleren Hulpbronneen duidelijk vastleggen Actieplan en n implementatiie Initiële plan nning van de vo olgende Review

Richtlijne en Fase 2 Peer Visit ((2‐3 dagen)  Gegevens vverzamelen  Gegevens aanalyseren  Mondelingge feedback

Richtli4 weken) ijnen Fase 3 Pe er Verslag (4  Conceptvverslag  Opmerkinngen van VET‐in nstelling  Eindverslaag

13

Hoofdsstuk 2 RICHT R TLIJNE EN VOO OR DE VERSC CHILLE ENDE FASES S VAN DE D PEE ER REV VIEW Als er gesstart wordtt met de vooorbereidiing van een n Peer Revview, moet er een algemeen plan word den opgestteld dat allle fases van n de Peer R mvat: Review om voorbereiiding van de d Peer Reeview, de Peer P Revieew Visit, heet Peer Reeview Verslag en n, erg belaangrijk, de fase waariin plannen n ten uitvoeer worden n gebracht.

Voorbereidingsfase (Fase ( 1))

Richtlijnen n

De juiste planning van v het Peeer Review w-proces is een kritiekke succesffactor v van de im mpact van Peer P Review ws. Een b elangrijk onderdeel o voor het vergroten van de plaanningsfasse is duidellijk vastlegggen wie errbij betrokkken is (rolllen en verantwoordelijkheden), wat dde doelstellingen van n de Peer R Review zijn en hoe msten van elke e stap een activiteiit worden gedocume g enteerd. de uitkom  Het managem ment dient rrekening tee houden met m de alggehele strattegie van V lling bij heet kiezen van de kwaliteitsterreiinen die zu ullen de VET-instel worden geëvallueerd (ideentificeren n van sterke punten een/of gebiieden die voorr verbeteriing vatbaarr zijn).  Dit houdt bijvoorbeeldd in dat alle relevante partijen, waarronder managemenntpersoneel op alle niveaaus, betrokken zijn bij hhet selecterenn van de kwaliteitsteerreinen. e vragen gesschikt zijn vvoor de Peerr Review en  Stel eerst vaast welke onnderwerpen en welke onderwerpen en vvragen met andere a instruumenten of ddoor specialee experts behandeld moeten m wordden. d de VET T-instellingg en het Peeer Team ddezelfde opvatting o  Zorgg ervoor dat hebb ben over de d inhoud van de kw waliteitsterrreinen, datt er duideliijkheid besttaat over de d termen een definitiees die gebrruikt wordden in de tee evaluueren kwaaliteitsterreeinen en ovver de evalluatievrageen.  Stel bij het staarten van dde voorberreiding van n een Peer Review eeen meen plan n op dat allle fases van n de Peer Review om mvat: voorrbereiding algem van de Peer Review, R Peeer Review Visit, Peerr Review V Verslag en het ten oer brengeen van de pplannen. uitvo  Zie Bijlagee 2: Schema van het Peeer Review-prroces voor V VET-instellinngen  Zie Bijlagee 1: Schema van het Peeer Review-prroces voor Peeers

14

 Het management dient de follow-up van de Peer Review van het begin af aan serieus te nemen en dient volledig achter alle fases van de Peer Review te staan.  Zorg ervoor dat de VET-instelling erop toeziet dat er voldoende steun en hulpmiddelen beschikbaar zijn tijdens alle fases van de Peer Review, vooral tijdens de fase waarin de verbeterpunten ten uitvoer worden gebracht.  Wees bij het plannen van een Peer Review duidelijk over hoe de uitkomsten van de Peer Review gebruikt zullen worden: o Hoe en wanneer worden de uitkomsten intern (en wellicht ook extern) verspreid ? o Hoe en wanneer worden de uitkomsten besproken en geanalyseerd? o Wie beslist er welke acties worden uitgevoerd? o Wat is de uiterste datum waarop deze beslissingen genomen moeten zijn? o Wie is er verantwoordelijk voor het uitvoeren van de acties? o Hoe worden de effecten en impact van de acties gecontroleerd en geëvalueerd?  Zie Bijlage 1: Een voorbeeld van het ‘initial information sheet’  De VET-instelling moet een uitgebreid en kwalitatief hoogwaardig verslag opstellen.  Zorg ervoor dat de beoogde gebruikers de bevoegdheid en hulpmiddelen hebben om te handelen naar de uitkomsten van de Peer Review of dat ze gesteund worden door degenen die over deze bevoegdheid beschikken.  Bij de voorbereiding van de Peer Review dient ook te worden bepaald hoe de diverse signalen (vroegtijdige waarschuwingen) moeten worden gevolgd en gecontroleerd. Dit zijn signalen die aangeven dat dingen niet gaan zoals verwacht, waardoor er corrigerende acties plaats dienen te vinden. Het gaat hierbij om signalen die bijvoorbeeld op de volgende situaties wijzen:  Het management is niet betrokken bij en staat niet achter de voorbereidingsfase.  Mensen zijn niet aanwezig tijdens interviews of feedbacksessies.  Degenen die betrokken zijn bij de Peer Review lijken geen realistische verwachtingen te hebben ten aanzien van de uitkomsten van de Peer Review. Bijvoorbeeld: ze verwachten wellicht dat de Peer Review een algehele evaluatie van

15

de operationele organisatie van de VET-instelling oplevert of ernstige interne conflicten zal oplossen.  De Peer Review Agenda die door de Peers wordt ingeleverd, wijst uit dat de Peers het zelfevaluatieverslag en de evaluatievragen (voor zover gebruikt) niet (helemaal) goed hebben begrepen, omdat niet alle onderwerpen aan bod zijn gekomen, belangrijke stakeholders er niet bij betrokken zijn, etc.

Eigen bevindingen:

16

Peer V Visit (Fase 2)

Richtlijnen

Een sollide voorbereiding va van de Peerr Review Visit V vereisst dat het Peer P Review w Handboek voor VE ET, de algeemene rich htlijnen enn de richtlijnen voor de voorrbereidingssfase goedd bestudeerrd worden n. Daarnaasst willen we w hier graag nog enkele aanbevelinngen doen n:  Tijddens een Peeer Visit trreden er vaaak onvoorziene om mstandighed den op. De Peer P Revieew Facilitaator en and dere menseen die betrrokken zijn n namens de VET-instel V lling dienenn zich ervan bewust te zijn datt ze zich fllexibel moeeten opstelllen en adeequaat moeten reageren.  Voorbeeldeen van dergeelijke omstanndigheden zijijn: een Peerr wordt ziek,, interviewkaandidaten (vvooral externne) komen niet n opdagen of komen tee laat, er zijn vertraggingen waard rdoor de agennda moet worden aangeppast, etc. ntinu gecon ntroleerd een bijgesteeld te  Het Peer Reviiew-process dient con men of op p te lossen,, zoals: worden om prroblemen tte voorkom kenheid vann het manage gement  Geen toewijijding en/off ggeen betrokk  Absentie vaan mensen ttijdens intervviewsessies  Onrealistissche verwachttingen m.b.tt. de uitkom msten van de Peer Review w.  Houud er reken ning mee ddat de kwaaliteit van de d uitkomssten vanweege nietgean nticipeerdee veranderiingen kan afwijken van v de verw wachte uittkomsten. Toch dient er tijdens het gehele Peeer Review w-proces vvoor te worden orgd dat dee uitkomstten van accceptabele kwaliteit k zzijn en dat de gezo orgaanisatie diee onderwerrp is van de d Peer Review baat heeft bij de d uitko omsten.  Zorgg ervoor dat d alle releevante info ormatiebro onnen (dezze variëren n afhaankelijk van n de conteext en het gekozen g kwaliteitste k errein) bescchikbaar zijn tijdens de Peer Reviiew Visit. Als A dat nieet het gevaal is, dienen n de Peer oor te Reviiew Facilittator en/off de managger van dee VET-insttelling ervo zorggen dat de Peers oveer up-to-daate informaatie beschiikken.

Eigen bevvindingen:

17

Peer R Review Verslag V (Fase 33)

Richtlijnen n

Naast wat w er in heet Peer Reeview Handboek vermeld staatt over het Peer P Review w Verslag willen w we teevens de volgende v aaanbevelinggen doen:  De VET-inste V elling dientt over uitggebreide en n transparaante inform matie- en com mmunicatieeprocedurees te besch hikken; hieronder valllen onder meer de prin ncipes en procedures p s voor het verspreide v en en gebruuiken van uitko omsten vaan de evaluuatie. duidelijk te zijn aan wiie en via wellke kanalenn de  Het dient bijvoorbeeld b uitkomstenn van de Peeer Review woorden verspreeid en gecom mmuniceerd. Verslag besschikbaar voor v de beeoogde geb bruikers  Maaak het Peerr Review V tijdeens het Peeer Review--proces en n houd daaarbij rekeniing met hu un beho oeften en voorkeure v en (hoeveeel informattie kunnenn ze verwerrken en in welkke vorm).

Eigen bevvindingen:

18

Planneen ten uitvoer u brengen b n (Fase 4)

Richtlijne en

VET-insttellingen diienen zichh ervan bew wust te zijn n dat het eechte werkk pas begint naddat ze het Peer Reviiew Verslagg ontvangeen hebbenn. Het algemene plan dat tijdens t de voorbereid v dingsfase (Fase ( 1) is opgesteld,, dient nu een meer gedetailleerde vorm m te krijgenn: er dienen n specifiek ke acties tee worden opgesteld o oerd om de d beoogdee verbeteriingen te beewerkstelliigen. en uitgevo  De VE ET-instelliing dient eeen internee follow-up pproceduree te implem menteren, zoals:  Indicatorenn en het doeln lniveau voor elke indicattor definiërenn om de imppact van acties ter veerbetering te kunnen conntroleren.  Duidelijk aangeven a wiie verantwoordelijk is voor specifiekee follow-upactiviteiten en wanneerr deze moetenn worden uiitgevoerd.  Een follow-upverslag vvoorbereiden.  Follow-upvvergaderingenn organiserenn.  Follow-upaactiviteiten opp de agendaa zetten voorr managemenntoverleg.  De VE ET-instelliing dient z ich ervan bewust te zijn dat err extra steu un en hulpm middelen veereist kunnnen zijn om m de plann nen ten uittvoer te brrengen.  De VE ET-instelliing dient syystematiscch te contrroleren of bbeslissingeen over acties ter verbeteering die oop basis vaan de Peer Review ziijn plementeerd, ook daaadwerkelijkk worden uitgevoerd u d en hoeveeel impact geïmp deze acties a hebb ben.

Eigen bevvindingen:

19

Evaluaatie (Fasse 5)

Richtlijne en

 De VE ET-instelliing moet hhet gehele Peer P Revieew-proces en de imp pact ervan evalueeren en de uitkomsteen analyserren. Daarn naast moet het Peer ReviewR process en de bijb behorendee voorwaarrden waar nodig verrder wordeen ontwikkkeld, voo ordat er beggonnen wo ordt met een e nieuwee Peer Revview.

Eigen bevvindingen:

20

Hoofdstuk 3 METHODES EN MIDDELEN OM DE IMPACT VAN PEER REVIEWS TE BEVORDEREN Dit hoofdstuk vormt een inleiding op enkele voorbeelden van de middelen en methodes die de impact van Peer Reviews zouden kunnen vergroten.

3.1 Peer Review – Waar het wel en niet voor bedoeld is Dit is een soort controlelijst die u laat zien waar een Peer Review wel en niet voor bedoeld is. Ga aan de hand van deze lijst zorgvuldig na of een Peer Review het geschikte instrument is om uw organisatie verder te ontwikkelen.

Een Peer Review is bedoeld om  kritische feedback over uw organisatie te ontvangen van collega’s in het veld.  u een perspectief van buitenaf te bieden.  de kwaliteit van de door u aangeboden diensten vast te stellen en te verbeteren.  uw sterke punten te belichten.  verantwoording richting belanghebbenden te vergroten.  blinde vlekken en zwakke punten bloot te leggen.  netwerken en samenwerking met andere VET-instellingen tot stand te brengen.  een extern evaluatieverslag te verkrijgen.  intern bewustzijn te vergroten van uw sterke en zwakke punten en van gebieden die voor verbetering vatbaar zijn.

Een Peer Review is niet bedoeld om  conflicten binnen uw organisatie op te lossen. Een Peer Review is geen instrument voor ‘mediation’ (bemiddeling) of conflictmanagement.  uw organisatie op te hemelen. Als de uitkomsten van de Peer Review aantonen dat alles binnen uw organisatie perfect is, dan hebt u de verkeerde vragen gesteld!

21

 uw organisatie naar beneden te halen. Als de uitkomsten van de Peer Review aantonen dat alles binnen uw organisatie verkeerd zit, dan hebt u de verkeerde vragen gesteld!  onbelangrijke vragen te beantwoorden. Zorg ervoor dat u kwaliteitsterreinen kiest die belangrijk zijn voor de verdere ontwikkeling van uw organisatie.  geheime documenten te produceren. Alle relevante stakeholders dienen toegang te krijgen tot de uitkomsten van de Peer Review.  specifiek advies in te winnen. Een Peer Review laat u gebieden zien die voor verbetering vatbaar zijn, maar het is aan u om actie te ondernemen. Als u de Peer Review gebruikt waar deze voor bedoeld is, dan zal uw gehele organisatie profiteren van de uitkomsten en krijgt u te zien wat uw sterke punten zijn en welke gebieden voor verbetering vatbaar zijn. Maak goed gebruik van deze kans!

3.2 De Peer Review als onderdeel van het algehele kwaliteitsbeheer- en evaluatiesysteem van een VET-instelling De sturings- en besluitvormingsprocessen van de VET-instelling dienen gebaseerd te zijn op betrouwbare en gevarieerde prestatie- en evaluatiegegevens. Om de optimale impact uit de evaluaties te verkrijgen, dient de VET-instelling een duidelijk systeem te hanteren en te bepalen hoe de werkzaamheden worden geëvalueerd en de uitkomsten worden beoordeeld. Hierbij dienen alle belangrijke doelstellingen, beleidslijnen en richtlijnen met betrekking tot de evaluatie en beoordeling, evenals de schema’s en verantwoordelijkheden die daarmee samenhangen, aan bod te komen. Informatie over de schooleigenaar of organisatie waar de instelling onder valt, duidelijkheid vooraf over hun mate van betrokkenheid in het proces en hun verwachtingen ten aanzien van de externe evaluatie en van de Peer Review zelf zijn erg belangrijke factoren voor een succesvolle Peer Review en de impact die de review heeft. In landen waar scholen in handen zijn van de autoriteiten, worden de autoriteiten niet per se geïnformeerd voordat er een Peer Review plaatsvindt, noch worden de uitkomsten aan hen medegedeeld. Het is eveneens belangrijk – in verband met de heersende verwachtingen van de organisatie – dat de instelling haar doelen en oogmerken definieert en doelstellingen opstelt met betrekking tot de Peer Review. Daarnaast moeten de soort uitkomsten worden bepaald die men graag wil bereiken door het implementeren van deze externe evaluatie. Een Peer Review kan:  bevestigen wat al bekend is (‘Zijn we op de juiste weg?’);

22

 ideeën voor verbeteringen aandragen of steunen;  blinde vlekken en nieuwe gebieden voor verbetering ontdekken;  sterke punten aanstippen die benut kunnen worden. Meer informatie vindt u in Hoofdstuk 3.1, ‘Peer Review – Waar het wel en niet voor bedoeld is’. U vindt er ook een handige controlelijst.

3.3 Stappen uit het Peer Review Verslag om acties en follow-up te verbeteren Grondige documentatie van alle fases (door formulieren en sjabloondocumenten te gebruiken) ondersteunt de evaluatie van het Peer Review-proces en laat op basis van ervaringen zien hoe voorbereidingen voor de volgende Peer Review kunnen worden verbeterd. Dit helpt ook om het Peer Review-proces zelf te verbeteren wat betreft de impact en acties die het gevolg zijn van ontvangst van het Peer Review Verslag. Om de impact van de Peer Review te bevorderen, dient er een korte informatiesessie gehouden te worden voor al het personeel en alle andere personen die bij het proces betrokken zijn. Alle relevante belanghebbenden dienen toegang te krijgen tot de uitkomsten van de Peer Review. Iedereen dient te weten wat de cruciale uitkomsten van de Peer Review zijn, wat de allereerste ideeën zijn en hoe deze gebruikt gaan worden. Het is zinvol om de veranderingsprocedures te plannen in samenwerking met de organisatie van de VET-instelling of met de afdeling waar de Peer Review is uitgevoerd. Het veranderingsproces zou acties op zowel strategisch als operationeel niveau kunnen omvatten. Verandermanagement is een systematische benadering voor het omgaan met veranderingen, zowel vanuit het perspectief van een organisatie als vanuit het perspectief van een individu. Verandermanagement behelst zorgvuldige planning, goed afgestemde implementatie en bovenal overleg met en betrokkenheid van diegenen voor wie de veranderingen gevolgen zullen hebben. Als verandering opgelegd wordt aan mensen, leidt dit tot problemen: angst, weerstand, boycot, etc. Verandering moet realistisch, haalbaar en meetbaar zijn. Bij het plannen van acties en taken die moeten worden uitgevoerd na ontvangst van het Peer Review Verslag, dienen de taken voor het schooljaar, de jaarlijkse actieplannen en de strategische plannen voor de lange termijn zorgvuldig op elkaar te worden afgestemd. De plannen en acties dienen te worden geïntegreerd met het algemene ontwikkelingsplan van de VET-instelling/-organisatie. Bij de planning dienen de tijdsperiodes, intervallen en deadlines zorgvuldig te worden gedefinieerd. Operationele doelstellingen dienen te worden gedefinieerd in de vorm van SMART-doelstellingen. S

Specifiek

M

Meetbaar

23

A

Acceptaabel

R

Realistiisch

T

Tijdgeb bonden

Er dienen n adequatte hulpbro onnen en andere vormen v vaan onderssteuning te t worden n toegewezeen voor dee implemeentatiefase.. Follow-up p van plaannen voo or verbeteering en procedures p s voor veeranderingg zijn ookk cruciaal vvoor success. De veran ntwoordellijkheden en e het scheema voor dde follow--up dienen n helder geedefinieerdd te wordeen. Indicaatoren leveeren daarttoe de bennodigde in nformatie.. Follow-up psjablonen n zijn ook erg handigge hulpmid ddelen. Tot slot h helpt de beoordelin b ng van de Peer Revview en heet ontwikkkelingsprocces om tee bepalen w welke voo oruitgang er is gebboekt en of de ontwikkelinggsdoelstelliingen zijn n gehaald. H Het biedt tevens t info ormatie ovver de beho oefte aan verdere v verranderingeen. In Figuurr 2 wordt het h proces beschreveen voor dee behandeliing van heet Peer Revview Verslag. H Het process bevat verrschillendee stappen en e taken. hema: Fro om the Peeer Review Report R to Improvem ment Figuur 2. Stroomsch

24

3.4 Peer Review Impact – Workshop kwaliteitsverbetering 1. Het primaire doel van de workshop kwaliteitsverbetering is het selecteren en ontwerpen van een conceptuele basis voor de acties ter verbetering die de organisatie (zoals een VET-instelling) in gaat zetten om zich te verbeteren of verder te ontwikkelen. De workshop is erop gericht de uitkomsten/bevindingen van de Peer Review bekend te maken, deze goedgekeurd te krijgen door het management en prioriteiten toe te kennen aan de diverse mogelijkheden om verbeteringen door te voeren. 2. De deelnemers aan de workshop zijn de leden van het hoger managementteam van de organisatie, de Peer Review Facilitator, andere leden van het Peer Review-projectteam (degenen die belast zijn met de Peer Review binnen de organisatie) en andere personeelsleden (in elk geval degenen die deelgenomen hebben aan de Peer Review). Wat betreft de deelnemers moet benadrukt moet worden dat de workshop niet kan worden gehouden en niet werkbaar is zonder deelname van het hoger management. 3. De input voor de workshop wordt gevormd door de uitkomsten/bevindingen uit het Peer Review Verslag en de sterke punten en gebieden ter verbetering die door de peers zijn geïdentificeerd voor elk van de onderzochte kwaliteitsterreinen. 4. De benodigde tijd voor de workshop hangt grotendeels af van de omvang van de organisatie en het aantal gekozen kwaliteitsterreinen en hun complexiteit (aangezien dit invloed heeft op de mate waarin het terrein moet worden beoordeeld). Eveneens van invloed is de kwaliteit van de gegevens die door het Peer Team zijn verzameld en geanalyseerd, alsmede de mate waarin het management een actieve rol heeft gespeeld bij de voorbereiding en implementatie van het Peer Review-proces. 5. Uit de definitie van de doelstelling volgt dat de primaire output van de workshop bestaat uit: 1) acties ter verbetering die de organisatie in gang wil zetten op basis van de uitkomsten van de Peer Review en 2) het concept voor deze acties ter verbetering.

25

Onderstaande tabel geeft de structuur weer van een dergelijke workshop voor kwaliteitsverbetering. Agenda

Doel

Tijd

Verantwoordelijke persoon

1. Inleiding: doel en programma van de workshop

Inleiding, definiëren van de randvoorwaarden

10 min.

Leider van de organisatie

Overzicht van het voltooide werk en de resultaten hiervan, met goedkeuring van het management

30 min.

Peer Review Facilitator Aangewezen lid van het Peer Review Team

Selectie van verbeteringen die moeten worden geïmplementeerd

120 min.

Uitwerken van de concepten voor acties ter verbetering

60 min.

Leerpunten samenvatten, overeenstemming bereiken over verdere taken

20 min.

Totale tijdsduur:

240 min.

2. Overzicht van de Peer Review  overzicht van het Peer Review-proces  overzicht van de uitkomsten van het Peer Review-proces: vastgestelde sterke punten en gebieden voor verbetering 3. Verbeteringen rangschikken/prioriteren  overeenstemming over en goedkeuring voor de criteria voor het rangschikken/prioriteren van verbeteringen  de goedgekeurde gebieden voor verbetering prioriteren  de te implementeren verbeteringen selecteren 4. Definitie van acties/projecten ter verbetering  uitwerken van het concept van een actie ter verbetering (opstellen van een lijst met acties ter verbetering) 5. Samenvatting:  de leerpunten van het Peer Reviewproces samenvatten  de leerpunten van de dag samenvatten  overeenstemming bereiken over verdere taken

Peer Review Facilitator

Leider van de organisatie

Peer Review Facilitator

(pauzes niet inbegrepen)

Als er in de loop van de workshop een taak door afzonderlijke groepen moet worden uitgevoerd, dan dient er meer tijd te worden gereserveerd voor de plenaire discussie over de resultaten van het teamwerk. Dit kan betekenen dat er daardoor meer tijd uitgetrokken moet worden voor de workshop. Tijdens de workshop kunnen er verschillende overwegingen worden gebruikt om gebieden ter verbetering te rangschikken; deze kunnen globaal genomen in twee groepen worden onderverdeeld: …het BELANG van de verbetering, vanuit het oogpunt van de huidige en toekomstige situatie van de organisatie, en

26

…de HAALBAARHEID van de verbetering, rekening houdend met externe en interne omstandigheden. Deelnemers aan de workshop moeten overeenstemming bereiken over de precieze rankschikkingscriteria; ze moeten deze criteria tijdens de hele workshop consequent toepassen.

Rangschikking op basis van belang en haalbaarheid Er zijn veel manieren waarop het belang en de haalbaarheid kan worden beoordeeld en waarop deze criteria kunnen worden gebruikt bij het rangschikken van gebieden die voor verbetering vatbaar zijn. De volgende passages bevatten een mogelijke methode die wordt aanbevolen om te gebruiken bij het Peer Review-proces. Er zijn drie criteria die de moeite waard zijn om te overwegen met betrekking tot het BELANG van de verbetering: Doelstellingen van de organisatie – De impact die de verbetering heeft op de doelstellingen van de organisatie dient hier te worden beoordeeld. Hoe hoger het niveau en het belang van de doelstellingen die voor verbetering vatbaar zijn, des te belangrijker is de verbetering voor de ontwikkeling/verbetering van de organisatie. Impact op de prestaties van de organisatie – De impact van de specifieke verbetering op de prestaties van de organisatie dient hier te worden beoordeeld. Dit kan eigenlijk alleen worden bepaald als de basis-/hoofd/kernprocessen van de organisatie volledig bekend zijn. Betrokkenheid van leden van de organisatie –De mate van zichtbaarheid moet hier worden geschat, d.w.z. hoe duidelijk het resultaat van de verbetering voor leden van de organisatie is en op welke partners deze verbetering invloed heeft (zoals klanten, belangrijke partners, personeel of andere partners, stakeholders), en in welke mate de partners het positieve effect van de verbetering op hun eigen terrein kunnen waarnemen. Elk gebied ter verbetering moet eerst worden beoordeeld op basis van de drie hierboven vermelde criteria. De scores die aan elk van deze criteria zijn toegekend, moeten vervolgens bij elkaar worden opgeteld. De beoordeling zelf onderscheidt drie niveaus die zijn gebaseerd op het belang van het gebied dat voor verbetering vatbaar is: laag belang (score 1), gemiddeld belang (score 3), hoog belang (score 5). Als de scores eenmaal zijn samengevoegd, geven ze het belang van elk gebied ter verbetering aan op basis van de drie criteria. (De volgende tabel helpt bij dit rangschikkingsproces.)

27 Beoordelen van belang

Betrokkenheid van leden van de organisatie

Impact op de prestaties van de organisatie

Doelstellingen van de organisatie

(Het belang van elk afzonderlijk gebied ter verbetering dient hier te worden beoordeeld op Hier dienen de gebieden ter de drie criteria.) verbetering te worden vermeld die in de loop van de Peer Review zijn vastgesteld en door het management zijn goedgekeurd. 1 – laag belang 3 – gemiddeld belang 5 – hoog belang

Prioriteitenindex

Gebieden ter verbetering

(kan worden berekend door de afzonderlijke scores op te tellen)

Opmerking en

Hoe hoger de score die een gebied ter verbetering krijgt, des te belangrijker is het om deze verbetering te implementeren. Dit proces is handig om de eerste 10–15 zeer belangrijke gebieden ter verbetering te selecteren uit alle mogelijke gebieden die in de loop van de Peer Review naar voren zijn gekomen. In de volgende stap/fase moeten de 10–15 geselecteerde gebieden verder worden onderzocht door de organisatie: nu moeten die verbeteringen worden geïdentificeerd die beslist bij zullen dragen aan de ontwikkeling/verbetering van de organisatie. Deze stap wordt gevolgd door een analyse van de 10–15 gebieden die zijn geselecteerd op basis van het belang dat eraan is toegekend vanuit het perspectief van haalbaarheid. Bij het boordelen van de HAALBAARHEID zijn er opnieuw drie criteria die overwogen moeten worden: Bestek van implementatie – De mate waarin de verbetering kan worden geïmplementeerd binnen de bevoegdheden van de organisatie dient hier te worden beoordeeld; tevens dient bekeken te worden hoeveel centraal aangeboden steun vereist is voor implementatie. Hoe groter de haalbaarheid van de verbetering binnen de bevoegdheden van de organisatie, des te hoger zal de bijbehorende score uitvallen. Benodigde hulpbronnen voor implementatie – De hulpbronnen die nodig zijn voor de implementatie van de specifieke verbetering moeten hier worden beoordeeld. In dit geval leidt een lagere vraag naar hulpbronnen tot een hogere score. Verwachte tijdsduur voordat het resultaat zichtbaar is – Het tijdsbestek voor het bereiken van de verwachte resultaten van de verbetering moet hier onderzocht en beoordeeld worden. Hoe sneller de resultaten van de verbetering zichtbaar en merkbaar zijn, des te hoger dient de score voor haalbaarheid te zijn.

28

Beoordeling van haalbaarheid

Verwachte tijdsduur voordat het resultaat zichtbaar is

Vereiste hulpmiddelen voor implementatie

Bestek van implementatie

(De haalbaarheid van elk afzonderlijk gebied ter verbetering dient hier te worden beoordeeld Hier dienen de gebieden op de drie criteria.) te worden vermeld die gekozen zijn op basis van hun belang.

1 – moeilijk te implementeren (laag) 3 – gemiddelde moeilijkheidsgraad m.b.t. implementeren van verbetering (gemiddeld) 5 – eenvoudig te implementeren (hoog)

Prioriteitenindex

Gebieden ter verbetering

(kan worden berekend door de afzonderlijke scores voor haalbaarheid samen te voegen)

De beoordeling wordt uitgevoerd aan de hand van een vergelijkbaar systeem als gebruikt is voor het belang van de verschillende gebieden, d.w.z. door de dezelfde schaal met drie onderdelen (laag – gemiddeld – hoog) te gebruiken die hier is weergegeven. De volgende tabel kan worden gebruikt om de haalbaarheid te beoordelen: Opmerkinge n

Ook in dit geval geldt dat hoe hoger de score die een gebied voor verbetering heeft, des te gemakkelijker het zal zijn om deze verbetering te implementeren. Over het algemeen geldt dat de verbeteringen die belangrijk zijn voor de organisatie en die gemakkelijk te implementeren zijn als eerste in gang moeten worden gezet. Tegelijkertijd is het erg belangrijk om erop te wijzen dat deze rangschikkingsmethode slechts een middel is om de besluitvorming van het management te ondersteunen. In alle gevallen is het de taak en verantwoordelijkheid van het management om te definiëren welke verbeteringen in gang moeten worden gezet om de organisatie te verbeteren (nadat de eerste voorbereidingen zijn afgerond die aan de besluitvorming ten grondslag liggen). Daarom is het zo belangrijk dat alle leden van het hoger management van de organisatie deelnemen aan de workshop kwaliteitsverbetering, aangezien hier wordt gekozen welke verbeteringen geïmplementeerd moeten worden en tijdens deze sessies ook het concept van de verbeteringsprojecten gegenereerd wordt. Bij het selecteren van de verbeteringen is het de moeite waard om na te denken over het aantal verbeteringen dat door de organisatie in gang moet worden gezet. Als algemene regel geldt dat er wordt aangeraden om minimaal drie verbeteringen in gang te zetten, zodat de inspanningen die er gestopt zijn in de zelfevaluatie en de Peer Review zich terugbetalen in de vorm van resultaten als gevolg van de beoogde verbeteringen. Om het maximum aantal in gang te zetten verbeteringen te bepalen, moet bekeken worden welke middelen de organisatie ter beschikking staan. Zorg ervoor dat u niet meer verbeteringen in gang zet dan de organisatie kan bewerkstelligen naast de alledaagse/normale taken en werkzaamheden (het gemiddeld aantal aanbevolen verbeteringen ligt tussen 3 en 6).

29

Literatuur Peer Review Impact Analysis Report. Analysis of 14 transnational European Peer Reviews carried out in eight European countries 2006-2009. 2010. Gutknecht-Gmeiner, Maria. Vienna. Case study reports of 14 Peer Reviews, project partners 2010. (Giorgio Allulli, Maria Gutknecht-Gmeiner, Leena Koski, Katalin Molnárné Stadler, Willem de Ridder, Ismene Tramontano, Adrie J. Visscher). Gutknecht-Gmeiner, Maria (ed.) 2009. European Peer Review Manual for VET. Vienna. Guidelines for the quality assurance of vocational education and training in EU countries. Leonardo project REVIMP – From Review to Improvement. REVIMP project partners. 2009. UK. Gutknecht-Gmeiner, Maria (ed.) (2009b): European Peer Review Reader. Developments and experiences 2004–2009. Vienna. Quality Management Recommendation for Vocational Education and Training. 2008. Finnish National Board of Education. Yliopistopaino. Helsinki. Recommendation of the European Parliament and the Council on establishment of a European Quality Assurance Reference Framework for Vocational Education and Training. June 2009. Visscher, Adrie J. (ed.) 2009. Improving Quality Assurance in European Vocational Education and Training. Factors Influencing the Use of Quality Assurance Findings. Springer.

30

Bijlage 1

31

32

Bijlage 2

SSchema vvan het Peer Revview‐pro oces voorr VET‐insstellingen n Uit te voeeren taken

Veraantwoordelijjke persoon

Deeelnemers, medeewerkers, cont ribuanten

Method de(s) en/ o of middel(en) voor implementatie

RResultaat vaan de taak

Deadline/ tijdsbestekk

FASE I – – Voorbereeiding van n/op Peerr Review I.1. Aan de slag – Voorb bereidende a activiteiten

I.2. Peers en n Peer Team m I.3. Zelfevalluatie uitvoe eren en het zzelfevaluatieeverslag opsstellen

33

Uit te voeren taken


Deelnemers, medewerkers, contribuanten

Methode(s) en/ of middel(en) voor implementatie

Resultaat van de taak

Deadline/ tijdsbestek

I.4. Peer Visit voorbereiden

34

Uit te voeren taken






FASE II – Peer Visit II.1. Welkom en eerste sessie met VET‐instelling

II.2. Peers ondersteunen bij het verzamelen van gegevens

35

Uit te voeren taken






II.3. Feedbacksessie met Peers II.4. Meta‐evaluatie van het Peer Review‐proces

36

Uit te voeren taken






FASE III – Peer Review Verslag III.1. Opmerkingen over het concept Peer Review Verslag

III.2. Reflectie op de uitkomsten van de Peer Review

37

Uit te voeren taken






FASE IV – Plannen ten uitvoer brengen IV.1. Doelstellingen vastleggen – Definitie van verbeterpunten

IV.2. Uitwerking van actieplannen/verbeterpunten

38

Uit te voeren taken






IV.3. Implementatie van actieplannen/verbeterpunten

IV.4. Evaluatie van de implementatie van actieplannen/verbeterpunten

39

Bijlage 3

Sch hema van n het Peeer Review w‐process voor Peeers Uit te voeeren taken

Veraantwoordelijjke persoon

Deeelnemers, medeewerkers, cont ribuanten

Method de(s) en/ o of middel(en) voor implementatie

Reesultaten vaan de taak

Deadline/ tijdsbestekk

FASE I – Voorbereeiding van n / op Peer Review I.1. Aan de slag – Voorb bereidende a activiteiten

I.2. Peers en n Peer Team m I.3. Zelfevalluatieverslagg

40

Uit te voeren taken




Resultaten van de taak


I.4. Voorbereiding op de Peer Visit

41

Uit te voeren taken






FASE II – Peer Visit II.1. Welkom en eerste sessie met VET‐instelling

II.2. Gegevens verzamelen

42

Uit te voeren taken






II.3. Gegevens analyseren II.4. Algehele beoordeling en feedback

43

Uit te voeren taken






II.5. Feedbacksessie met VET‐instelling II.6. Reflectie op uitkomsten en meta‐evaluatie van het Peer Review‐proces

44

Uit te voeren taken






FASE III – Peer Review Verslag III.1. Uitwerken van het Peer Review Verslag

III.2. Afronden van het Peer Review Verslag

45

Uit te voeren taken






46

B Bijlage 4

V Voorbeelden

a a) ACTIES TE ER VERBETER RING – WERK KPLAN G Gebied ter verbetering

Do oel van de verbetering

SSpecifieke actie ter verbetering

Verwaachte resultaten (indicaatoren en doelen))

Relevante sspelers

Tijd dsbestek

Verantwoordelijkk voor activiteiten n

47

b) Een

ander voorbeeld van een actieplan.

48

Onderwerp

Concrete activiteit

Tijdschema

Verantwoorde- Status lijke persoon

49

Bijlage 5

Lijst met partners De coördinator van het Leonardo-project ‘Peer Review Impact’ was de Finse Nationale Onderwijsraad (FNBE), www.oph.fi. Finland Finse Nationale Onderwijsraad Leena Koski, [email protected] Annikki Häkkilä Keuda Vocational College Tiina Halmevuo, [email protected] Tampere College Kari Rantalainen, [email protected] Oostenrijk Österreichisches Institut für Berufsbildung (öibf) Judith Proinger, Judith.proinger@oeibf@at Maria Gutknecht-Gmeiner, [email protected] (externe deskundige) Höhere Technische Bundeslehranstalt Steyr Christoph Kimbacher, [email protected] Hongarije Ferenc Hansági School voor Beroeps- en Middelbaar Onderwijs voor Catering en Toerisme Imre Csüllog, [email protected] Katalin Otott, [email protected] Katalin Molnar-Stadler (M&S Consulting Kft), [email protected], (externe deskundige)

50

Italië ISFOL – Italiaans Instituut voor Beroepsopleidingen voor Arbeiders Giorgio Allulli, [email protected] Ismene Tramontano, [email protected] Nederland Universiteit Twente Adrie J. Visscher, [email protected] ROC Aventus Willem de Ridder, [email protected]

de

Ontwikkeling

van

RICHTLIJNEN VOOR DE IMPACT VAN PEER REVIEWS

Recommend Documents