Versie april 2008
1
Draaiboek voor evaluatie van de studie archeologie Afkortingen: OLC
: opleidingscommissie
OS
: onderwijssecretaris (Olga Yates / Jaap Hoff)
PO
: portefeuillehouder onderwijs (Corinne Hofman)
BKW
: beleidsmedewerker kwaliteitszorg (Naomi Prins)
In het draaiboek wordt aangegeven waar de verantwoordelijkheden liggen, hoe en door wie startsignalen worden gegeven, hoe de evaluaties worden verwerkt en hoe het leidt tot kwaliteitsverbetering van het onderwijs. Onderwijs kwaliteitszorgsysteem bij de Faculteit der Archeologie De Faculteit der Archeologie heeft een uitgebreid onderwijs kwaliteitszorgsysteem. Het integrale kwaliteitszorgsysteem van de faculteit heeft nadrukkelijk een cyclisch karakter.
Kwaliteitsdefinitie
Kwaliteitsverbetering Kwaliteitsmeting
Analyse Schema 1: Organisatie van de kwaliteitszorg Bovenstaand schema is gebaseerd op de Plan-Do-Check-Act (PDCA) cyclus van Deming (1995). Het oneindig cyclische proces illustreert het streven van een organisatie als geheel naar een voortdurende verbetering van kwaliteit. Het doorlopen van deze cyclus in alle primaire, ondersteunende of sturingsactiviteiten op organisatie -, op team - en op individueel niveau geeft aanleiding tot continu verbeteren. Om een activiteit of een reeks van activiteiten efficiënt aan te pakken, doorloopt men voortdurend de PDCA- cyclus: 1) Plan of voorbereiden - plannen: als resultaat van deze stap wordt een plan opgesteld (beleidsplan, actieplan of verbeterplan). Mogelijke onderdelen van deze stap zijn: · gegevens verzamelen en interpreteren, · betrokken actoren bepalen, · oorzaken zoeken, · resultaten bepalen, op basis van maatstaven en doelstellingen, · aanpak kiezen en uitwerken in een actieplan.
Versie april 2008
2
2) Do of uitvoeren: uitvoeren van het actieplan. 3) Check of opvolgen en evalueren: evalueren van de inspanningen en de resultaten. 4) Act of bijsturen en verankeren: bijsturen van de activiteit(en) als de resultaten niet voldeden aan de doelstellingen of verankeren van de werkwijze die tot goede resultaten heeft geleid. Vervolgens start een nieuwe PDCA- cyclus met het oog op continue verbetering! Binnen de Faculteit der Archeologie is de PDCA cyclus in de volgende stappen vertaald: Stap 1. Kwaliteitsdefinitie (Plan) Kwaliteit wordt gedefinieerd als het bereiken van de doelstellingen zoals geformuleerd in de onderwijsvisie. Zowel de Universiteit Leiden als de faculteit Archeologie heeft de afgelopen jaren doelen en plannen geformuleerd die de onderwijskwaliteit van Archeologie moeten verhogen. Het betreft de plannen en doelen zoals die zijn neergelegd in het beleidsplan onderwijs (2006-2008). Stap 2. Kwaliteitsmeting (Do) Belangrijke informatiebronnen binnen het onderwijs kwaliteitszorgsysteem zijn studenten en medewerkers. Met verschillende meetinstrumenten wordt bij deze doelgroepen informatie verzameld Stap 3. Analyse en (Check) Afzonderlijke evaluatieresultaten worden geanalyseerd. In de regel worden vakevaluaties nabesproken met de betrokkenen. Stap 4. Kwaliteitsverbetering (Act) De faculteit streeft naar een managementrapportage (1 keer per jaar) waarin alle beschikbare evaluatieresultaten worden samengevat, voorzien van een conclusie en een actieplan. Stap 5. Organisatie De opleidingsdirecteur is verantwoordelijk voor de kwaliteit van het onderwijs en het daarbij behorende kwaliteitszorgsysteem. De ontwikkeling en uitvoering van het kwaliteitszorgsysteem ligt bij de medewerker Onderwijs en Kwaliteitszorg. De opleidingscommissie (OLC) vervult een belangrijke taak in kwaliteitsbewaking. Ieder jaar wordt opnieuw een planning van vakevaluaties door de opleidingsdirecteur vastgesteld, met advies van de opleidingscommissie. Daarnaast wordt het concept managementrapportage met bijbehorend actieplan aan de OLC voorgelegd. Voorzien van feedback van de OLC wordt de definitieve rapportage uiteindelijk aan het management voorgelegd. Het kwaliteitszorgsysteem van Archeologie sluit aan bij het interne kwaliteitszorgstramien van de Universiteit Leiden en het Leids Register. 1. Evaluaties In de OLC van 11 november 1998 is vastgesteld dat er vier evaluaties kunnen worden onderscheiden, die inmiddels allemaal geëffectueerd zijn. Het gaat om de vakevaluatie van de propedeuse, de evaluatie van het algemene deel (A) van de studieonderdelen BA II, III, MA & RMA, de cohort evaluatie en evaluatie van de variabele delen (B, C) van het Ba/Ma/Rma en tenslotte de algemene curriculumevaluatie. Met ingang van 2004 is voor
Versie april 2008
3
het eerst een alumni-evaluatie afgenomen. De bedoeling is dat deze evaluatie tezamen met een studiestakers- en exitenquête toegevoegd wordt aan de vaste evaluaties. Evaluatie
Wanneer
Aansturing:
Vakevaluatie Propedeuse
Ieder vak eens in de twee jaar
BKW/ propedeuse coördinator
A-deel BA 2,3, MA/ RMA
Ieder vak eens in de twee jaar
BKW/ OS
Cohort evaluatie variabele delen
Eens per jaar
OLC/ studentleden
Curriculumevaluatie
Eens per drie jaar
BKW/ OS
Alumni
Eens per drie jaar
BKW/ OS
Studiestakers & exit
Jaarlijks
Studieadviseur
Docentenevaluatie
Eens per drie jaar
PO/ BKW
1.1De vakevaluatie van de propedeuse Vindt plaats één keer in de twee jaar. Dat wil zeggen dat elk jaar de helft wordt geëvalueerd door middel van een standaardenquête •
Elk vak dient één keer in de twee jaar geëvalueerd te worden. De OLC geeft advies, op basis van voorstel beleidsmedewerker, in welke volgorde evaluatie plaatsvindt. De data worden vastgesteld aan de hand van de tentamenroosters. Op het rooster wordt aangegeven welk onderdeel wordt geënquêteerd. Op die manier kunnen zowel docenten als studenten van de enquête op de hoogte zijn;
•
De BKW verzoekt de OS minimaal twee weken voor het einde van elk blok, de enquêteformulieren bij het ICLON aan te vragen;
•
De OS geeft de formulieren aan de docent die de supervisie heeft tijdens het tentamen van desbetreffend vak met het verzoek deze dan uit te delen;
•
Deze docent verzoekt de studenten de formulieren direct na het tentamen weer in te leveren bij de docent of bij de OS. In principe zorgt de OS voor inzameling;
•
De verzamelde formulieren zullen door de OS doorgestuurd worden naar het ICLON voor verwerking in EvaSys;
•
De resultaten worden z.s.m. gestuurd aan de studiecoördinator van de propedeuse en de beleidsmedewerker onderwijs;
•
De studiecoördinator doet in de eerstvolgende OLC vergadering schriftelijk verslag met aanbevelingen (ten bewijze bij visitatie).
•
Het schriftelijk verslag wordt, met aanbevelingen van de BKW en eventueel na bijstelling op advies van de OLC aan het bestuur van de Faculteit aangeboden. Indien daartoe aanleiding is, wordt de PO verzocht met de betrokken docent(en) maatregelen ter verandering door te spreken (eventueel in samenwerking met de BKW ter aanvulling op het inhoudelijke vlak);
1.2De evaluatie van het algemene deel (A) van de studieonderdelen BA II, III, MA & RMA Vindt plaats een keer in de twee jaar. Dat wil zeggen dat elk jaar de helft wordt geëvalueerd door middel van een standaardenquête. •
Op basis van een voorstel van de BKW, zal door de OLC een schema worden opgesteld volgens welke de diverse vakken worden geënquêteerd. De data worden vastgesteld aan de hand van de tentamenroosters. Op het rooster wordt aangegeven welk onderdeel wordt geënquêteerd. Op die manier kunnen zowel docenten als studenten van de enquête op de hoogte zijn;
Versie april 2008
4
•
De BKW verzoekt de OS minimaal twee weken voor het einde van elk blok, de enquêteformulieren bij het ICLON aan te vragen;
•
De OS geeft de formulieren aan de docent die de supervisie heeft tijdens het tentamen van desbetreffend vak met het verzoek deze dan uit te delen;
•
Deze docent verzoekt de studenten de formulieren direct na het tentamen weer in te leveren bij de docent of bij de OS. In principe zorgt de OS voor inzameling;
•
De verzamelde formulieren zullen door de OS doorgestuurd worden naar het ICLON voor verwerking in EvaSys;
•
De resultaten worden z.s.m. aan de OLC gestuurd t.a.v. van de BKW en de voorzitter;
•
De beleidsmedewerker Onderwijs en Kwaliteitszorg doet aan de OLC schriftelijk verslag met aanbevelingen (ten bewijze bij visitatie). De resultaten worden meegedeeld aan alle betrokken docenten. Indien daartoe aanleiding is, wordt de PO verzocht met de betrokken docent(en) maatregelen ter verandering door te spreken.
•
Het schriftelijk verslag met aanbevelingen wordt, eventueel na bijstelling op advies van de OLC aan het bestuur van de Faculteit aangeboden.
1.3De cohort evaluatie en evaluatie van de variabele delen (B/C) van het Ba/Ma/Rma Vindt plaats ieder jaar halverwege het studiejaar in de vorm van een vragenlijst die door de studenten in een groepsbijeenkomst wordt besproken. Hierover wordt verslag gedaan aan de OLC door een studentlid. Stages en veldwerk zal apart geëvalueerd worden middels formulieren die bij de stageformulieren zullen worden gevoegd. De stagecoördinator zal de veldwerkevaluaties inbrengen in de OLC. •
Aan het begin van elk studiejaar, in september, verzoekt de voorzitter van de OLC aan de studentleden van de OLC per jaarvertegenwoordiging een bijeenkomst te organiseren. Het is hierbij mogelijk 5 blokken te onderscheiden: BA II, BA III, MA, RMA en Phd;
•
Op de bijeenkomst wordt een standaardvragenlijst afgewerkt, maar uiteraard staat het iedereen vrij opmerkingen te maken die daarbuiten vallen. De vergadering wordt niet door docenten bijgewoond, doch eventueel wel door een nog aan te stellen projectcoördinator onderwijsvernieuwing;
•
De student die het betreffende cohort vertegenwoordig in de OLC doet schriftelijk verslag van de bijeenkomst aan de OLC en de BKW. Daarbij dient in ieder geval ingegaan te worden op de gestelde vragen;
•
De verslagen worden besproken in de OLC en deze verzoekt – indien daartoe aanleiding is – de PO contact op te nemen met de betrokken docent(en) over de resultaten van de enquête. Een vak dat aandacht behoefde dient het daaropvolgende jaar wederom geëvalueerd te worden om te kijken of er verbeteren zijn opgetreden;
•
De schriftelijke verslagen met aanbevelingen worden, eventueel na bijstelling op advies van de OLC aan het bestuur van de Faculteit aangeboden;
•
De studenten dienen feedback te krijgen over de genomen beslissingen. Dit kan zowel via de studentleden van de opleidingscommissies alsmede door een bericht in de nieuwsbrief.
• 1.4 De evaluatie van de opleiding als geheel (curriculum evaluatie) Vindt iedere 3 jaar plaats voorafgaand aan de onderwijsvisitatie dan wel de midterm-review. •
Zij wordt uitgevoerd in opdracht van de PO en wordt uitgevoerd door de BOK i.s.m het ICLON en het OS;
Versie april 2008
•
De resultaten worden ter advies voorgelegd aan de OLC;
•
De OLC geeft advies aan de hand van deze rapportage aan de PO
5
1.5Alumni-evaluatie Vindt iedere 3 jaar plaats voorafgaand aan de onderwijsvisitatie dan wel de midtermreview •
Zij wordt uitgevoerd in opdracht van de PO en wordt uitgevoerd door de BOK i.s.m het ICLON en het OS;
•
De resultaten worden ter advies voorgelegd aan de OLC;
•
De OLC geeft advies aan de hand van deze rapportage aan de PO
1.6
Docentevaluaties Vindt iedere 3 jaar plaats voorafgaand aan de onderwijsvisitatie dan wel de midtermreview •
Zij wordt uitgevoerd in opdracht van de PO en wordt uitgevoerd door de BOK i.s.m het ICLON en het OS;
•
De resultaten worden ter advies voorgelegd aan de OLC;
•
De OLC geeft advies aan de hand van deze rapportage aan de PO
Versie april 2008
6
2. Richtlijnen evaluaties Het evaluatiesysteem van de Faculteit werkt op basis van een 5- punten schaal. Boven de 3 gemiddeld als eindoordeel betekent dat de studenten voldoende tevreden zijn. Een evaluatie-uitslag krijgt pas relevantie indien de studentenrespons tenminste 30 % bedraagt. De cohort-evaluaties werken met open vragen direct gericht aan de studenten in een panelgesprek. Alle opmerkingen van studenten worden genotuleerd. Wanneer een meerderheid van de aanwezige studenten dezelfde kritiek uit, wordt dit door het OLCstudentlid gerapporteerd tijdens een OLC vergadering. Binnen de OLC wordt besloten of er actie zal worden ondernomen. 3. Rapportage Een keer per jaar wordt een managementrapportage door de BOK samengesteld op basis van de resultaten van de vakevaluatie propedeuse, evaluatie van het algemene deel en de rendementsgegevens. 4. Opslag en documentatie De uitslagen van de enquêtes worden door de OS bewaard samen met de samenvattende verslagen gedurende de termijn van een visitatieperiode.
