NOTITIE INTERNE AUDIT OPLEIDINGEN HVA

NOTITIE INTERNE AUDIT OPLEIDINGEN HVA STATUS: DEFINITIEF VERSIE:

3.0 DATUM: 1 SEPTEMBER 2013 HERZIENINGSDATUM:

1 september 2014

O2|KWALITEIT EN ACCREDITATIE

1

Inhoud Voorwoord ........................................................................................................................................ 3 1.

Inleiding ..................................................................................................................................... 4

2.

De rol van de audit in het kwaliteitszorgsysteem van de HvA ...................................................... 6

3.

Beoordelingskader voor de audit ................................................................................................ 8

4.

Doel en functie van de audit ..................................................................................................... 10

5.

De onderdelen van de audit ..................................................................................................... 10 5.1

Voorbereidingsfase ............................................................................................................11

5.2

Documentenonderzoek .....................................................................................................12

5.3

Bezoekdag .........................................................................................................................14

5.4

Rapportage........................................................................................................................15

6.

Processtappen audit ................................................................................................................. 16

7.

Van basiskwaliteit naar verbeteren van kwaliteit ...................................................................... 17

8.

Resultaten van de audit ............................................................................................................ 18

9.

Betekenis voor de opleiding ..................................................................................................... 20

10. Generiek en specifiek deel ........................................................................................................ 20 11. Samenstelling panel ................................................................................................................. 21 12. Wie is waarvoor verantwoordelijk? .......................................................................................... 22 13. Kosten van de audit .................................................................................................................. 22 14. Evaluatie audit ......................................................................................................................... 23 Bijlage 1

Referentielijst documenten voor het documentenonderzoek ....................................... 24

Bijlage 2

Voorbeeld programma interne audit............................................................................. 26

Bijlage 3

Gedragscode auditoren ................................................................................................ 28

Bijlage 4

Hulpmiddel beoordeling afstudeerwerken audit HvA .................................................... 29

Bijlage 5

Format brief bevestigen afspraken interne audit........................................................... 32

2

Voorwoord De afdeling Kwaliteit en Accreditatie (K&A) van de stafafdeling Onderwijs en Onderzoek (O2) heeft met ingang van het studiejaar 2011-2012 de auditsystematiek geactualiseerd. Dit is gebeurd naar aanleiding van de wijzigingen in het accreditatiestelsel voor het hoger onderwijs per 1 januari 2011. De wijzigingen in de accreditatiewetgeving zijn aangegrepen om de interne auditsystematiek van de HvA te verbeteren. Met als belangrijkste resultaat een audit die beter aansluit bij de doelstellingen en behoeften van de opleidingen. De audit geeft namelijk meer dan voorheen ruimte om dilemma’s, ambities en vragen van de opleiders aan het panel voor te leggen. Dit geeft het panel de mogelijkheid naar meer te kijken dan alleen de basiskwaliteit, zoals geformuleerd door de Nederlands Vlaamse Accreditatie Organisatie (NVAO). In de eerste accreditatiecyclus van zes jaar hebben de opleidingen van de HvA aangetoond dat zij tenminste voldoen aan de basiskwaliteit. Zij beschikken over het ‘keurmerk geaccrediteerde opleiding’. De beginsituatie die het panel in ogenschouw neemt, is die van een opleiding die beschikt over het accreditatiekeurmerk . Het panel benadert de opleiding vanuit het vertrouwen dat de basiskwaliteit van de opleiding in orde is. Waar de audit in de voormalige auditsystematiek een momentopname was, gericht op het toetsen van de basiskwaliteit, neemt het panel in de huidige werkwijze het toekomstperspectief en verbeterbeleid van de opleiding explicieter mee. Idealiter is de audit niet alleen een scherpe foto van het kwaliteitsniveau op een bepaald moment, maar vooral een scene in een film met als scenario de ‘plan, do, check, act’ cyclus (PDCA-cyclus volgens Deming). Het panel biedt handvatten voor het verbeterbeleid van de opleiding door aandachtspunten aan te reiken en aanbevelingen te geven. Deze notitie heeft als doel om iedereen te informeren die bij een audit is betrokken. In afstemming met de domeinvoorzitter en/of de kwaliteitszorgmedewerker(s) van het domein, formuleert het opleidingsmanagement met de secretaris van het panel samen de opdracht. Indien nodig formuleren zij ook een aanvullend beoordelingskader met bijbehorende beoordelingscriteria. Zij bespreken de samenstelling van het panel en stellen vast welke documentatie de opleiding levert om de audit goed te kunnen uitvoeren. Om de opleiders te ondersteunen bij de audit, beschrijft deze notitie de auditsystematiek van de HvA. Een eerste versie van deze notitie is in gebruik genomen in september 2011. Jaarlijks wordt de notitie geactualiseerd. In de 3.0 versie, die nu voor u ligt, zijn de interne en externe evaluatieve opmerkingen, verworven in studiejaar 2012-2013, verwerkt.

Team van O2|Kwaliteit en Accreditatie

3

1.

Inleiding

Van verantwoorden naar verbeteren Per 1 januari 2011 is de wetgeving over de kwaliteitsborging van opleidingen ingrijpend gewijzigd. De NVAO heeft gelijktijdig het oude accreditatiestelsel vervangen door een nieuw stelsel met gewijzigde beoordelingskaders. De nadruk is verschoven van het verantwoorden van de basiskwaliteit naar verbeteren van de (onderwijs)kwaliteit. De NVAO hanteert een ruime definiëring voor basiskwaliteit: “De kwaliteit die in internationaal perspectief redelijkerwijs verwacht mag worden van een bachelor- of masteropleiding binnen het hoger onderwijs”. Het nieuwe stelsel heeft als nadrukkelijk nevendoel dat het gesprek wordt gevoerd tussen vakgenoten over de inhoud en koers van de opleiding. Het is er op gericht discussies tussen ‘peers’ en docenten over de kwaliteit van het onderwijs te stimuleren. Dit levert een bijdrage aan het verbeteren van de kwaliteitscultuur binnen hogeronderwijsinstellingen.

Stand van zaken kwaliteitsborging hoger beroepsonderwijs Met de wijzigingen in het accreditatiestelsel heeft de NVAO de intentie de balans tussen ‘verantwoorden’ en ‘verbeteren’ te herstellen, meer aandacht te geven aan de inhoud van het onderwijs en meer nadruk te leggen op resultaten en niveau van de opleiding. Met behulp van drie standaarden, door de NVAO ruim geformuleerd en niet geoperationaliseerd, krijgen opleidingen de vrijheid om zelfbewust hun eigen verhaal te vertellen. In reactie op incidenten in het hbo enige tijd geleden is geconcludeerd dat op brede schaal de naleving van de wet moet worden verbeterd. De incidenten worden gezien als wake-up call voor het hoger onderwijs. Aanscherping van wetgeving is in voorbereiding. Hoofddoel is het huidige stelsel van hoger onderwijs zo aan te passen dat het risico op misstanden met negatieve consequenties voor de waarde van diploma’s en voor het maatschappelijk vertrouwen in het hoger onderwijs (inclusief de kwaliteitszorg) zoveel mogelijk wordt beperkt. Het gaat daarbij om een afweging van het belang om het stelsel te optimaliseren en zwakheden te herstellen ten opzichte van proportionaliteit en effectiviteit van de voorgestelde maatregelen. Naar verwachting wordt het wetsvoorstel in september 2013 aan het parlement aangeboden. Op dat moment zijn ook de onderzoeken ter evaluatie van het accreditatiestelsel afgerond. Onderzoek wordt/is verricht door de Algemene Rekenkamer, de Wetenschappelijke Raad voor het Regeringsbeleid (WRR), de Inspectie van het Onderwijs en ook door de NVAO zelf. De richting van de inhoudelijke aanpassing in de regelgeving is al wel bekend. Dat maakt het mogelijk om er in deze nota op te anticiperen. Dat gebeurt bijvoorbeeld ten aanzien van de verscherpte eisen bij de beoordeling van de eindwerken en de scheiding tussen toetsing en examinering en gerealiseerd eindniveau in de beoordeling ten behoeve van de opleidingsaccreditatie. De huidige inrichting van de auditsystematiek bij de HvA is gebaseerd op de NVAO kaders van 22 november 2011.

4

Interne audit volgt externe kwaliteitswaarborgen In navolging van het vernieuwde stelsel actualiseerde de HvA haar kwaliteitsbeleid1. De wijze waarop de audit wordt uitgevoerd is met ingang van 2011-2012 gewijzigd en sindsdien geactualiseerd. Voorheen beoordeelde het panel alleen de basiskwaliteit van een opleiding. Nog steeds toetst het panel in de audit of de opleiding het accreditatiekeurmerk heeft kunnen consolideren maar er is ook gelegenheid om in de audit specifiek in te gaan op doelstellingen die de opleiding zelf aandraagt. Indien de opleiding hier gebruik van wil maken, geeft zij het panel een aanvullende opdracht mee. Essentie van de verandering is: meer maatwerk in opdracht en beoordelingskader, expliciete aandacht voor toekomstperspectief en verbeterfunctie van de opleiding en een objectiever en meer gewogen en gemotiveerd oordeel door het panel. De nadruk is verschoven van (be)oordelen naar inzicht geven in de verbeterpotentie van de opleiding en in de kwaliteit van de reeds getroffen of te treffen verbetermaatregelen. De verantwoordelijkheid van de opleiding voor wat de audit oplevert, is versterkt en een nieuwe procedure stimuleert de opleiding gestructureerd na te denken over de consequenties van de audit. Met ingang van het studiejaar 2013-2014 verwacht het College van Bestuur inzicht in de voortgang van een verbeterplan van de opleiding naar aanleiding van de resultaten van de audit.

Doelgroep notitie Deze notitie is bedoeld voor domeinvoorzitters, kwaliteitszorgmedewerkers, panelleden en vooral voor de opleidingsmanagers en teamleiders, omdat zij verantwoordelijk zijn voor het goed verlopen van een audit en als eerste baat hebben bij het resultaat van de audit.

Doel notitie Doel van deze notitie is enerzijds betrokkenen te informeren over de audit en de lezer mee te nemen in de keuzes die zijn gemaakt bij het wijzigen en actualiseren van de auditsystematiek. Anderzijds is zij bedoeld om opleidingsmanagers vanaf het voorbereidingproces actief te betrekken bij de audit. Door tijdig en adequaat te beslissen over doel en invulling van de audit, kunnen zij deze optimaal benutten. Zo kan het opleidingsmanagement een audit gebruiken om van in het gesprek met ‘peers’, respons te krijgen op vraagstukken of dilemma’s die binnen de opleiding spelen. Juist de verschuiving in het accreditatiestelsel - van het toetsen van reeds bewezen basiskwaliteit naar het kijken naar de verbeterfunctie van een opleiding - geeft aan hoe belangrijk het is voor een opleiding om een goede toekomstvisie te hebben en te (laten) toetsen.

1

Een herijking van het kwaliteitsbeleid is verwoord in de notitie Kwaliteit Onderwijs en Onderzoek in de HvA, versie 0.7 d.d. 01-07-2012. 5

2.

De rol van de audit in het kwaliteitszorgsysteem van de HvA

Kwaliteit bij de HvA De notitie Kwaliteitszorg Onderwijs en Onderzoek HvA beschrijft de drie concepten van kwaliteit die de HvA actief benut. Twee richten zich op het product ‘onderwijs en onderzoek’ (basiskwaliteit en bijzondere kwaliteit) en één op de dynamiek van dit product (kwaliteit als transformatie). Basiskwaliteit In Nederland en Vlaanderen worden sinds de invoering van het accreditatiestelsel in 2002 de accreditatie-eisen gezien als formele standaarden voor basiskwaliteit. Het beoordelingskader van de NVAO is in de HvA leidraad bij audit en accreditatie. Bij basiskwaliteit staat centraal: het blijvend aantoonbaar voldoen aan de eisen van het NVAO-beoordelingskader 2011 dat is vastgelegd in de Wet op het Hoger en Wetenschappelijk Onderwijs2. Bijzondere kwaliteit Elke opleiding staat garant voor het bachelorniveau – en waar van toepassing masterniveau - van de afgestudeerden en verhoudt zich met het HvA profiel. De HvA beoogt onderwijs dat boven de vereiste basiskwaliteit uit stijgt door in elke bachelor te streven naar goede en excellente waarderingen. Zo mogelijk zetten opleidingen of onderdelen daarvan (bijv. minoren) in op het verwerven van een NVAO-‘bijzonder kenmerk’. Voorbeelden daarvan in de HvA zijn ‘topsportgerichtheid’, ‘ondernemen’, ‘internationalisering’. Kwaliteit als transformatie In de periode 2004-2010 hebben alle HvA opleidingen een eerste ronde van accreditatie volgens het beoordelingskader van de NVAO doorlopen. Daarmee zijn alle opleidingen in het bezit van het accreditatiekeurmerk . Het fundament van aangetoonde basiskwaliteit is een solide basis voor verbeteringen die leiden tot (meer) excellente opleidingen. Bij kwaliteit in de zin van transformatie staat het bepalen en implementeren van adequate verbetermaatregelen centraal.

Kwaliteitscycli HvA Het kwaliteitsbeleid van de HvA is gericht op het continu ontwikkelen, borgen en aantoonbaar maken van de accreditatiewaardigheid en kwaliteit van opleidingen. De HvA hecht aan solide interne kwaliteitszorg. De HvA werkt planmatig aan het behouden van de goede kwaliteit van het onderwijs en brengt, waar nodig, verbeteringen aan. Als methodiek wordt daarbij de Deming cirkel - plan, do, check, act - gebruikt. Het kwaliteitssysteem is opgebouwd uit samenhangende kwaliteitscycli met elk een eigen (sub)doel en dynamiek: - De cyclus van accreditatie en interne audits (integrale kwaliteit); - De planning- en control cyclus (managementsturing); - De cyclus van evaluatie van het primaire proces (monitoring van onderwijskwaliteit vanuit het perspectief van de belanghebbenden met behulp van instrumentarium uit het Onderzoekshuis). 2

WHW, hoofdstuk 5a ‘Accreditatie in het hoger onderwijs’ 6

De sturingsinformatie wordt geanalyseerd en hieraan wordt vervolgens betekenis gegeven. De interne en externe beoordeling van de integrale onderwijskwaliteit van een opleiding wisselen elkaar af. De eerste heeft een andere functie dan de tweede. De interne audit is inzichtgevend en gericht op verbeteren. Een positieve externe beoordeling eens in de zes jaar door een visitatiepanel is voorwaarde voor een accreditatieaanvraag bij de NVAO. Omdat de audit de functie heeft van een midterm review, wordt deze uitgevoerd in het midden van de accreditatiecyclus van zes jaar. Dit geeft de opleiding de tijd om verbeterbeleid in te zetten mede op basis van de bevindingen en aanbevelingen van het panel en de gegevens van het Onderzoekshuis. Om te waarborgen dat er voldoende tijd is om verbetermaatregelen te bepalen en te realiseren, is uitstel van een audit geen optie.

Instellingstoets Uit de ‘Beoordelingskaders accreditatiestelsel hoger onderwijs’ van 22 november 2011:

Accreditatie vindt plaats op het niveau van de opleiding. De kwaliteit van individuele opleidingen staat daarmee onverminderd centraal in het accreditatiestelsel. Een instelling kan daarnaast een zogeheten instellingstoets kwaliteitszorg laten verrichten door de NVAO. Wanneer door de NVAO bij een dergelijke grondige doorlichting is vastgesteld dat de kwaliteitszorg van een instelling zó goed op orde is dat de kwaliteit van de opleidingen stelselmatig en waar nodig verbeterd wordt, komt de instelling in een ander accreditatieregime terecht. In een dergelijk regime geschiedt de accreditatie van opleidingen op een andere wijze dan wanneer er geen positieve instellingstoets kwaliteitszorg is. In dit regime beoordeelt een visitatiepanel van onafhankelijke deskundigen een opleiding op een klein aantal standaarden die het hart van de onderwijskwaliteit betreffen, en accrediteert de NVAO op basis daarvan al dan niet een opleiding. De docenten kunnen hun aandacht en energie steken in verbetersuggesties van deskundigen die over de kern van hun onderwijs gaan en hoeven zich minder bezig te houden met randvoorwaardelijke facetten die meer op het niveau van de instelling liggen. Op instellingsniveau is immers al aangetoond dat een instelling voor die onderwerpen vertrouwen verdient.

Het is een stelsel waarin: a. door de ‘instellingstoets kwaliteitszorg’ de interne kwaliteitscultuur instellingsbreed een impuls krijgt; b. bij de opleidingsaccreditatie de aandacht ligt bij de essentie van het onderwijs: (verbetering van) de inhoudelijke kwaliteit; c. een goede balans ontstaat tussen de maat nemen van opleidingen enerzijds en de verbeterfunctie anderzijds. De HvA heeft ervoor gekozen zich als instelling te laten toetsen en heeft in de periode april – juni 2013 het NVAO-panel Instellingstoets Kwaliteitszorg ontvangen. Uit de mondelinge terugkoppeling van het panel na afloop van de bezoekdagen weet de HvA dat het panel een positief advies uitbrengt aan het bestuur van de NVAO. De HvA is in afwachting van eindrapportage en een definitief besluit. Er mag van worden uitgegaan dat, gelet op 7

deelname aan de instellingstoets en het verloop daarvan, alle HvA opleidingen worden beoordeeld op basis van het beperkte beoordelingskader van de NVAO. Op de verschillende kaders van de NVAO en het kader voor de audit wordt in het volgende hoofdstuk ingegaan. De kern van het nieuwe stelsel blijft dat alle opleidingen eens in de zes jaar worden beoordeeld door een panel van onafhankelijke deskundigen. Zoals in de inleiding vermeld, is er nieuwe wetgeving in de maak. Intern heeft de HvA nog nadrukkelijker dan voorheen oog voor mogelijke risico’s en maatregelen die de risico’s zoveel mogelijk beperken. De audit, die wordt uitgevoerd op croho-niveau, speelt hier een belangrijke rol in want heeft als doel het beperken van het risico van de opdrachtgever door kennis toe te voegen.

3.

Beoordelingskader voor de audit

NVAO toetsingskaders Het nieuwe stelsel maakt onderscheid tussen een toets op instellingsniveau en een beoordeling op opleidingsniveau. Er zijn daarom meerdere NVAO kaders. Eén kader dient voor het toetsen van de kwaliteitszorg op instellingsniveau. Daarnaast zijn er twee kaders voor de beoordeling van opleidingen te weten het beperkte en het uitgebreide beoordelingskader. Vanwege de overgangsregeling waarbij voor de opleidingen van de HvA het beperkte beoordelingskader geldt, laten we in deze notitie het uitgebreide beoordelingskader buiten beschouwing.

Beperkte beoordelingskader NVAO De beoordeling komt tot stand op basis van een discussie met ‘peers’ over de inhoud en kwaliteit van de opleiding en is gericht op drie vragen: 1. Wat beoogt de opleiding? 2. Hoe realiseert de opleiding dit? 3. Worden de doelstellingen bereikt? Deze vragen zijn door de NVAO vertaald in respectievelijk de volgende standaarden3: 1. De beoogde eindkwalificaties van de opleiding zijn wat betreft inhoud, niveau en oriëntatie geconcretiseerd en voldoen aan internationale eisen. 2. Het programma, het personeel en de opleidingsspecifieke voorzieningen maken het voor de instromende studenten mogelijk de beoogde eindkwalificaties te realiseren. 3a. De opleiding beschikt over een adequaat systeem van toetsing en4; 3b. Toont aan dat de beoogde eindkwalificaties worden gerealiseerd. Over de drie standaarden geeft een visitatiepanel een gemotiveerd oordeel op een vierpuntsschaal: onvoldoende, voldoende, goed of excellent. Vervolgens geeft dit panel een gemotiveerd eindoordeel over de kwaliteit van de opleiding als geheel, ook op de vierpuntsschaal. De door de NVAO gehanteerde definities van de oordelen zijn integraal

3

http://www.nvao.net/page/downloads/DEFINITIEVE_KADERS_22_november_2011.pdf In het formele kader is van een splitsing van standaard 3 nog geen sprake. In anticipatie op aanscherping in de regelgeving gaat deze nota uit van een scheiding tussen toetsing en gerealiseerd eindniveau.

4

8

opgenomen in de auditsystematiek van de HvA. Zie het hoofdstuk ‘Resultaat van de audit’ voor de definities. N.B. Het beoordelingskader van de NVAO – en in lijn daarmee ook het beoordelingskader van de HvA – geldt voor zowel de beoordeling van bachelor- als masteropleidingen. Echter bij een master ligt er een zwaarder accent op onderzoek. De oriëntatie van het programma dient de ontwikkeling van vaardigheden op het gebied van wetenschappelijk onderzoek te waarborgen.

Beoordelingskader HvA De NVAO standaarden zijn ruim te interpreteren en zijn daarom geoperationaliseerd voor de onderwijspraktijk in de HvA. Anders gezegd: de drie standaarden van het beperkte beoordelingskader NVAO zijn omgezet naar een HvA beoordelingskader dat een objectieve beoordeling door het panel op de drie standaarden borgt. Hoofdvragen in het beoordelingskader van de HvA zijn: Standaard 1 Beoogde eindkwalificaties − Voldoet het opleidingsprofiel? − Is het niveau voldoende? − Is er sprake van goede validatie? Standaard 2 Onderwijsleeromgeving − Is de inhoud van het programma adequaat? − Is het programma goed vormgegeven? − Voldoet het instroombeleid? − Is sprake van een goede studeerbaarheid? − Is de studieloopbaanbegeleiding adequaat? − Is er een goede samenhang in het onderwijsprogramma? − Voldoet het personeelsbeleid? − Is er sprake van goede voorzieningen? Standaard 3A Toetsing − Is er goed toetsbeleid? − Heeft de opleiding toetsplan, toetsprogramma en toetsplanning overeenkomstig HvA beleid? − Is sprake van een goede toetskwaliteit? − Is de toetsexpertise op orde? − Zijn de verantwoordelijkheden in het toetsproces belegd en nemen alle betrokkenen deze verantwoordelijkheden? Standaard 3B Gerealiseerde eindkwalificaties − Worden de beoogde eindkwalificaties behaald door alle studenten? − Voert de examencommissie haar wettelijke taken uit? − Staat de examencommissie aantoonbaar garant voor het eindniveau van de opleiding? − Is de archivering van de eindwerken adequaat?

9

In de operationalisering is elke hoofdvraag uitgewerkt in deelvragen die op basis van de door de opleiding geleverde documentatie zo goed mogelijk worden beantwoord. Dat gebeurt in het documentenonderzoek dat als voorbereiding dient voor locatiebezoek. De hoofd- en deelvragen zijn integraal opgenomen in het ‘Format documentenonderzoek’ dat te vinden is in de DLWO van K&A. Indien een opleiding het panel een aanvullende opdracht geeft, kan het nodig zijn naast het HvA beoordelingskader een aanvullend kader met eigen criteria af te spreken. Zie voor een toelichting en voorbeelden het hoofdstuk ‘Generiek en specifiek deel’.

4.

Doel en functie van de audit

Er zijn vele definities van wat een audit inhoudt. De HvA hanteert de volgende definitie: Een audit is een systematisch onderzoek door een team van onafhankelijke deskundigen (het panel). Dit team stelt het kwaliteitsniveau van een opleiding vast. Dat doet zij aan de hand van het ‘toetsingskader bestaande opleidingen’ van de NVAO en de door de HvA en opleiding geformuleerde kwaliteitseisen op specifieke aandachtspunten.

Wat wordt er in de audit getoetst? - (Basis)kwaliteit van de opleiding - Accrediteerbaarheid van de opleiding - Naleving van (toets)beleid HvA Op basis van bevindingen en overwegingen geeft het panel uiteindelijk in een rapportage haar oordeel over de kwaliteit van de opleiding. Waar mogelijk geeft zij bovendien aanbevelingen om de kwaliteit van de opleiding op accreditatieniveau te brengen dan wel te houden of om de opleiding te helpen van een voldoende beoordeling een goed of excellent te maken.

5.

De onderdelen van de audit

De audit bestaat uit vier onderdelen: 1. voorbereidingsfase 2. documentenonderzoek 3. bezoekdag 4. oordeelsvorming en rapportage We bespreken deze onderdelen in de volgende paragrafen.

10

5.1 Voorbereidingsfase Conform de kwaliteitszorg systematiek van de HvA wordt drie jaar na de accreditatie de audit uitgevoerd. De planning voor alle audits staat op de DLWO van K&A. In het studiejaar voorafgaand aan de audit neemt K&A in maart/april contact op met het opleidingsmanagement over de komende audit. Deze notitie wordt dan meegestuurd. Ook wordt gevraagd wat het meest geschikte moment is voor de audit. In mei/juni wordt de opleidingsmanager door de beoogd secretaris – een beleidsmedewerker K&A - nader geïnformeerd over de planning. Na het vaststellen van de periode van de audit volgt een ‘intake gesprek’ tussen de opleidingsmanager(s)5 van een opleiding en de secretaris. Gesprekspunten zijn: • het doel van de audit; • het beoordelingskader HvA: het beperkte beoordelingskader NVAO geoperationaliseerd door de HvA; • mogelijkheid om specifieke aandachtspunten of onderwerpen voor onderzoek in de audit op te nemen; • vertrekpunt van de audit nl. de laatste beoordeling accreditatie; • de stappen in het traject: vastleggen van afspraken tussen opleidingsmanager(s) en secretaris panel, verzamelen documenten, documentenonderzoek, bezoekdag en eindrapportage; • de (beperkte hoeveelheid) documenten die aan het panel ter beschikking worden gesteld (vooraf en ter inzage tijdens de audit); • het kritisch reflectiedocument dat aan het panel ter beschikking wordt gesteld; • toelichten van de status van het documentenonderzoek en de rapportage van het panel; • de kosten van de audit die voor rekening van de opleiding komen van de voorzitter, werkvelddeskundige en eventueel aanvullende deskundige(n); • de samenstelling van het panel: a. generiek: onafhankelijke voorzitter met audit deskundigheid, onafhankelijke deskundige onderwijs- en veranderingsprocessen en een werkvelddeskundige6 (laatste is een door de opleiding aan te leveren externe); b. specifieke deel en/of maatwerk: inzet extra deskundige in overleg met opleidingsmanager; • invulling programma bezoekdag (globaal), denk aan: gesprekken met management, docenten, examen- en toetscommissie, lector, studenten, alumni en werkveld; • betekenis van de conclusies en aanbevelingen uit de audit voor de opleiding. De secretaris maakt afspraken met de opleidingsmanager, legt deze vast (zie bijlage 5) en stuurt ze ter bevestiging aan de opleidingsmanager met een cc aan de domeinvoorziter.

5

Vanwege de verschillende werkwijzen in de domeinen kunnen de functies waarmee de secretaris het intake gesprek voert en afspraken over de audit maakt, variëren per domein. 6 Uit evaluaties blijkt dat het van groot belang is dat de werkvelddeskundige vroegtijdig wordt betrokken bij de uitvoering van de audit. Last-minute deelname aan het panel werkt contraproductief. 11

Over de volgende punten worden afspraken gemaakt. • algemene gegevens - opdrachtgever (domeinvoorzitter) - proceseigenaar (opleidingsmanager) - samenstelling panel • planning interne audit - datum aanlevering documenten door de opleiding - data uitvoering documentenonderzoek - datum aanlevering conceptversie documentenonderzoek ter correctie feitelijke onjuistheden en datum om deze door te spreken - voorkeursdata bezoekdag panel - datum aanlevering contactgegevens werkvelddeskundige - datum oplevering rapportage • aandachtspunten en/of extra opdrachten bij de interne audit - die binnen het reguliere HvA beoordelingskader worden opgenomen - die een specifieke uitwerking van beoordelingskader en vormgeving audit vereisen naast de basis audit • de betekenis die de (uitkomsten van de) audit heeft voor de opleiding • afspraken over uitgangspunten en doelstelling audit, te hanteren beoordelingskader, eindrapportage en randvoorwaarden voor zover niet standaard. 5.2 Documentenonderzoek

Doel documentenonderzoek

Het documentenonderzoek heeft een tweeledig doel: a.

een middel om zicht te krijgen op de ‘papieren’ werkelijkheid van de opleiding, dat pas waarde krijgt als het getoetst is in de gesprekken (bezoekdag) met de opleiding;

b. een check van relevante documenten, waarbij als ijkpunt de lijst van de NVAO met vereiste documenten ten behoeve van de accreditatieaanvraag als uitgangspunt wordt gebruikt.

Toelichting bij a) Bij het documentenonderzoek is het beoordelingskader HvA de leidraad (zie toelichting hoofdstuk 3). Bij de drie standaarden zijn deelvragen geformuleerd die het mogelijk maken om het documentenonderzoek slagvaardig te kunnen uitvoeren. Deze vragen zijn opgenomen in de losse bijlage ‘Format documentenonderzoek’. Toelichting bij b) Het verminderen van de administratieve lastendruk is een serieuze doelstelling van de herziene auditsystematiek. Opleidingen worden uitgenodigd om een beperkt aantal documenten aan te reiken, dat zicht geeft op de opleidingskwaliteit. In bijlage 1 is een lijst met referentiemateriaal opgenomen. 12

Kritisch reflectiedocument In een accreditatietraject schrijft de opleiding een kritische reflectie. Dat reflectiedocument is zoals de NVAO het stelt “een handvat om docenten en ‘peers’ te laten spreken over de inhoud van de opleiding’’. Het gaat daarbij niet alleen over de in het verleden behaalde resultaten, maar ook over de ambities van de opleiding. Wat zijn de keuzes voor de toekomst, waar wil de opleiding heen? Analoog aan de accreditatiesystematiek schrijft de opleiding ter voorbereiding van de audit een kritische reflectie. Dit maakt echter nog niet overal deel uit van de kwaliteitszorgsystematiek van het domein en/of de opleiding. Vandaar dat K&A minimaal verwacht dat de opleiding een beknopte beschrijving van en reflectie op de stand van zaken en het toekomstperspectief levert (bijv. in de vorm van prioriteiten of in de vorm van een sterkte/zwakte-analyse). Dit op basis van geformuleerde ambities, afspraken en recente resultaten en activiteiten. Dit biedt het panel de mogelijkheid om de uit documenten en gesprekken verworven informatie te plaatsen in de context van waar de opleiding vandaan komt, waar ze nu staat en waar ze naar toe wil. In de inleiding van deze notitie staat aangekondigd dat naar verwachting september 2013 de evaluatie van het accreditatiestelsel is afgerond. Op korte termijn zendt OCW een aantal rapporten naar de Tweede Kamer die betrekking hebben op de evaluatie van (aspecten van) het accreditatiestelsel. O.a. aan de orde komt de administratieve lastendruk die het gevolg is van de huidige gang van zaken rond de accreditatie. Vooruitlopend op de uitkomsten van de evaluaties zijn ontwikkelingen gaande om die administratieve lastendruk te beperken, bijv. het onderzoeken van alternatieven voor de kritische reflectie. Zelf wil K&A ook bijdragen aan het verminderen van de lastendruk voor een opleiding waar een audit wordt uitgevoerd. K&A volgt de ontwikkelingen en evaluaties nauwgezet en zal hier op anticiperen.

Format documentenonderzoek Ten behoeve van het documentenonderzoek heeft K&A de hoofdvragen van het beoordelingskader van de HvA uitgewerkt in een set deelvragen die de secretaris gebruikt als middel om het panel vooraf aan de panelgesprekken een helder beeld te geven van de opleiding. Om de juiste betekenis te kunnen geven aan de informatie uit het documentenonderzoek, stelt het panel tijdens de bezoekdag(en) vragen aan delegaties van studenten en medewerkers, alumni en werkgevers. Het panel gaat daarbij uit van maatwerk. Omdat het panel aansluiting zoekt bij het eigen opleidingsverhaal, gebruikt het panel geen gestandaardiseerde vragenlijst. Het format voor het documentenonderzoek is om die reden niet geschikt als checklist voor opleidingen.

Bevindingen documentenonderzoek Het documentenonderzoek wordt afgerond met een terugkoppeling van de bevindingen aan de opleidingsmanager. Deze worden als volgt samengevat: Groen betekent Rood betekent Oranje betekent

: gedocumenteerd : niet gedocumenteerd : onvolledig gedocumenteerd

De consistentie van de inhoud van de documenten is een belangrijk punt. Indien er sprake is van inconsistentie tussen de verschillende documenten zal de secretaris dit onder de rubriek 13

‘signaal’ in de uitkomst van het documentenonderzoek aangeven en kort benoemen waar de inconsistentie uit bestaat.

Hulpmiddel beoordeling gerealiseerde niveau Naast de deelvragen voor het kunnen uitvoeren van het documentenonderzoek, hanteert het panel tevens een hulpmiddel (zie bijlage 4) om het gerealiseerde niveau te beoordelen op basis van een selectie van afstudeerwerken van de opleiding. Dit hulpmiddel is gebaseerd op het toetsingskader van de NVAO onderzoekscommissie t.b.v. het inspectieonderzoek, versie 2.0 d.d. 22 december 2010.7 5.3 Bezoekdag Op de bezoekdag voert het panel gesprekken met het management, leden van de examencommissie en toetscommissie, lector en kenniskring en vertegenwoordigingen van docenten, studenten, alumni en werkveld. Belangrijk is dat deze representatief zijn samengesteld. Het panel toetst in de panelgesprekken of de opleiding voldoet aan de drie standaarden van het beoordelingskader van de HvA. Het accent ligt op de verificatie van de bevindingen uit het documentenonderzoek. Het panel gaat na of aantoonbaar is dat de betrokkenen consistent en in samenhang handelen. Aan het eind van de bezoekdag presenteert het panel de belangrijkste bevindingen mondeling aan het management en andere belangstellenden. Een beoordeling spreekt het panel uit in haar eindrapportage. De auditoren krijgen ter voorbereiding op de panelgesprekken tenminste de kritische reflectie, het documentenonderzoek, afstudeerwerkstukken en afstudeerhandleiding, het leer- of opleidingsplan en de studiegids van de opleiding. Zij bestuderen deze documenten individueel. Het panellid dat deskundig is op het gebied van hoger onderwijs en kwaliteitszorg stelt samen met de secretaris een lijst met gesprekspunten/vragen op. Deze lijst wordt een week voor de bezoekdag aan de collega auditoren toegestuurd. Zij formuleren aanvullend hierop vragen. Deze inspanning vooraf bevordert een vlotte voortgang zowel tijdens als na de audit. Het programma voor de bezoekdag wordt in overleg met de opleiders opgesteld. Doorgaans is één dag voldoende voor het voeren van de panelgesprekken. Bij opleidingen met een veelheid aan varianten en/of locaties, kunnen twee bezoekdagen worden ingepland. De secretaris draagt er zorg voor dat de opleiding uiterlijk twee weken voor de bezoekdag beschikt over het definitieve programma. Zie voor een voorbeeldprogramma bijlage 2. De leden van het panel worden op de bezoekdag ontvangen door het opleidingsmanagement. De gehele dag is een contactpersoon bereikbaar voor vragen e.d. Dit kunnen vragen zijn van zowel inhoudelijke als organisatorische aard, bijv. inzage in aanvullende documentatie of zaken die anders lopen dan verwacht en ter plekke opgelost moeten worden. In het programma is tijd gereserveerd voor de ‘pending issues’. Het panel kan tijdens dit programmaonderdeel vragen stellen die nog niet beantwoord zijn of op onderdelen zaken verifiëren voordat zij tot haar bevindingen komt. Het is daartoe nodig dat van iedere 7

Evaluatiebureaus als Hobeon, NQA en AeQui verwerken zelf regelmatig hun interpretatie van het NVAO toetsingskader voor zowel bachelor- als masteropleidingen in eigen notities. 14

vertegenwoordiging tenminste één gespreksdeelnemer op dat tijdstip beschikbaar is. Het panel laat via de contactpersoon weten wie zij nog wil spreken.

Voorbereiding van de bezoekdag door de opleiding •

•

•

•

•

•

Nadat de opdracht voor de interne audit is bekrachtigd, stelt de opleidingsmanager de medewerkers en studenten in de opleiding (bijv. via de OC) op de hoogte van doel, inhoud en werkwijze bij de interne audit. Hierbij kan gebruik worden gemaakt van een door K&A aan te reiken presentatie met actuele informatie over audit- en accreditatie van opleidingen. Uiterlijk één week voor het bezoek geeft de secretaris van het panel aan welke documenten het panel ter plaatse wil inzien. Dit zijn in ieder geval een aantal stageverslagen en toetsopgaven met uitwerkingen van studenten, inclusief beoordelingscriteria en beoordelingen. Uiterlijk twee weken voor het bezoek geeft de opleiding aan de secretaris door in welke ruimte de audit plaats vindt. Het panel heeft een voorkeur voor één ruimte voor de gehele dag (incl. lunch). De opleiding stelt representatieve vertegenwoordigingen samen. Docenten met verschillende rollen en vakdomeinen, van verschillende leeftijden, recent en langdurig in dienst. Studenten bij voorkeur uit elk leerjaar twee waarbij alle varianten, afstudeerrichtingen en de OC vertegenwoordigd zijn. Indien nodig kunnen studenten ook in meerdere (parallelle) groepen geplaatst worden. De opleiding verzorgt naambordjes voor de gespreksdeelnemers en auditoren. Bij docenten de naam, vakdomein (leerlijn), specifieke taken (bijv. lid examencommissie, coördinator stage, lid kenniskring, etc.) vermelden. Bij studenten de variant (bijv. duaal of voltijd), studiejaar, studiefase vermelden en indien onderwijs in het buitenland is gevolgd dit ook vermelden. Een overzicht van gespreksdeelnemers is bij aanvang van de bezoekdag aanwezig. De opleiding reserveert parkeerplaatsen voor de panelleden en zorgt voor koffie, thee en lunch voor het panel. 5.4 Rapportage

In de auditrapportage wordt aangegeven hoe het kwaliteitsniveau op het moment van afname zich verhoudt tot het accreditatieniveau. De audit is een momentopname (foto) in het proces van kwaliteitsverbetering. Het auditrapport geeft inzicht in de stand van zaken en biedt aanbevelingen om de kwaliteit van de opleiding op accreditatieniveau te brengen dan wel te houden of om de opleiding te helpen bij de transitie naar een ‘goed’ of een ‘excellent’ (film). Het rapport wordt besproken met het opleidingsmanagement op feitelijke onjuistheden en wordt indien nodig gecorrigeerd. Vervolgens wordt het definitieve rapport aangeboden aan het opleidingsmanagement en aan de gedelegeerde opdrachtgever, de domeinvoorzitter. De laatste deelt de inhoud van het rapport met het College van Bestuur in de persoon van de rector HvA. In het hoofdstuk ‘Resultaat van de audit’ wordt verder op de rapportage ingegaan.

15

6.

Processtappen audit

Voor een goede doorloop van het proces is het essentieel dat de betrokkenen – secretaris, panelleden en opleidingsmanagement – zich aan afspraken en deadlines houden. Het is belangrijk dat vooraf het opleidingsmanagement met de aangewezen werkvelddeskundige(n) afspraken maakt over de te verrichten inspanning en de honorering daarvan. In het schema op de volgende pagina is een voorbeeld van een globale planning van een audittraject opgenomen. Hierbij wordt uitgegaan van een traject van 16 weken, van het eerste intakegesprek tussen secretaris en opleidingsmanagement tot en met het versturen van het auditrapport aan de domeinvoorzitter. Actie Intakegesprek Bevestiging afspraken intake in brief aan opleidingsmanagement (cc domeinvoorzitter) Aanleveren reflectie + documenten (zie bijlage 1) 1e concept programma Vaststellen samenstelling panel

Wie Secretaris K&A + Opleidingsmanagement Secretaris K&A

Wanneer T-12 weken

Opleidingsmanagement Secretaris K&A + Opleidingsmanagement Secretaris K&A + Opleidingsmanagement Opleidingsmanagement

T-8 T-4

T-10

T-4

Naam doorgeven werkvelddeskundige/vakdeskundige(n) voor panel Concept documentenonderzoek Feedback op concept documentenonderzoek Definitief documentenonderzoek Toezenden documentenonderzoek en documentatie naar panel Definitief programma bezoekdag Bezoekdag audit Concept rapport audit naar panel Feedback op rapport naar secretaris Concept rapport audit naar opleiding

T-3

Secretaris K&A Opleidingsmanagement Secretaris K&A Secretaris K&A

T-3 T-2 T-2 T-2

Secretaris K&A Opleiding en panel Secretaris K&A Panel Secretaris K&A

T-2 T T+2 T+3 T+3

Feedback feitelijke onjuistheden rapport audit Definitief rapport audit

Opleidingsmanagement Secretaris K&A

T+4 T+4

16

7.

Van basiskwaliteit naar verbeteren van kwaliteit

De afgelopen zes jaar hebben de opleidingen van de HvA bewezen dat zij tenminste voldoen aan de basiskwaliteit. Dit geeft het panel nu de mogelijkheid naar meer te kijken dan alleen basiskwaliteit. In lijn met de opleidingsaccreditatie ligt in de audit de aandacht bij de essentie van het onderwijs: (verbetering van) de inhoudelijke kwaliteit. Vertrekpunt van de audit is de meest recente beoordelingsrapportage van het visitatiepanel ten behoeve van de accreditatieaanvraag van de opleiding en het daarop volgende accreditatiebesluit van de NVAO inclusief eventuele side letter. De HvA auditsystematiek biedt ruimte om aandachtspunten van de opleiding mee te nemen en garandeert dat de verbeterpotentie van de opleiding en de effectiviteit van de (ingezette) verbetermaatregelen worden getoetst. Ten behoeve van het documentenonderzoek schrijft de opleiding een beknopte, heldere beschrijving van en reflectie op het eigen toekomstperspectief. Dit geeft het panel meer houvast om te discussiëren over de koers van de opleiding en de ontwikkelingen in de beroepspraktijk en geeft het panel gelegenheid met docenten te reflecteren op de keuzes die de opleiding maakt in vergelijking met haar (inter)nationale collega-opleidingen. Bovendien biedt het schrijven van de kritische reflectie de opleiding een goed moment om samen met alle betrokkenen kritisch naar de sterke en zwakke plekken van de opleiding te kijken en gezamenlijk een verbeterplan op te stellen om de zwakke plekken te versterken. De kritische reflectie heeft daarom een belangrijke plek in de kwaliteitscultuur. De audit besteedt zowel aandacht aan compliance and accountability8 (kwaliteit is het voldoen aan minimale normen en standaarden) als aan enhancement and improvement (kwaliteit is het versterken en verbeteren). De beoordeling per standaard heeft als doel de opleiding enerzijds zicht te geven op de vraag of het kwaliteitskeurmerk ‘accreditatie’ wordt geconsolideerd en anderzijds zicht te geven op de verbeterpunten en prioriteiten als handvatten bij het nemen van verbetermaatregelen.

Rol opleidingsmanagement Waar in de oude auditsystematiek de opleiding de audit min of meer ‘onderging’, wordt nu uitgegaan van een actieve rol in het proces . Om zo goed mogelijk aan te sluiten bij de behoeften van de opleiding, is de inbreng van het opleidingsmanagement essentieel. Het opleidingsmanagement geeft in de voorbereiding van de audit aan waar bijvoorbeeld dilemma’s, vragen en sterktes en zwaktes zitten en denkt mee over hoe deze beantwoord, bevestigd of weggenomen kunnen worden. Dit vormt de basis voor opdracht, aanvullend kader en criteria. Bovendien zorgen duidelijke afspraken vooraf voor draagvlak voor de bevindingen van het panel. Draagvlak betekent ook dat de opleiding zich de maat laat nemen door vakgenoten van wie zij kritiek wil accepteren. Het panel dient dan ook een of meer vakgenoten, ook wel ‘peers’, te bevatten. Het is raadzaam eerst een profiel op te stellen. De opleiding kan haar netwerk inzetten om geschikte panelleden te vinden: welke vak-/domeindeskundigen hebben een helder en breed zicht op (ontwikkelingen in) de beroepspraktijk, welke ‘peers’ zitten op één 8

Ontleend aan Kleijnen, J. (2012), Internal quality management and organisational values in higher education. 17

lijn met de opleiding en welke hebben juist (prikkelende) andere ideeën. Om antwoorden te krijgen op zelf ingebrachte aandachtspunten, kan het nodig zijn om naast een werkvelddeskundige nog aanvullende auditoren toe te voegen aan het team.

8.

Resultaten van de audit

De opleiding ontvangt een rapport ingedeeld naar de drie standaarden. Het rapport bevat een managementsamenvatting en per standaard de belangrijkste bevindingen en overwegingen die tot het oordeel van het panel hebben geleid. Waar goede of excellente praktijken worden geconstateerd, zal daarvan expliciet melding worden gemaakt in het auditrapport. Waar mogelijk zijn concrete verbeteradviezen opgenomen om de kwaliteit van de opleiding verder te verhogen. De door de opleiding geformuleerde specifieke aandachtspunten zullen meegenomen worden bij het oordeel op de drie standaarden. Indien zij niet binnen het standaard kader vallen, geeft het panel in een apart hoofdstuk van het rapport haar adviezen op de specifieke aandachtspunten. De wijze van rapportage wordt vooraf met het opleidingsmanagement besproken. In de auditrapportage wordt per standaard een oordeel uitgesproken in de termen voldoende en onvoldoende. Het oordeel wordt gemotiveerd door een weging van de positieve en kritische elementen uit de bevindingen van het panel.

Voldoende staat voor: de opleiding is erin geslaagd te voldoen aan de actuele kwaliteitseisen, waardoor het aannemelijk is dat, zonder specifieke verbetermaatregelen, bij de eerstvolgende accreditatie opnieuw het keurmerk kan worden verworven. Onvoldoende staat voor: de opleiding is er niet in geslaagd aan de (veranderende) eisen van de buitenwereld te voldoen en het eerder verworven keurmerk te consolideren. Specifieke verbetermaatregelen zijn noodzakelijk om bij de eerstvolgende accreditatie opnieuw het keurmerk te kunnen verwerven. Vervolgens formuleert het panel op basis van de beoordelingen van de standaarden een algemeen, gewogen en gemotiveerd totaaloordeel over de opleiding. Hiervoor worden de beslisregels ‘eindbeoordeling beperkte opleidingsbeoordeling’ van de NVAO gebruikt. Het eindoordeel over een opleiding is in elk geval ‘onvoldoende’ indien standaard 1 of 3 als ‘onvoldoende’ beoordeeld wordt9. Omdat een audit aantoont of een opleiding het keurmerk al dan niet heeft kunnen consolideren, wil het College van Bestuur graag snel op de hoogte worden gesteld van de uitkomsten. Volgens de systematiek van de HvA biedt het panel het rapport aan de domeinvoorzitter aan, in de aanname dat die de inhoud op korte termijn met het College deelt. 9

Ter informatie: een onvoldoende voor standaard 1 kan niet leiden tot het toekennen van een herstelperiode door de NVAO. 18

In aansluiting op het oordeel en de bevindingen en adviezen van het panel, stelt de opleiding een verbeterplan op dat is gericht op het (alsnog) consolideren van de basiskwaliteit en het verbeteren van de opleidingskwaliteit. De domeinvoorzitter deelt dit verbeterplan evenals de inhoud van het auditrapport met het College. De resultaten van audit- en accreditatie worden sinds kalenderjaar 2012 op verzoek van het College van Bestuur in kwartaalrapportages van K&A aangereikt. Deze rapportages hebben een signalerende functie. Betekenisgeving in de zin van het bespreken van de consequenties voor de verbeteragenda van de opleiding vindt plaats in werkoverleggen van rector en domeinvoorzitter. Domeinvoorzitters ontvingen tot dusver alleen de kwartaalrapportages van opleidingen in het eigen domein. Per studiejaar 2013/2014 ontvangen zij ook die van de andere domeinen en kunnen voor het leereffect de verbeterplannen uitgewisseld worden. Geordend per domein, wordt op opleidingsniveau melding gemaakt van: • sterke punten • belangrijkste aanbevelingen • aandachtspunten • bijzonderheden • accreditatievervaldatum • visitatiedatum • status • risico Het risico wordt aangeduid als: ☺ volgens norm/planning/verwachting  niet volgens norm/planning/verwachting, mogelijk bijsturen  niet volgens norm/planning/verwachting, ingrijpen nodig De audituitkomsten worden tevens ingebracht bij de Raad van Toezicht en bij de voorbereidingen van de Periodiek Bestuurlijke Overleggen (PBO). Dat biedt de mogelijkheid om in het PBO nader in te gaan op eventuele risico’s als gevolg van het niet (meer) consolideren van de basiskwaliteit (compliance and accountability) als op de wijze waarop de opleidingskwaliteit kan worden versterkt en verbeterd (enhancement and improvement). In het PBO wordt de realisatie van de maatregelen uit het opgestelde verbeterplan besproken. K&A gaat een jaarlijkse meta-evaluatie uitvoeren, voor de eerste maal aan het eind van het studiejaar 2013-2014 (mei 2014) om het College van Bestuur inzicht te geven in de stand van het onderwijs aan de HvA. Mede op basis van resultaten van audits en accreditaties en een vergelijking met andere bronnen over onderwijskwaliteit wordt ingegaan op trends en patronen. Het College is voornemens de uitkomsten van dit nieuwe instrument onder meer te bespreken in de Centrale Medezeggenschap Raad.

19

9.

Betekenis voor de opleiding

Voorbereiding De audit vraagt van de medewerkers van een opleiding en het opleidingsmanagement in het bijzonder een aantal inspanningen. Ten eerste het formuleren van ambities, dilemma’s en vragen ten behoeve van de audit. Ten tweede het invullen van opdracht, kader, criteria en panel. Ten derde het nadenken over en leveren van de juiste documentatie waaronder een kritische reflectie op het toekomstperspectief (zie paragraaf 5.2 voor een toelichting). Tenslotte het organiseren van de bezoekdag waarbij representatieve vertegenwoordigingen van de verschillende belanghebbenden een gesprek zullen voeren met het panel.

Effect De managementsamenvatting in het rapport bevat de sterke punten van de opleiding en een aantal aanbevelingen. De opleiding kan de aanbevelingen gebruiken om zaken nog eens nader te onderzoeken, te veranderen of te verbeteren. De opleiding maakt nadrukkelijk zelf keuzes naar aanleiding van het rapport. Vanwege het moment van de audit heeft de opleiding nog voldoende tijd om prioriteiten te stellen en aanbevelingen om te zetten in concrete verbeteractiviteiten voordat het accreditatietraject start. Leden van het panel zijn bereid hierbij te adviseren. Visitatiepanels vragen opleidingen de resultaten van de interne audit mee te nemen in de kritische zelfreflectie en op de ingezette verbetermaatregelen te reflecteren. Uiteraard is het niet verplicht het auditrapport integraal aan te leveren. De opleiding kan daar zelf keuzes in maken en focussen op de stappen die zij na de laatste audit heeft gemaakt.

10.

Generiek en specifiek deel

Een audit vraagt altijd om maatwerk. Standaard is er een generiek deel. Aanvullend kan er sprake zijn van een specifiek deel. Het specifieke deel kan binnen of buiten het beoordelingskader audit vallen. Bij iedere audit onderzoekt het panel altijd of de opleiding voldoet aan de basiskwaliteit10. Dit is het generieke deel van een audit. Het beoordelingskader HvA is hierbij het referentiekader. De interne auditsystematiek van de HvA biedt het opleidingsmanagement ruimte om eigen aandachtspunten en/of een aanvullende opdracht aan het panel mee te geven. Specifieke aandachtspunten kunnen om een focus vragen op bepaalde aspecten die vallen binnen het algemene beoordelingskader dat voor de audit wordt gehanteerd (zie voorbeeld 1). Het is ook mogelijk dat de specifieke aandachtspunten vragen om een aanvullende opdracht. Het gaat dan om aspecten die vallen buiten het algemene beoordelingskader dat voor de audit wordt gehanteerd (zie voorbeeld 2). In overleg tussen secretaris en opleidingsmanager wordt separaat van de afspraken met betrekking tot de audit een opdrachtvraag geformuleerd en worden kader, criteria, panelsamenstelling en manier van rapporteren besproken. 10

Basiskwaliteit: de kwaliteit die in internationaal perspectief redelijkerwijs verwacht mag worden van een bachelor- of masteropleiding binnen het hoger onderwijs (NVAO, Beoordelingskaders accreditatiestelsel hoger onderwijs, 22 november 2011) 20

Voorbeeld 1 De opleidingsmanager van opleiding X heeft het panel specifiek verzocht extra focus te leggen op de plannen voor het nieuwe curriculum en de daarmee samenhangende onderzoekscomponent binnen het programma te beoordelen. De opleiding X wil graag zicht krijgen op visies, beelden e.d. die betrokkenen hebben over het nieuwe curriculum dat per september 2012 wordt ingevoerd. De afspraak is dat het panel, waar mogelijk, ook uitspraken doet over ‘weeffouten’ in het nieuwe curriculum. Deze onderwerpen passen binnen het beoordelingskader beperkte opleidingsbeoordeling van de NVAO. In het documentenonderzoek en in de gesprekken tijdens de auditdag zijn deze onderwerpen expliciet aan de orde gesteld. De bevindingen en aanbevelingen zijn in de rapportage onder de drie standaarden opgenomen. Voorbeeld 2 Er moet sprake zijn van een afwijkend beoordelingskader, waardoor een afwijkende rapportage plaats zal vinden. Het beoordelingskader moet zelf ontwikkeld worden. De domeinvoorzitter heeft K&A verzocht bij de interne audits die staan gepland onderzoek uit te voeren naar de tevredenheid van de verschillende gebruikers en toereikendheid van de voorzieningen (facilitaire dienstverlening, huisvesting en informatievoorzieningen) in relatie tot de doelstellingen van de opleiding (inclusief mediatheek, computervoorzieningen, practicumlokalen, e-learningfaciliteiten, etc.). Het onderzoek moet gezien worden als een nulmeting en is input voor het vaststellen/herijken van opleidingsspecifieke doelstellingen, kwaliteitseisen en inrichting van de bedrijfsprocessen.

11.

Samenstelling panel

De audit wordt uitgevoerd door het panel. Dit panel bestaat in principe uit vier leden: de voorzitter, de secretaris, deskundige hoger onderwijs en een werkvelddeskundige. De panelleden verbinden zich aan de gedragscode (zie bijlage 3). Afhankelijk van de specifieke aandachtspunten en/of aanvullende opdracht kan de opleiding besluiten panelleden met specifieke expertise toe te voegen aan het panel. De voorzitter is een externe gekwalificeerde senior auditor. Een beleidsmedewerker van K&A fungeert als documentonderzoeker en secretaris. Deze is deskundig op het gebied van kwaliteitszorg binnen het hbo en heeft veel ervaring als rapporteur en adviseur. De deskundige hoger onderwijs heeft expertise op het gebied van onderwijsontwikkeling en –uitvoering, leerplanontwikkeling, didactische vormgeving, toetsing etc. Hij kent het beleid dat de HvA hierin voert. De werkvelddeskundige heeft een ruime kennis van het betreffende beroepenveld, de arbeidsmarkt en de ontwikkelingen daarbinnen. De opleidingsmanager draagt de werkveldvertegenwoordiger voor.

21

Van ieder lid van het panel wordt verwacht dat hij: - zich conformeert aan de vastgestelde werkwijze en gedragscode. - kennis heeft van het hoger onderwijs in het algemeen. - kennis en ervaring heeft als auditor. - gespreksvaardig en tactvol is en analytisch vermogen heeft. - geen banden heeft met de opleiding die een onafhankelijk oordeel in de weg staan. De secretaris van het panel is de contactpersoon tussen panel en opleiding, informeert de panelleden en voorziet hen van de juiste informatie om een oordeel te kunnen vormen.

12.

Wie is waarvoor verantwoordelijk?

Het College van Bestuur is formeel de opdrachtgever voor de interne audit. Conform het HvA-uitgangspunt van resultaatverantwoordelijk management delegeert het College deze verantwoordelijkheid aan de domeinvoorzitter. De organisatie en uitvoering van de audit heeft het College bij de bestuursstaf Onderwijs en Onderzoek, met name bij haar afdeling Kwaliteit en Accreditatie, neergelegd. Omdat het opleidingsmanagement verantwoordelijk is voor het goed verlopen van de audit en uiteindelijk als eerste de vruchten plukt van het resultaat van de audit, worden afspraken over de praktische uitvoering van de audit en afspraken over een eventueel specifiek deel gemaakt met de opleidingsmanager.

13.

Kosten van de audit

De kosten van de voorzitter, de werkvelddeskundige en aanvullende panelleden in het kader van een evt. specifiek deel, zijn voor rekening van de opleiding. De voorzitter hanteert een vast tarief dat op peildatum september 2013 tussen de 110 en 150 euro per uur excl. BTW ligt. Voor een audittraject met één bezoekdag, rekent de voorzitter ca. 3000 euro excl. BTW voor de voorbereiding, auditdag en feedback op de rapportage. Omdat de opleiding de werkvelddeskundige en aanvullende externe panelleden zelf benadert en voordraagt, is het aan de opleiding om met deze mensen een beloning af te spreken voor hun bijdrage en gemaakte reis- en verblijfkosten. Een inschatting van de te besteden tijd is afhankelijk van de opdracht en het aantal opleidingsvarianten. Naast expliciet kosten van de panelleden moet in alle gevallen ook rekening worden gehouden met ‘impliciete’ interne personeelskosten voor het verzorgen van de stukken en voor de betrokkenheid van opleidingsmanagement en medewerkers bij bijvoorbeeld de panelgesprekken. Voor de deskundige hoger onderwijs en de beleidsmedewerker van K&A worden geen aanvullende kosten in rekening gebracht bij de opleiding (de kosten zijn verwerkt in de ‘overhead’, vastgesteld in de jaarlijkse HvA begrotingscyclus).

22

14.

Evaluatie audit

Na oplevering van het definitieve rapport evalueert de secretaris de audit met behulp van een standaard enquête onder het opleidingsmanagement. Uiteraard is de opleidingsmanager gedurende of na de audit van harte uitgenodigd vragen te stellen of suggesties te doen. Op- en aanmerkingen zijn welkom via Mark Thomas, K&A, [email protected]. De auditsystematiek is geactualiseerd met ingang van studiejaar 2013-2014. K&A verzamelt de bevindingen tijdens de uitvoering van de audits. De bevindingen kunnen aanleiding geven tot nieuwe bijstellingen van de auditsystematiek. Per 1 september 2014 zal deze notitie door K&A herzien worden.

23

Bijlage 1

Referentielijst documenten voor het documentenonderzoek

De documenten die de opleiding voor de interne audit bij de secretaris van het panel aanlevert, komen overeen met de documenten die de NVAO vereist als verplichte bijlagen bij de kritische reflectie. Onderstaande lijst dient als referentiemateriaal. In samenspraak met de opleiding wordt bepaald welke documenten de opleiding onder de aandacht wil brengen. •

• •

•

• • •

•

•

Een Kritische Reflectie of een beschrijving van en reflectie op het toekomstperspectief van de opleiding, voor zover nog niet verwoord in een van de onderstaande documenten. Landelijke kaders als: beroeps- en opleidingsprofiel, domeincompetenties. Opleidingsprofiel, eindkwalificaties van de opleiding en schematisch programmaoverzicht. Gedocumenteerd in bijvoorbeeld een opleidingsplan, leerplan, studiegids, opleidingsgids, digitale informatie op intranet van de opleiding. Inhoudsbeschrijving (op hoofdlijnen) van de programmaonderdelen, met vermelding van tenminste: a. eindkwalificaties/leerdoelen b. werkvorm(en) c. wijze van toetsing d. voorgeschreven literatuur e. betrokken docenten en f. studiepunten: geprogrammeerde studiebelasting uitgedrukt in ec’s Gedocumenteerd in bijvoorbeeld een opleidingsplan, leerplan, studiegids, opleidingsgids, digitale informatie op intranet van de opleiding. Onderwijs- en Examenregeling (OER). Literatuurlijst ( verplicht / aanbevolen) propedeuse en hoofdfase. Set studiehandleidingen waaronder: a. representatieve set studiehandleidingen programmaonderdelen 1e t/m 4e studiejaar b. handleiding studieloopbaanbegeleiding c. stagehandleiding d. afstudeerhandleiding Minorenbeleid, -aanbod Gedocumenteerd in bijvoorbeeld een opleidingsplan, leerplan, studiegids, opleidingsgids, digitale informatie op intranet van de opleiding en/of een (beleids)notitie. Toetsing overeenkomstig HvA beleid: a toetsplan, toetsprogramma en toetsplanning b. representatieve set toetsopgaven met bijbehorende beoordelingscriteria en normering (toetsmatrijzen, antwoordmodellen). c. representatieve selectie van feitelijk gemaakte toetsen uit allle studiejaren (zoals presentaties, stages, assessments en/of portfolio’s) en bijbehorende antwoordmodellen en beoordelingen.

24

•

•

• •

•

• •

Eindniveau:11 a. een volledige lijst van afgestudeerden van de laatste twee voltooide studiejaren. In ieder geval zijn daarop vermeld: naam student, studentnummer, afstudeerdatum, variant en locatie van de opleiding, de behaalde resultaten in de afstudeerfase (cijfer beoordeling eindwerkstuk, cijfer mondelinge verdediging, eindcijfer afstuderen). b. de door het panel geselecteerde afstudeerdossiers met bijbehorende beoordelingscriteria, normeringen en beoordelingen voor onderdelen van het afstudeerwerk. Het panel selecteert zelf voorafgaand aan de auditdag 10 verschillende eindwerken uit de grootste variant van de opleiding op basis van bovengenoemde lijst. Aanvullend selecteert het panel een aantal eindwerken uit de overige varianten. De selectie bestaat in de eerste plaats uit het opnemen van eindwerken met lage (5,5 - 6,5), middelhoge (7 - 8) en hoge (8,5 en meer) cijfers in de steekproef. Overzicht van het ingezette personeel met vermelding van: naam, functie, omvang aanstelling, graad (bachelor, master en/of PHD) ), didactische bekwaamheid/ aantekening en deskundigheid. Overzicht van de contacten met het werkveld . Verslagen van overleg in relevante commissies/organen, tenminste van een volledig kalender- en of studiejaar: a. Docentenoverleg; b. Opleidingscommissie; c. Veld Advies Raad (VAR) of Opleidings Advies Raad (OAR); d. examencommissie: jaarverslag en tussentijdse verslagen; e. toetscommissie (indien aanwezig); f. curriculumcommissie (indien aanwezig) . Resultaten, samenvatting en analyse van recente evaluatieresultaten en de geformuleerde verbetermaatregelen en overige relevante managementinformatie ter beoordeling van de opleidingsmanager(s). Overzicht in- door- en uitstroomgegevens laatste 6 Cohorten Organogram domein en opleiding.

11

De HvA volgt hier de ‘richtlijn NVAO beoordeling afstudeerwerken door panels tijdens het visitatieproces voor accreditatie’. Afwijkend van de richtlijn vraagt het interne panel 10 i.p.v. 15 eindwerken op uit de grootste variant van de opleiding. 25

Bijlage 2

Voorbeeld programma interne audit

Het gaat om een voorbeeld. Volgorde, onderwerpen en delegaties kunnen hiervan afwijken. Tijd 09.00 09.15 – 09.45 09.45 – 10.45

10.45 – 11.00 11.00 – 12.00

Gespreksonderwerpen12

Activiteit Inloop & ontvangst panel Intern overleg

•

Evt. korte introductie opleiding opnemen

Managementteam

•

eigenheid opleiding

•

ambities

•

bachelorniveau

•

oriëntatie hbo

•

relatie beroepenveld

•

internationalisering

•

onderzoeksdimensie

•

ontwikkelingen instroom

•

marktovereenkomsten

•

onderscheid tussen de varianten

•

realisatie samenhangende onderwijsleeromgeving

•

inhoud en vormgeving programma

•

eigen inkleuring programma

•

keuze werkvormen

•

onderzoekslijn

•

stage

•

internationale component

•

beoordelen en toetsen

•

borging niveau

•

aansluiting instromers

•

relatie docenten beroepenveld

•

eigen deskundigheid docenten

•

na- en bijscholing, deskundigheidsbevordering

•

coaching nieuwe docenten

•

overeenkomsten varianten naar docenten, studenten en programma

•

opleidingsspecifieke voorzieningen

Pauze en intern overleg Docenten13

12

De gespreksonderwerpen worden per opleiding gespecificeerd, mede op basis van opdracht en uitkomsten documentenonderzoek. 13 Een representatieve groep docenten van alle varianten, leerroutes e.d. met verschillende rollen zoals studieloopbaanbegeleider, onderzoeker, stage- of afstudeerbegeleider, etc. 26

12.00 – 12.30 12.30 – 13.30

13.30 – 14.00

14.00 – 14.30 14.30 – 15.15

15.15 – 16.00 15.15 – 16.00

16.00 – 16.30 16.30

Lunch en intern overleg Studenten 14

Examencommissie/ toetscommissie

Inzien documentatie en intern overleg Lectoraat en leden kenniskring

Openstaande vragen

•

kwaliteit en relevantie

•

programma

•

studeerbaarheid

•

studenttevredenheid

•

aansluiting

•

toetsen en beoordelen

•

kwaliteit docenten

•

opleidingsspecifieke voorzieningen

•

eigen producten

• •

ontwikkelingen opleiding resultaten

• •

rol OC in de interne kwaliteitszorg bevoegdheden en taken examencommissie en toetscommissie

•

rol in de interne kwaliteitszorg toetsing

•

resultaten, bewaken eindniveau

•

professionalisering docenten

•

vertaling onderzoek naar curriculum

•

onderzoek in afstudeeropdracht

•

eigenheid opleiding

•

ambities in relatie tot behoeften werkveld

•

beoogd en gerealiseerd eindniveau

•

relatie opleiding beroepenveld

•

internationalisering

•

onderzoeksdimensie

•

o.a. kwaliteit en relevantie van de opleiding (programma, docenten)

•

functioneren in de praktijk of vervolgopleiding

15

Werkgevers en alumni

Intern overleg en bepaling beoordeling Terugkoppeling

14

Een representatieve groep studenten van alle studiefases, varianten, leerroutes e.d. incl. leden van de opleidingscommissie en een student die bezig of net klaar is met de afstudeeropdracht. 15 Van iedere respondentgroep dient tenminste 1 persoon beschikbaar te zijn voor aanvullende vragen. 27

Bijlage 3

Gedragscode auditoren

Voorbereiding en werkwijze De voorzitter, de panelleden en de secretaris bereiden zich gedegen voor op de bezoekdag door alle relevante documenten te bestuderen. De voorzitter, de panelleden en de secretaris houden zich aan de gestelde tijden en afspraken. De voorzitter en panelleden maken bij de beoordeling gebruik van het beoordelingskader van de HvA en handelen in de geest van dit kader. De secretaris stelt een conceptrapportage op volgens het beoordelingskader van de HvA, waarin de oordelen van het panel zijn verwerkt. De eindrapportage is de gemeenschappelijke verantwoordelijkheid van het panel. Na de audit wordt verwacht dat elk panellid een actieve bijdrage levert aan de eindrapportage en de evaluatie van de audit. De panelleden geven feedback op de conceptrapportage. De reacties van de panelleden worden door de secretaris in het rapport verwerkt. Zij nemen kennis van de bijgestelde rapportage en stemmen in met het rapport. Onafhankelijkheid en geheimhouding De leden van het panel zijn onafhankelijk. Zij hebben geen directe binding met de opleiding waar de audit plaatsvindt. Er mag geen sprake zijn van tegenstrijdige belangen, die de deelname als auditor in de weg staan. Bij twijfel worden mogelijke tegenstrijdige belangen besproken met de secretaris of de voorzitter van het panel. Het panellid verbindt zich aan het vertrouwelijk omgaan met alle aan hem verstrekte gegevens en geleverde afstudeerwerken. Professionele opstelling De leden van het panel houden het doel van de audit goed voor ogen: de opleiding ondersteunen bij het verbeteren van haar kwaliteit. Dat betekent dat van de auditor een zakelijke maar open houding wordt verwacht. Dit draagt bij aan een open en ontspannen sfeer tijdens de panelgesprekken met de verschillende delegaties. De vraagstelling dient afgestemd te worden op de doelgroep. Dat neemt niet weg dat kritische vragen gesteld kunnen worden. Lange inleidingen worden vermeden en de vragen zijn open en bij voorkeur kort. Er wordt door de panelleden goed geluisterd met een kritisch oor. De leden van het panel werken zo objectief, onbevooroordeeld en feitelijk mogelijk. Zij houden hun eigen mening in de gesprekken met de opleiding voor zich. Individuele opvattingen van een panellid zijn ondergeschikt aan de gemeenschappelijke opvatting van het panel. De voorzitter, de panelleden en de secretaris hebben oog voor zowel de sterke punten als de aandachtspunten van de opleiding. Houding binnen het panel De voorzitter, de panelleden en de secretaris staan open voor feedback. Binnen het panel wordt met respect voor ieders inbreng met elkaar omgegaan.

28

Bijlage 4

Hulpmiddel16 beoordeling afstudeerwerken audit HvA

In te vullen door de secretaris van het panel: Opleiding

:

Variant

:

Onderdelen afstudeerfase en omvang in ec’s: Competenties die met het afstudeerwerk op eindniveau worden getoetst: Naam student : Titel afstudeeropdracht: Datum van afstuderen: Eindcijfer: Naam panellid : Datum

:

16

Dit hulpmiddel is gebaseerd op het toetsingskader van de NVAO onderzoekscommissie t.b.v. het inspectieonderzoek, versie 2.0 d.d. 22 december 2010. 29

A. Algemeen a. De afstudeeropdracht is relevant voor de beroepspraktijk ja/neen b. De afstudeeropdracht levert een bijdrage aan de beroepsontwikkeling van de student ja/neen c. De afstudeeropdracht is een complexe opdracht waarin kennis uit theorie en praktijk worden verbonden met praktijkgericht onderzoek en/of ontwerp ja/neen

d. de student heeft de afstudeeropdracht geheel zelfstandig uitgevoerd

ja/neen

B. Vraagstelling & verantwoording Zijn deze onderdelen aanwezig (ja/neen)? a. Probleemstelling b. Wat wil de student bereiken met dit project: onderzoeksdoelen? c. Wie wil de student bereiken met dit project: publieksafbakening?

ja / neen ja / neen ja / neen

d. Hoe past dit afstudeerproject in het geheel van het bedrijf (markt, bedrijfsbeleid, positionering,werking, …)?

ja / neen

e. Wat is de context (sociaal, maatschappelijk, cultureel, economisch, internationaal) van dit project? ja / neen Opmerkingen m.b.t. de kwaliteit van deze onderdelen: Globaal oordeel over de kwaliteit van “Vraagstelling & verantwoording”: Onvoldoende / Voldoende / Goed / Zeer Goed

C. Onderzoek & analyse (vraag- en aanbodzijde, publiek, omgeving, …) Zijn deze onderdelen aanwezig (ja/neen)? a. Onderzoeksopzet

ja / neen

b. Bronnenonderzoek c. Empirisch onderzoek

ja / neen ja / neen

d. Conclusies (= antwoord op “A. vraagstelling”) e. Output => Afhankelijk van type afstudeerproject

ja / neen

i. Vertaalslag naar concrete (implementeerbare) aanbevelingen (indien onderzoeksproject) ii. Vertaalslag naar een adviesdocument / aandachtspunten voor verdere

ja / neen / nvt

product/dienstontwikkeling (indien adviesproject) iii. Productontwikkeling (indien ontwikkel- of productieproject)

ja / neen / nvt

1. Productieplanning 2. Conceptontwikkeling

ja / neen /nvt ja / neen / nvt

3. Realisatie (creatief & technisch) 4. Presentatie en (indien aan de orde) Implementatie

ja / neen / nvt ja / neen / nvt

f. Terugblik / reflectie over het (eind)werk

ja / neen 30

Opmerkingen m.b.t. de kwaliteit van deze onderdelen:

Globaal oordeel over de kwaliteit van “Onderzoek & analyse”: Onvoldoende / Voldoende / Goed / Zeer Goed

D. Algemene beoordeling eindniveau Kan uit het afstudeerproject worden afgeleid dat de afstuderende blijk geeft van minstens “voldoende” voor: 1. theoretische vorming / onderbouwing 2. overzicht en inzicht, het kunnen plaatsen van problemen in de context

ja/neen ja / neen

3. reflectie (incl. zelfreflectie), kritische en objectiverende ingesteldheid, zin voor nuance 4. creativiteit en/of vermogen tot conceptualisering

ja / neen ja / neen ja / neen / nvt

5. vermogen om helder te communiceren 6. vermogen om efficiënt en resultaatgericht te werken

ja / neen ja / neen

Opmerkingen m.b.t. de kwaliteit van deze onderdelen: ………………………………….

E. Beoordeling door de opleiding 1. Geeft het eindwerk een voldoende indicatie van het gerealiseerd niveau ? 2. Bent u het eens met het eindcijfer dat de opleiding heeft gegeven?

ja/neen Ja/neen

Toelichting:

31

Bijlage 5

Format brief bevestigen afspraken interne audit Stafafdeling Onderwijs en Onderzoek O2 |Kwaliteit en Accreditatie Postbus 1025 1000 BA AMSTERDAM Bezoekadres: Spui 25, Ingang Handboogsteeg 2 1012 WX AMSTERDAM Tel. 020 – 59533..

Hogeschool van Amsterdam Naam domein Naam ……, opleidingsmanager….. Adres locatie 10.. AMSTERDAM Datum

Ons kenmerk

Uw kenmerk

Onderwerp Afspraken interne audit

E-mail

Doorkiesnummer

Geachte heer/mevrouw …….., beste ……. Bij deze wil ik de afspraken die wij op …. hebben gemaakt bevestigen. Wij bespraken de volgende doelstellingen van de interne audit: • Verder hebben wij afspraken gemaakt over de volgende onderwerpen: • startpunt interne audit, beoordelingskader; • specifieke aandachtspunten en eventueel maatwerk; • (beknopte) kritische reflectie door opleiding; • documentenonderzoek: documenten die ter beschikking worden gesteld, wijze van aanleveren documenten en wanneer, planning documentenonderzoek, bijzonderheden; • lijst van afgestudeerden van de laatste twee voltooide studiejaren en beschikbaar stellen van de door het panel geselecteerde afstudeerdossiers; • communicatie over inhoud, betekenis en opzet van de interne audit richting medewerkers en studenten(delegaties); • contactpersoon opleiding; • panelsamenstelling en kosten; • voorbereiding van de werkvelddeskundige op de paneldeelname • bezoekdag: datum, locatie, invulling programma globaal; • oplevering rapportage; • bijzonderheden. Een kopie van deze brief en de auditrapportage heb ik toegestuurd aan ……, voorzitter domein ………. Mochten er over deze brief nog vragen zijn, wilt u dan s.v.p. contact met mij opnemen. Met vriendelijke groet, naam O2|K&A medewerker Secretaris auditcommissie interne audit ……. ……………. Cc. ……….., domeinvoorzitter ……. en …… , kwaliteitzorgmedewerker

32