Adviesrapport in het kader van uit te voeren Toetsen Nieuwe Opleidingen 2011 generieke audit duaal en deeltijd NCOI
Lange Voorhout 14 2514 ED Den Haag T (070) 30 66 800 F (070) 30 66 870 I www.hobeon.nl E
[email protected]
Adviesrapport in het kader van uit te voeren Toetsen Nieuwe Opleidingen 2011 generieke audit duaal en deeltijd NCOI
Hobéon Certificering BV Datum 22 maart 2011 Auditteam Drs. R.B. van der Herberg Dr. P. Breman Drs. P.C.G.J. Kop S. Zandbergen Secretaris H.R. van der Made
INHOUDSOPGAVE DEEL 1
1
1.
MANAGEMENT SAMENVATTING
1
2.
INLEIDING
5
DEEL 2
9
3.
ONDERWERPEN EN FACETTEN NVAO-ACCREDITATIEKADER TNO 1. Doelstellingen opleiding Facet 1.1. Domeinspecifieke eisen Facet 1.2. Niveau: bachelor en master Facet 1.3. Oriëntatie hbo 2. Programma Facet 2.1. Eisen hbo Facet 2.2. Relatie tussen doelstellingen en programma Facet 2.3. Samenhang programma Facet 2.4. Studielast Facet 2.5. Instroom Facet 2.6. Duur 3. Inzet van personeel Facet 3.1. Eisen hbo Facet 3.2. Kwantiteit personeel Facet 3.3. Kwaliteit personeel 4. Voorzieningen Facet 4.1. Materiële voorzieningen Facet 4.2. Studiebegeleiding 5. Interne kwaliteitszorg Facet 5.1. Systematische aanpak Facet 5.2. Betrekken van medewerkers, studenten, alumni en beroepenveld 6. Condities voor continuïteit Facet 6.1. Afstudeergarantie Facet 6.2. Investeringen Facet 6.3. Financiële voorzieningen
9 9 9 12 13 14 14 17 20 22 24 25 26 26 27 29 31 31 33 35 35 37 39 39 40 41
4.
BIJLAGEN BIJLAGE I BIJLAGE II BIJLAGE III BIJLAGE IV BIJLAGE V
43 Programma en gesprekspartners Curricula Vitae en onafhankelijkheidsverklaringen auditoren Werkwijze, beoordelingsprocedure en beslisregels Geraadpleegde documenten Zelfreflectie van NCOI
Algemene gegevens Naam van de instelling: Locaties van de opleidingen:
NCOI hogeschool en business school Utrecht, Rotterdam
Naam VBI: Datum visitatie: Datum adviesrapport:
Hobéon Certificering b.v. 20 januari 2011 22 maart 2011
Beoordelingskader Het bij het onderzoek gehanteerde beoordelingskader is het ‘Toetsingskader nieuwe opleidingen hoger onderwijs Nederland’ (14 februari 2003).
Samenstelling auditteam Het auditteam bestond uit de volgende personen:
Drs. R.B. (Ruud) van der Herberg, voorzitter, is senior auditor en partner van Hobéon. Hij is o.a. betrokken bij advies- en audittrajecten in het vo, mbo en hbo, was onder andere schoolleider in het voortgezet onderwijs (Minkema College Woerden) en vicevoorzitter van de auditcommissie VMBO-Ambitiescholen van het Platform Bèta Techniek. Dr. P. (Paul) Breman, organisatiesocioloog/bedrijfskundige, is als senior adviseur werkzaam bij Twynstra Gudde en tevens lector Organiseren van Innovatie aan de Hogeschool Utrecht. Daarnaast is Breman als afstudeerbegeleider MSc verbonden aan de Open Universiteit, als docent Master of Public Administration aan het Institute of Social Studies te Paramaribo en als second supervisor Doctoral Studies aan Henley Business School of Reading University, UK. Ook heeft hij diverse publicaties op zijn naam staan, ondermeer op het gebied van sociale innovatie, organisatiecultuur en –ontwikkeling, en competentiemanagement. Drs. P.C.G.J. (Paul) Kop, managementadviseur/psycholoog, is sinds 1998 directeur/eigenaar van het assessmentbureau Lagerweij & Partners en Kop & Partners dat zich bezighoudt met coaching, outplacement en re-integratie. Kop is al ruim 30 jaar actief in de management adviesbranche. In 2010 is hij benoemd tot Lector Talentmanagement aan de faculteit Toegepaste Psychologie van de Hogeschool Leiden. Paul Kop bekleedt een groot aantal bestuurlijke functies en is ondermeer lid van Top Executive Coaching en lid van de Vereniging van Toezichthouders in het Onderwijs. Daarnaast heeft hij publicaties op zijn naam staan, met name op het gebied van personeelsmanagement. S. (Stefan) Zandbergen, student, volgt als vierdejaars de hbo-studie toegepaste psychologie aan de voltijdse opleiding van de Hogeschool Leiden.
Het auditteam werd ondersteund door H.R. van der Made, senior-adviseur bij Hobéon en NVAO-gecertificeerd secretaris. In de Bijlage II bij dit rapport zijn de uitgebreide CV’s en onafhankelijkheidsverklaringen van de leden van het auditteam opgenomen.
DEEL 1 1.
MANAGEMENT SAMENVATTING
Hobéon Certificering is op basis van de door NCOI geleverde documentatie en de op 20 januari 2011 gehouden audit tot de volgende bevindingen gekomen. Algemeen beeld NCOI borgt dat een bredere vertegenwoordiging uit het werkveld oordeelt over de profielen van opleidingen; een vergelijkende studie naar het programma van identieke opleidingen in binnenen buitenland wordt breed uitgezet. Praktijkonderzoek maakt deel uit van (de doelstellingen) van iedere hbo-opleiding, onderzoekslijnen zijn in ontwikkeling, beoordelaars van praktijkopdrachten en scripties houden intervisie- en kalibreersessies, en de eerste resultaten van de onderzoeksfaculteit worden zichtbaar: kenniscommunities zijn in ontwikkeling en moeten bijdragen aan een hogere kwaliteit afstudeerwerkstukken. Commitment van en afstemming met alle gremia binnen NCOI die de uitvoering van het beleid op het gebied van onderzoek moeten dragen, verdient nog de aandacht. Het portfolio als instrument om de competentieontwikkeling van de studenten te begeleiden en het werkplekleren te borgen, functioneert: er is een team van portfoliobegeleiders, dat tenminste drie keer per jaar contact heeft met alle bachelorstudenten. Bij een aantal specifieke opleidingen, zoals bijvoorbeeld de lerarenopleidingen, is de portfoliobegeleiding intensiever en toegesneden op de opleiding. Het portfolio zorgt er ook voor dat iedere opleiding de activiteiten op de werkplek goed in beeld heeft en dat de reflectieve leerlijn zichtbaar is. Het auditteam geeft de instelling in overweging om de beoordeling van het portfolio, tezamen met de verdediging van het eindwerkstuk, deel uit te laten maken van het afstudeerassessment. De examencommissies zijn recent geherstructureerd en voorbereid op de eisen die de Wet Versterking Besturing eraan stelt. Iedere opleiding in uitvoering kent twee kerndocenten, die gezamenlijk de samenhang en actualiteit van een opleidingsprogramma bewaken. De algemene voorzieningen, als huisvesting en voorlichting, heeft NCOI op orde. Over de kwaliteitszorg en continuïteit van de geboden opleidingen is het auditteam positief. Onderwerp Doelstellingen opleiding NCOI volgt bij het ontwerpen van nieuwe opleidingen een strak geregisseerd stappenplan, dat ervoor zorgt dat alle aspecten die van belang zijn voor het bepalen van de doelstellingen van een hbo-opleiding in het opleidingsontwerp zijn betrokken. De input voor het beroepsprofiel van iedere opleiding heeft NCOI recent verbreed. Naast de denktank/Raad van Advies wordt een brede selectie van werkvelddeskundigen geraadpleegd, waarbij de directe aansluiting van de werkvelddeskundigen bij het te beoordelen opleidingsprofiel nog meer aandacht verdient. Voor alle opleidingen worden brede benchmarks uitgevoerd, die nog duidelijker dan nu het geval is een kwalitatieve positiebepaling ten opzichte van de concurrentie zouden kunnen inhouden.
©Hobéon® Certificering⏐ Beoordelingsrapport Generieke Audit NCOI 20 januari 2011, versie 1.0 ⏐ 1
Onderzoek maakt inmiddels een integraal onderdeel uit van de doelstellingen van iedere opleiding. Er zijn drie onderzoekslijnen/kenniscommunities gedefinieerd, die verder worden uitgewerkt. Het panel heeft met instemming vernomen dat studenten zich per 1 september 2011 voor de genoemde kenniscommunities kunnen inschrijven. De afstemming over de visie op onderzoek verdient binnen NCOI nog meer inbedding en afstemming. Onderwerp Programma NCOI heeft een centraal uitgewerkte visie op opleiden en leren, die in alle opleidingsprogramma’s zijn uitwerking heeft. Dit resulteert in een genuanceerde, op de doelgroep afgestemde benadering van competentiegericht leren. De reflectieve leerlijn in de programma’s is versterkt door de invoering van het portfolio als begeleidings- en reflectie-instrument voor competentieontwikkeling. Ook dient het portfolio, dat is ingevoerd bij alle hbo-bacheloropleidingen als borgingsinstrument voor het werkplekleren. Met betrekking tot de portfoliobegeleiding, heeft het auditteam vastgesteld dat deze op dit moment alleen binnen de bacheloropleidingen is geregeld. Het is het auditteam op het moment van de audit niet helemaal duidelijk geworden of portfoliobegeleiding ook op de masters van toepassing is. Het panel dat de nieuwe masteropleiding beoordeelt, heeft hiervoor expliciet aandacht. Het panel heeft vastgesteld dat de toetsontwikkeling bij NCOI voor alle opleidingen goed op orde is: er is sprake van een systematische aanpak, meer-ogen die meekijken voordat toetsen worden ingezet en een sterkere nadruk op foutanalyse. Ook de examencommissies zijn recent opnieuw ingericht: zij zijn zich van hun onafhankelijke positie en hun taken in het licht van de Wet Versterking Besturing bewust. Het auditteam heeft bovendien vastgesteld dat NCOI een belangrijke kwaliteitsslag heeft uitgevoerd met betrekking tot de scripties: zo houden beoordelaars intervisie en kalibreersessies en is de rol van de RvA en het werkveld bij de afstudeerscripties helder afgebakend. Aandacht verdient nog de borging van de gerealiseerde eindcompetenties/eindkwalificaties van de studenten. Het accent ligt nu vooral op de afstudeerscripties, maar ook de afrondende beoordeling van het portfolio zou hierin betrokken moeten worden. Hierdoor wordt immers integraal getoetst of de afstudeerder de eindcompetenties van een opleiding beheerst. Onderwerp Inzet van personeel Een aanzienlijk deel van de NCOI-docenten is werkzaam in de beroepspraktijk, waardoor er een stevige en vanzelfsprekende verbinding bestaat tussen opleiden en werken. Daarnaast is 90% van het docentenkorps op masterniveau afgestudeerd. Een aanzienlijk deel heeft bovendien didactische ervaring. NCOI heeft recent essentiële kwaliteitsslagen gemaakt in het personele domein: iedere opleiding in uitvoering beschikt inmiddels over twee kerndocenten, waardoor de inhoudelijke sturing van een opleidingsprogramma minder kwetsbaar is geworden. De kerndocent heeft nadrukkelijk een inhoudelijke rol: hij toetst het programma aan werkveldontwikkelingen, houdt het programma actueel en is het eerste inhoudelijke aanspreekpunt voor docenten. De kwaliteitsbewaking van docenten vindt het panel een sterk punt van NCOI. Er is sprake van een cyclus van Persoonlijke VoortgangsGesprekken (PVG’s) met de docenten. Docenten die niet aan de streefnorm voldoen, krijgen begeleiding en worden minder ingepland. Indien begeleiding geen vruchten afwerpt, wordt direct afscheid genomen.
©Hobéon® Certificering⏐ Beoordelingsrapport Generieke Audit NCOI 20 januari 2011, versie 1.0 ⏐ 2
Door te werken met een pool van docenten is de formatie bij iedere opleiding altijd passend voor het aantal studenten, c.q. studentgroepen. Het generieke auditteam heeft uit verschillende cohorten bestaande hbo-opleidingen van NCOI, een aantal studenten gesproken. Op deze wijze heeft het auditteam voeling gekregen met de doelgroep van NCOI en een indruk opgedaan van wat bij de tno’s verwacht kan worden. De te beoordelen tno’s hebben nog geen studenten. Het auditteam viel het op dat alle studenten (uit alle cohorten, zowel masters als bachelors, uit profit- en non-profitbedrijven) buitengewoon enthousiast waren over de kwaliteit van hun docenten. Onderwerp Voorzieningen NCOI heeft haar materiële voorzieningen goed op orde. Tijdens de opleidingsaudits gaat vooral bij opleidingen die NCOI tot op heden nog niet in het portfolio had, de belangstelling naar de opleidingsspecifieke voorzieningen uit. Met name de technische opleidingen en de lerarenopleidingen zijn daarbij in beeld. Uit het gesprek met de studenten heeft het panel opgemaakt dat in de informatievoorziening over de reflectieve leerlijn/het digitaal portfolio nog verbetering nodig is. Gebleken is dat meer studenten dan voorheen kennis hebben van de vergoeding die NCOI verstrekt voor het aangaan van een bibliotheekabonnement, maar dat de communicatie hierover nog beter kan. Onderwerp Interne Kwaliteitszorg: voldoende De Interne Kwaliteitszorg organiseert NCOI voor alle opleidingen op een identieke wijze. De afdeling Kwaliteit en Erkenningen is vanaf oktober 2010 gereorganiseerd. Eén van de gevolgen hiervan is dat de opleidingsmanager nu volledig verantwoordelijk is geworden voor de operationele zaken van de onder hem/haar ressorterende opleiding(en). Dat geldt dus ook voor de resultaten. Het auditteam vindt dit een duidelijke verbetering. Dat het veranderbeleid, met een zichtbare pdca-cyclus, zoden aan de dijk zet, werd ook bevestigd in het gesprek met de studenten uit de verschillende opleidingscohorten. Studenten ervaren dat onderzoek veel steviger in hun opleiding is verankerd, dat de planning is verbeterd, dat e-Connect veel beter functioneert en dat de overlap tussen modulen bijna niet meer voorkomt. Ook ervaren studenten dat de controle op de kwaliteit van de examens fors is toegenomen. Het auditteam heeft ook vastgesteld dat alle stakeholders bij de evaluaties van het onderwijs zijn betrokken. De kwaliteitsafdeling heeft binnen het managementsysteem Olympus een volledig uitgewerkte evaluatiekalender opgenomen met deadlines; hierin worden alle evaluatieresultaten van alle stakeholders geregistreerd en geanalyseerd. Het auditteam vindt het verbeterproces van NCOI ‘mean and lean’ en efficiënt. Het auditteam oordeelt dan ook positief over de wijze waarop NCOI de interne kwaliteitszorg vormgeeft voor al haar opleidingen. Onderwerp Condities voor continuïteit: voldoende Het auditteam heeft vertrouwelijk inzage gehad in de jaarcijfers over 2009 en de voorlopige jaarcijfers 2010. Daaruit blijkt dat de instelling beschikt over voldoende middelen om de aanloopverliezen van nieuwe opleidingen te kunnen dragen en garanties voor de continuïteit van nieuwe hbo-opleidingen te kunnen afgeven. De directie van NCOI heeft bovendien een verklaring afgegeven waarin zij zich garant stelt voor de continuïteit van de nieuwe opleidingen.
©Hobéon® Certificering⏐ Beoordelingsrapport Generieke Audit NCOI 20 januari 2011, versie 1.0 ⏐ 3
©Hobéon® Certificering⏐ Beoordelingsrapport Generieke Audit NCOI 20 januari 2011, versie 1.0 ⏐ 4
2.
INLEIDING
Karakteristiek van de instelling De NCOI Opleidingsgroep is een door het Ministerie van OCW aangewezen onderwijsinstelling die duale en deeltijdse opleidingen verzorgt voor werkenden met tenminste twee tot vijf jaar werkervaring. Het aanbod aan contactonderwijs bestaat uit ruim 700 verschillende opleidingen en trainingen. De instelling beschikt over meer dan 1200 actieve trainers en docenten, die onderwijs verzorgen op 26 locaties in heel Nederland, waaronder twee eigen zalencentra in Utrecht en Rotterdam. Het hoofdkantoor is gelegen in Hilversum; daar werken ca. 260 medewerkers aan de planning, ontwikkeling en organisatie van het gehele opleidingsaanbod. De NCOI Opleidingsgroep, waaronder de Hogeschool NCOI (bachelors) en de NCOI Business School (masters), is op het gebied van deeltijdse en duale opleidingen één van de grootste particuliere aanbieders van Nederland. ‘Werkend Nederland’ De organisatie heeft als missie het organiseren en vermarkten van een breed pakket van goed toegankelijke erkende opleidingen en trainingen voor werkenden. De activiteiten van NCOI zijn gericht op het, via erkende opleidingen, ontwikkelen en laten groeien van mensen binnen organisaties om daarmee bij te dragen aan een leven lang leren en de kennisontwikkeling in de maatschappij. Opleidingen die bij NCOI worden gevolgd, worden vrijwel altijd geheel of gedeeltelijk door werkgevers betaald. Sinds eind 2010 heeft het NCOI zijn opleidingsaanbod op het gebied van bachelors en masters georganiseerd in domeinen. Deze domeinen zijn:
Bedrijfskunde Bestuurskunde Management Economie Recht Financieel
Techniek Communicatie en ICT Gezondheidszorg Personeel en Organisatie Gedrag en Maatschappij Onderwijs
Beoordelingsaanpak 2011 NCOI laat in 2011 Hobéon Certificering een groot aantal Toetsen Nieuwe Opleidingen uitvoeren. Het betreft, op één hbo-masteropleiding na, alle nieuwe hbo-bacheloropleidingen. Beoordeling van en rapportage over de kwaliteit van deze nieuwe opleidingen gebeurt voor 1 april 2011, de termijn waarbinnen het ‘oude beoordelingskader TNO’ nog wordt toegepast. NCOI kent een sterke centrale sturing op het ‘onderwijsgebouw’. Dat geldt voor het ontwerpproces en de structuur van opleidingsprogramma’s, het didactisch model en de toetsing, evenals voor de inzet, aansturing en beoordeling van docenten. Ook de inrichting van de onderwijsvoorzieningen en de kwaliteitszorg gebeurt centraal en kent dus gemeenschappelijke kenmerken voor alle opleidingen. Generieke audit Hobéon Certificering heeft er dan ook voor gekozen bij NCOI de gemeenschappelijke kenmerken voor alle opleidingen op zoveel mogelijk facetten en onderwerpen uit het NVAObeoordelingskader in een generieke audit te beoordelen. Deze werkwijze heeft Hobéon op 11 januari 2011 met de NVAO afgestemd.
©Hobéon® Certificering⏐ Beoordelingsrapport Generieke Audit NCOI 20 januari 2011, versie 1.0 ⏐ 5
De basis voor het onderzoek dat Hobéon Certificering op generiek niveau heeft uitgevoerd, werd gevormd door een Zelfreflectiedocument, opgesteld door NCOI, en de daarbij behorende onderliggende documenten. Het bij het onderzoek gehanteerde beoordelingskader is geweest het ‘Toetsingskader nieuwe opleidingen hoger onderwijs’ van 14 februari 2003. Het verificatieonderzoek op locatie betrof niet uitsluitend het managementniveau, maar richtte zich op alle lagen in de organisatie. Ook een selectie van studenten/alumni is door het auditteam bevraagd. Halverwege de audit heeft het auditteam een drietal ‘onderzoekstrails’ uitgezet, waarbij werd ingezoomd op de feitelijke uitvoering van het toetsbeleid, de pdca-cyclus en de validatie van opleidingsprofielen. Deze trails zijn geselecteerd op grond van door Hobéon gesignaleerde aandachtspunten tijdens eerdere opleidingsbeoordelingen in 2010 en verdiepten het inzicht in de feitelijke werking en het generieke karakter van de genoemde facetten. De uitkomsten van de trails zijn vervolgens in de afzonderlijke auditgesprekken geverifieerd. Daardoor is een gedetailleerd beeld van de feitelijke uitvoeringspraktijk ontstaan en de mate waarin deze uitvoeringspraktijk een algemene geldigheid heeft voor alle, nog te beoordelen, opleidingen. Functie van dit rapport Het onderhavige rapport bevat de gemotiveerde beoordeling van die facetten uit het vigerende beoordelingskader TNO, die generiek – dus voor alle opleidingen eenmalig – konden worden beoordeeld. Door de gemeenschappelijke aspecten slechts eenmaal te beoordelen op het niveau waarop ze worden aangestuurd en geborgd, wordt onnodige redundantie in beoordelingen en rapportages voorkomen. Er is dan ook voor gekozen de generieke beoordeling in een separate rapportage op te nemen en de teksten uit deze rapportage niet telkens in de opleidingsrapporten te herhalen. Dit rapport bevat deze generieke beoordeling. Hoewel getracht is overlap tussen de teksten uit het generieke rapport en de teksten uit de afzonderlijke opleidingsrapporten zoveel mogelijk te voorkomen, is dit – om redenen van eigenstandige leesbaarheid van de opleidingsrapporten – met name ten aanzien van onderwerp 2, soms onvermijdelijk. Dit rapport, over de generieke audit, en de rapportage van iedere afzonderlijke opleidingsaudit dienen telkens in samenhang en als onlosmakelijk met elkaar verbonden te worden beschouwd. De bevindingen en oordelen uit dit rapport maken dan ook integraal onderdeel uit van de afzonderlijke opleidingsrapporten met adviezen aan de Nederlands-Vlaamse Accreditatieorganisatie (NVAO), opgesteld door Hobéon Certificering als Visiterende en Beoordelende Instantie, ten behoeve van de accreditatie van de door NCOI nieuw te verzorgen hbo-bacheloropleidingen, dan wel hbo-masteropleiding. De auditteams die verantwoordelijk zijn voor de uitvoering van de opleidingsaudits, hebben tevoren kennisgenomen van de (uitkomsten van de) audit op centraal niveau. De auditaanpak, bestaande uit een generieke audit en afzonderlijke opleidingsaudits, is door Hobéon met de NVAO tevoren afgestemd. De audit De generieke audit vond plaats op 20 januari 2011. Het programma van de audit is opgenomen in Bijlage I. Het auditteam werd gevormd door Drs. R.B. (Ruud) van der Herberg, Dr. P. (Paul) Breman, Drs. P.C.G.J. (Paul) Kop, S. (Stefan) Zandbergen en H.R. (Rob) van der Made. De in dit team aanwezige expertise is in onderstaand schema zichtbaar.
©Hobéon® Certificering⏐ Beoordelingsrapport Generieke Audit NCOI 20 januari 2011, versie 1.0 ⏐ 6
onderwijs voorzitter Drs. R.B. van der Herberg, partner Hobéon bedrijfskundige Dr. P. Breman organisatiedeskundige Drs. P.C.G.J. Kop studentlid S. Zandbergen, 4e jaars hbo Toegepaste Psychologie, Hogeschool Leiden secretaris H.R. van der Made, senioradviseur Hobéon
kwaliteitszorg /audit
X
X
X
X
X
X
studentperspectief
X X
X X
Zie voor de uitgebreide CV’s en onafhankelijkheidsverklaring Bijlage II.
©Hobéon® Certificering⏐ Beoordelingsrapport Generieke Audit NCOI 20 januari 2011, versie 1.0 ⏐ 7
©Hobéon® Certificering⏐ Beoordelingsrapport Generieke Audit NCOI 20 januari 2011, versie 1.0 ⏐ 8
DEEL 2 3.
1.
ONDERWERPEN EN FACETTEN NVAOACCREDITATIEKADER TNO Doelstellingen opleiding
Facet 1.1. Domeinspecifieke eisen
De beoogde eindkwalificaties van de opleiding sluiten aan bij de eisen die door (buitenlandse) vakgenoten en de beroepspraktijk gesteld worden aan een opleiding in het betreffende domein (vakgebied/discipline en/of beroepspraktijk)
Bevindingen Het auditteam dat op 20 januari 2011 bij NCOI de generieke audit uitvoerde, heeft vastgesteld dat de instelling haar opleidingen ontwikkelt op basis van een centraal, op schrift, vastgelegd stappenplan. Dit stappenplan bevat alle aspecten die bij het ontwikkelen van een nieuwe opleiding van belang zijn. In dit proces heeft NCOI geborgd dat de beoogde eindkwalificaties van een opleiding aansluiten bij de eisen die het werkveld stelt aan de betreffende opleiding. NCOI heeft tijdens de audit toegelicht hoe het ontwikkelproces dusdanig wordt aangestuurd en bewaakt dat het uiteindelijke opleidingsontwerp ook alle, hieronder geschetste, fasen heeft doorlopen. Stappenplan Voor iedere nieuwe opleiding wordt een Denktank ingesteld, die bestaat uit het opleidingsmanagement, kerndocenten en vier tot zes vertegenwoordigers die werkzaam zijn in hogere managementposities binnen het relevante werkveld. Deze denktank vormt voor de ontwikkelaars de initiële klankbordgroep voor het op te stellen opleidingsprofiel en de eindkwalificaties. Uit deze denktank ontstaat na ontwikkeling van de opleiding de Raad van Advies (werkveldcommissie), die het opleidingsmanagement jaarlijks adviseert over de actualisering van het beroepsprofiel en het opleidingsprogramma. De instelling heeft voor de Raad van Adviesleden een profiel opgesteld en een reglement. Daarin is ook voorzien in een rooster van aftreden, zodat na verloop van tijd de werkveldinbreng wordt vernieuwd. In een vooronderzoek wordt nagegaan voor welk beroepsprofiel moet worden opgeleid. Daarbij zijn bestaande domeincompetenties, ‘bodies of knowledge and skills’, eventueel bestaande opleidingsprofielen en programma’s van andere (binnen- en buitenlandse) opleiders, en de vanuit het werkveld gesignaleerde trends en ontwikkelingen richtinggevend. Het auditteam heeft voorbeelden gezien van door NCOI uitgevoerde benchmarks. Deze benchmarks vindt het panel bovenal een marktverkenning. Op zichzelf nuttig, maar ze bevatten nog relatief weinig analyse en conclusies voor de eigen opleiding en de kwalitatieve positiebepaling van de betreffende nieuwe NCOI-opleiding in relatie tot het totale aanbod aan opleidingen, hetgeen de primaire functie is van een benchmark. In de opleidingsaudits wordt het profiel van de afzonderlijke opleidingen beoordeeld. In samenspel met de Raad van Advies worden in een opleiding accenten aangebracht, die kenmerkend zijn voor NCOI. Om de representativiteit van het werkveldoordeel te verhogen en het risico op tunnelvisies te voorkomen, heeft NCOI recent besloten in het vooronderzoek bredere oriëntaties uit te voeren onder werkveldvertegenwoordigers, voornamelijk afkomstig uit het MKB.
©Hobéon® Certificering⏐ Beoordelingsrapport Generieke Audit NCOI 20 januari 2011, versie 1.0 ⏐ 9
Dit heeft, zo heeft het panel in de auditgesprekken vastgesteld, al een aantal keren geleid tot bijstelling van concept-opleidingsprofielen en dus een sterk verbeterde borging van de validatie tot gevolg gehad. De opleiding stelt vervolgens een set van opleidingscompetenties vast, met bijbehorende eindniveaus. Deze eindniveaus stemmen overeen met de startbekwaamheid voor de functies waartoe een opleiding opleidt. Bij het definiëren van de niveaus wordt enerzijds rekening gehouden met de aansluiting op MBO-4 voor bachelors en met het bachelorniveau voor de masters, om een doorlopende leerlijn te waarborgen. De opleidingscompetenties worden vervolgens door de ontwikkelaars uitgewerkt in beheersingsindicatoren, die aangeven op welk niveau de competenties door de studenten moeten worden bereikt. Deze beheersingsindicatoren zijn uitgangspunt bij het vaststellen van de leerdoelen voor de afzonderlijke modulen van ieder opleidingsprogramma. Na formele validatie door de Denktank/Raad van Advies van zowel inhoud als het niveau van de opleidingscompetenties worden de afzonderlijke modulen waaruit ieder opleidingsprogramma bestaat, ontwikkeld. In deze fase worden de leerdoelen per module, de te behandelen onderwerpen, de verplichte en aanbevolen literatuur, de werkvormen en de toetsvorm(en) bepaald. Ook de studiebelasting van iedere module wordt in deze fase berekend. Breedte van de validatie Het auditteam is onder de indruk van het niveau van de leden van de Raden van Advies waarmee het heeft gesproken: zij zijn ter zake kundig en van het juiste niveau. De betreffende leden van de Raden van Advies hebben een duidelijke inbreng in het actueel houden van de opleidingen en worden in hun rol ook serieus genomen. Het auditteam heeft wel vastgesteld dat nog niet altijd is geborgd dat het profiel van de leden van de Raden van Advies ook echt aansluit op de te beoordelen/adviseren opleidingen. Ook een steviger verankering van de leden in relevante beroeps- en vakverenigingen verdient aanbeveling. In de opleidingsrapporten komt dit element terug. Internationalisering NCOI kiest niet voor expliciet internationale programmaonderdelen, bijvoorbeeld in de vorm van een aparte module ‘internationalisering’ of een buitenlandstage. De instelling beoogt het thema internationalisering te verweven in iedere opleiding en zichtbaar te maken in de opdrachten en casussen. De primaire doelstelling is dan dat de studenten zicht krijgen op de brede internationale context en ontwikkelingen binnen hun vakgebied en dat zij de consequenties hiervan voor de eigen functie binnen de, in veel gevallen multinationale, werkomgeving onderkennen. Het auditteam heeft vastgesteld dat het thema internationalisering binnen NCOI zich steeds verder uitkristalliseert, maar dat het niet altijd expliciet zichtbaar is in de doelstellingen van opleidingen en – in het verlengde hiervan – dus ook niet in de onderliggende curricula. NCOI kan, naar het oordeel van het auditteam, nog verder doorontwikkelen voor wat betreft Engels als voertaal binnen sterk internationaal gerichte opleidingen en de oriëntatie op internationale vakliteratuur. In verschillende opleidingen is overigens al wel sprake van de inzet van Engelstalige literatuur en zijn cases ontleend aan de internationale beroepspraktijk. Onderzoek Het auditteam heeft vastgesteld dat het ontwikkelen van onderzoeksvaardigheden en het uitvoeren van onderzoek onderdeel uitmaken van (de doelstellingen van) iedere opleiding. Deze doelstelling wordt consequent vertaald naar programmaonderdelen waarin de student wordt voorbereid op het uitvoeren van praktijkgericht onderzoek (zie 2. 1). Recent heeft NCOI een drietal onderzoekslijnen/kenniscommunities gedefinieerd rondom ‘leiderschap’, ‘human resources management’ en ‘veranderen’ (uitgewerkt in:
©Hobéon® Certificering⏐ Beoordelingsrapport Generieke Audit NCOI 20 januari 2011, versie 1.0 ⏐ 10
Organisatiediagnostiek, Slaagfactoren en Interventiemethoden). Via brainstormsessies met de kerndocenten van de hbo-opleidingen worden deze onderzoeksthema’s uitgewerkt in probleemstellingen, waarbij vervolgens de docenten en ook de studenten van de opleidingen worden betrokken. Het recente karakter van deze ontwikkeling binnen NCOI maakte het voor het panel nog niet mogelijk de effecten van deze werkwijze op de (doelstellingen van de) afzonderlijke opleidingsprogramma’s te beoordelen. Het panel vindt de door NCOI gepresenteerde opzet wel een goede eerste aanzet voor een verdere verankering van praktijkgericht wetenschappelijk onderzoek binnen de curricula van de hbo-opleidingen van NCOI. Het panel plaatst daarbij de kanttekening dat de onderzoekslijnen-in-ontwikkeling sterk gericht zijn op ‘organizational behaviour’ en dat een fasegewijze verbreding van de thema’s in relatie tot het volledige opleidingenportfolio van NCOI voor de hand ligt. NCOI heeft aangegeven dit ook te zullen doen.
©Hobéon® Certificering⏐ Beoordelingsrapport Generieke Audit NCOI 20 januari 2011, versie 1.0 ⏐ 11
Facet 1.2. Niveau: bachelor en master
De beoogde eindkwalificaties van de opleiding sluiten aan bij algemene, internationaal geaccepteerde beschrijvingen van de kwalificaties van een Bachelor of een Master
Bevindingen Zoals onder facet 1.1 aangegeven, is er in het proces dat NCOI uitvoert bij het ontwikkelen van iedere nieuwe opleiding in voorzien dat: de opleidingscompetenties worden uitgewerkt in beheersingsindicatoren, die aangeven op welk niveau de competenties door de studenten moeten worden bereikt. de beheersingsindicatoren uitgangspunt zijn bij het vaststellen van de leerdoelen voor de afzonderlijke modulen van een opleidingsprogramma. Voor de borging van het bachelordan wel masterniveau van een opleiding koppelt NCOI de beheersingsindicatoren aan de hbo-kernkwalificaties en de Dublin Descriptoren, die de reikwijdte en complexiteit van de eindkwalificaties indiceren. NCOI, zo is centraal vastgelegd, maakt deze koppeling voor iedere opleiding in een matrix inzichtelijk. Dit element komt terug in de opleidingsrapporten. Tijdens iedere opleidingsaudit beoordeelt het betreffende auditteam of met de beoogde doelstellingen alle niveau-indicatoren in gelijke mate worden afgedekt.
©Hobéon® Certificering⏐ Beoordelingsrapport Generieke Audit NCOI 20 januari 2011, versie 1.0 ⏐ 12
Facet 1.3. Oriëntatie hbo De beoogde eindkwalificaties van de opleiding zijn mede ontleend aan de door (of in samenspraak met) het relevante beroepenveld opgestelde beroepsprofielen en/of beroepscompetenties o Een hbo-bachelor heeft de kwalificaties voor het niveau van beginnend beroepsbeoefenaar in een specifiek beroep of samenhangend spectrum van beroepen waarvoor een hbo-opleiding vereist is of dienstig is o Een hbo-master heeft de kwalificaties voor het niveau van zelfstandig en/of leidinggevend beroepsbeoefenaar in een beroep of spectrum van beroepen, dan wel het niveau van functioneren in een multidisciplinaire omgeving waarin een hbo-opleiding vereist is of dienstig is Dit facet is binnen iedere opleidingsaudit beoordeeld. Zie aldaar.
©Hobéon® Certificering⏐ Beoordelingsrapport Generieke Audit NCOI 20 januari 2011, versie 1.0 ⏐ 13
2.
Programma
Facet 2.1. Eisen hbo
Kennisontwikkeling van studenten vindt plaats via vakliteratuur, aan de beroepspraktijk ontleend studiemateriaal en via interactie met de beroepspraktijk en/of (toegepast) onderzoek Het programma heeft aantoonbare verbanden met actuele ontwikkelingen in het vakgebied / de discipline Het programma waarborgt de ontwikkeling van beroepsvaardigheden en heeft aantoonbare verbanden met de actuele beroepspraktijk
Bevindingen Alle duale opleidingen van NCOI bevatten naar hun aard een grote mate van referentie naar de eigen werkervaring en werkplek van de student. Een groot deel van de studie vindt plaats in de werkomgeving van de student. De eisen die aan de werkplek worden gesteld, heeft NCOI helder beschreven. De kwaliteit ervan wordt voorafgaand aan de studie door NCOI beoordeeld doordat de student hierover een vragenlijst moet invullen. Bij twijfel bezoekt NCOI tevoren de werkplek. Tijdens de studie wordt de kwaliteit van de werkomgeving nog eens beoordeeld door de portfoliobegeleider, die de student tenminste één keer per jaar op de eigen werkplek bezoekt. Indien een werkplek niet voldoet of een student in het geheel niet beschikt over een bij de opleiding passende werkomgeving, kan hij deelnemen aan de deeltijdvariant van een opleiding. In dat geval zet NCOI vervangende opdrachten en praktijkcases in om de ontbrekende werkomgeving te compenseren. Ook loopt de deeltijdstudent een aanvullende stage in een passende werkomgeving om zijn beroepscompetenties te ontwikkelen. De deeltijdvariant wordt overigens maar door een zeer gering aantal studenten (4%) gevolgd. Kennisontwikkeling Naast de stevige praktijkcomponent, die inherent is aan een duale opleiding – waarin primair gewerkt wordt aan het behalen van de beroepscompetenties, vindt kennisontwikkeling plaats in de vorm van bijeenkomsten (primair conceptueel en cognitief van aard) en via de online leeromgeving E-connect (individuele opdrachten en groepsopdrachten in relatie tot het portfolio en aanvullende vakliteratuur). Vakliteratuur Bij de programmaontwikkeling is erin voorzien dat de ontwikkelaars van een opleiding in afstemming met het werkveld en de docenten tot de keuze van actuele vakliteratuur van hboniveau komen. Actualisering van de gebruikte vakliteratuur gebeurt jaarlijks op initiatief van de kerndocenten en met betrokkenheid van de vakdocenten. In toenemende mate wordt daarbij de keuze voor Engelstalige literatuur overwogen, met name waar het de masteropleidingen betreft. Alle verplichte literatuur wordt per module verstrekt. Voor aanbevolen literatuur, artikelen en andere informatiedragers die nodig zijn om een breder perspectief te verwerven, faciliteert NCOI studenten jaarlijks met een abonnement bij een bibliotheek van hogescholen en universiteiten. Recent heeft NCOI digitale toegang tot de Koninklijke Bibliotheek, waarmee een bredere selectie van literatuur voor de studenten toegankelijk wordt. Het auditteam is hier positief over.
©Hobéon® Certificering⏐ Beoordelingsrapport Generieke Audit NCOI 20 januari 2011, versie 1.0 ⏐ 14
Beroepsvaardigheden De opleidingen van NCOI hanteren competentiegericht leren en ervaringsleren als uitgangspunt; daarbij wordt de student uitgedaagd de opgedane kennis en vaardigheden direct actief toe te passen binnen de reële, eigen beroepssituatie. Vanuit de colleges gestimuleerd, maken studenten groepsopdrachten, reflectieopdrachten en integrale eindopdrachten die (deels) moeten worden uitgevoerd in de eigen werkomgeving. Een belangrijke rol daarbij is weggelegd voor de praktijkbegeleider (bedrijfsmentor), die de student begeleidt in het werkplekleren. Hij tekent de praktijk- en competentieopdrachten af als bewijs dat ze op de werkplek – en naar tevredenheid van de praktijkbegeleider – zijn uitgevoerd. De praktijkopdrachten worden inhoudelijk beoordeeld door de eigen docenten (formatief); een aantal praktijkopdrachten die zijn gerelateerd aan de kern van de opleiding wordt opgenomen in het portfolio. Deze opdrachten worden, tezamen met de competentieopdrachten, beoordeeld (summatief) door de portfoliobeoordelaar. Door deze systematiek is er binnen ieder NCOI-opleiding zicht op de ontwikkeling en de studievoortgang van de student. Namens NCOI onderhoudt de portfoliobegeleider contact met de praktijkbegeleider. De lesprogramma’s voorzien erin dat studenten voortdurend hun werkervaring inbrengen en uitwisselen. Een aspect dat, zo is het panel gebleken, door de studenten hooglijk wordt gewaardeerd. Bij het ontwerpen van modules wordt expliciet aandacht besteed aan het (verder) ontwikkelen van beroepsvaardigheden door het aanbieden van reële praktijksituaties, reflectie- en competentieopdrachten. Interactie met het werkveld Interactie met het werkveld is inherent aan een duale opleiding. Immers, een groot deel van de opleiding voert de student in de vorm van praktijkopdrachten uit in de eigen werkomgeving. Dit gebeurt vaak in uitwisseling met directe collega’s of managers binnen of buiten het eigen bedrijf. Dat bovendien een aanzienlijk deel van de docenten ook afkomstig is uit het werkveld, versterkt eveneens de directe interactie met de beroepspraktijk. Het uitvoeren van – in complexiteit toenemend en op de werkplek uit te voeren – praktijkonderzoek maakt deel uit van iedere opleiding. Toegepast onderzoek De voorbereiding op het doen van onderzoek maakt structureel en systematisch deel uit van ieder opleidingsprogramma. Dit gebeurt door het opnemen van een module methoden en technieken van onderzoek in elk curriculum. Deze module methoden en technieken wordt verspreid over de gehele opleiding aangeboden en sluit aan op de per studiefase uit te voeren eindopdrachten. Daarnaast krijgen de studenten via readers en de digitale leeromgeving (E-Connect) wetenschappelijke artikelen als verplicht studiemateriaal aangeboden. In de onderzoekslijn worden bij iedere student de volgende vaardigheden ontwikkeld: Het bijhouden en duiden van (wetenschappelijk) onderzoek op het vakgebied; Het toepassen van als relevant beoordeelde onderzoeksresultaten in de eigen werkpraktijk; Het doen van eenvoudig onderzoek, gericht op het planmatig verzamelen en analyseren van betrouwbare en valide informatie. Binnen ieder opleidingsprogramma wordt er van de student verwacht dat hij of zij planmatig een eenvoudig onderzoek kan opzetten. Dat houdt ondermeer in dat de student een duidelijke probleemstelling kan formuleren en de daarbij behorende onderzoeksmethoden kan selecteren. Bovendien wordt de student vertrouwd gemaakt met de basistechnieken op het gebied van kwalitatief en kwantitatief onderzoek, bijvoorbeeld met het opstellen van goede vragenlijsten, het (statistisch) analyseren van de uitkomsten ervan, en het samenstellen van steekproeven. Ook wordt de student bewustgemaakt van validiteit- en betrouwbaarheidsbedreigers.
©Hobéon® Certificering⏐ Beoordelingsrapport Generieke Audit NCOI 20 januari 2011, versie 1.0 ⏐ 15
Daarnaast wordt van studenten verwacht dat zij bestaand onderzoek op deze elementen kunnen beoordelen, om zo vast te stellen of het onderzoek bruikbaar is voor hun specifieke beroepssituatie.
©Hobéon® Certificering⏐ Beoordelingsrapport Generieke Audit NCOI 20 januari 2011, versie 1.0 ⏐ 16
Facet 2.2. Relatie tussen doelstellingen en programma
Het beoogde programma, het didactisch concept, de werkvormen en de wijze van toetsing weerspiegelen de te bereiken eindkwalificaties van de opleiding De te bereiken eindkwalificaties zijn aantoonbaar vertaald in leerdoelen van (onderdelen van) het beoogde programma
Bevindingen In het ontwerp van een opleiding voorziet NCOI erin dat de eindkwalificaties op een juiste wijze worden vertaald naar de leerdoelen van de afzonderlijke programmaonderdelen. Op centraal niveau geeft de instelling instructies aan ontwikkelaars van modulen. Daartoe heeft NCOI een handleiding voor moduleontwikkelaars opgesteld, die naar het oordeel van het auditteam heldere instructies bevat over de wijze waarop de aansluiting tussen de eindkwalificaties en de leerdoelen tot stand moet worden gebracht. De kerndocenten van iedere opleiding vervullen daarbij een cruciale rol: zij controleren of de leerdoelen zich op een juiste wijze verhouden qua niveau, oriëntatie en domeinspecifieke eisen tot de eindkwalificaties/competenties van een opleiding; de kerndocenten zijn er tevens verantwoordelijk voor dat alle eindkwalificaties in de afzonderlijke programmaonderdelen zijn afgedekt. De kerndocenten waarmee het auditteam tijdens de audit sprak, zagen dit ook nadrukkelijk als hun belangrijkste taak. Didactisch model NCOI hanteert vanuit zijn visie op leren drie onderwijskundige en didactische uitgangspunten: het Actief Leer Principe ( ALP, ‘Action Learning’), de leertheorie van Kolb, en Competentiegericht Opleiden (CGO). Deze onderwijskundige en didactische uitgangspunten sluiten, naar het oordeel van het panel, goed aan bij het leren van volwassenen en dus bij de doelgroep van de duale en deeltijdse opleidingen. Het ALP wordt ingezet doordat de student de geleerde theorie direct in opdrachten moet toepassen op de eigen werkplek en daarover een terugkoppeling moet verzorgen in de colleges, ofwel via de e-learning omgeving van NCOI. Bij het aanbieden van de leerstof volgt het NCOI de cyclus van Kolb, zodat de dimensies verkennen, toepassen, ervaren en terugkijken binnen alle colleges en iedere module telkens terugkeren. Tijdens het werkplekleren ontwikkelt de student de beroepscompetenties, doordat hij praktijkopdrachten uitvoert en daarop reflecteert. In de modules (bachelors) of masterclasses (masters) staan centraal de kennis, het inzicht en de vaardigheden die voorwaardelijk zijn om de competenties op de werkplek te kunnen ontwikkelen en beheersen. Werkvormen Binnen iedere opleiding worden verschillende werkvormen toegepast: bijeenkomsten, (digitale) praktijkopdrachten, cases, rollenspelen, discussies, groepsopdrachten, werkervaring, reflectieopdrachten en (integrale) eindopdrachten. In aansluiting op het competentiegericht ervaringsleren, past de student zijn opgedane kennis en vaardigheden direct actief toe in de eigen beroepssituatie. De studenten waarmee het panel tijdens de generieke audit sprak, konden deze werkwijze illustreren en waren positief over de door de docenten toegepaste variatie in werkvormen en de leeropbrengst ervan. Sterke inzet op portfolio Binnen de bacheloropleidingen van NCOI is een stevige rol toebedeeld aan het portfolio. Of de masteropleidingen het portfolio op eenzelfde wijze inzetten is tijdens de generieke audit niet duidelijk geworden. Het panel dat de nieuwe masteropleiding projectmanagement beoordeelt, heeft hier expliciet aandacht voor. Zie aldaar.
©Hobéon® Certificering⏐ Beoordelingsrapport Generieke Audit NCOI 20 januari 2011, versie 1.0 ⏐ 17
Het auditteam heeft vastgesteld dat NCOI voor alle bacheloropleidingen tezamen twee portfoliobegeleiders in vaste dienst heeft genomen. Daaromheen opereert een schil van 40 freelance portfoliobegeleiders. Het management van NCOI verwacht binnen één jaar vijf portfoliobegeleiders in dienst te hebben. Iedere portfoliobegeleider bedient ca. 35 studenten en heeft tenminste drie contacten per student per jaar. Deze contacten bestaan uit onlinecontact, werkplekbezoek en een telefonisch onderhoud. Bovendien vindt regelmatig e-mail- en e-Connectcontact plaats. Het inhoudelijk accent in de portfoliobegeleiding ligt op de coaching bij het samenstellen van een evenwichtig portfolio, het verwerven van de generieke hbo-competenties en de opbrengst van het werkplekleren (reflectie). De drie contacten worden gelegd op initiatief van de portfoliobegeleider. Indien blijkt dat een student meer hulp nodig heeft, wordt hij doorverwezen naar een individuele coach of studieadviseur. De portfoliobegeleiding behoort tot het standaardvoorzieningenpakket, de aanvullende coaching dient apart te worden afgerekend. NCOI heeft geborgd dat studenten de portfolio-opdrachten telkens tijdig en door het jaar heen moeten uitvoeren. Het afraffelen van portfolio-opdrachten aan het einde van het jaar, waardoor het beoogde doel van geleidelijke competentieontwikkeling niet wordt gehaald, is niet mogelijk. Het auditteam heeft vastgesteld dat NCOI met de implementatie van het portfolio belangrijke winst heeft geboekt op het gebied van de reflectieve leerlijn: Er is meer zicht op het werkplekleren en de beroepsvoorbereiding door de portfolioopdrachten; De student is nu veel eerder in beeld door contact met de portfoliobegeleider; De student is gedurende zijn gehele opleiding in beeld en heeft een duidelijk aanspreekpunt doordat de portfoliobegeleider in de toekomst tijdens alle studiefasen kan worden ‘meegenomen’; Het contact met de praktijkbegeleider is versterkt en de kwaliteit ervan kan beter worden bewaakt doordat de portfoliobegeleider een werkplekbezoek aflegt en anderszins met de praktijkbegeleider contact onderhoudt; De planning is sterk verbeterd (dit blijkt uit de afname van klachten op dit punt); dit geldt evenzeer voor e-Connect, dat aan gebruikersvriendelijkheid en inhoudelijkheid heeft gewonnen. Toetsing Toetsing van voorwaardelijke kennis, inzicht en vaardigheden vindt plaats in tentamens en opdrachten per module. Of de student beschikt over de beoogde beroeps- en generieke hbo-competenties toetst NCOI door opdrachten (praktijkopdrachten, competentieopdrachten, integrale eindopdrachten), die in het portfolio van de student worden opgenomen. Sinds januari 2011 heeft NCOI de examencommissies opnieuw ingericht en daarmee afgestemd op de eisen die de Wet Versterking Besturing aan examencommissies stelt. Het management maakt geen deel meer uit van de examencommissies, waardoor de onafhankelijkheid ten opzichte van de directie is verbeterd. De leden van de examencommissies waarmee het generieke auditteam sprak, zijn zich van hun taken in het licht van de Wet Versterking Besturing bewust, maar moeten nog wel oefenen met hun nieuwe rol. Dat de (domein)examencommissies verantwoordelijk zijn voor de borging van het eindniveau, zit bij de leden van de examencommissies, waarmee het panel sprak, ‘tussen de oren’.
©Hobéon® Certificering⏐ Beoordelingsrapport Generieke Audit NCOI 20 januari 2011, versie 1.0 ⏐ 18
Door auditteams zijn in het verleden wel opmerkingen gemaakt over het niveau van de eindscripties: er was weliswaar sprake van voldoende basiskwaliteit, maar scripties werden ook vaak als vlak betiteld, zowel bij bachelor- als masteropleidingen. Het auditteam heeft vastgesteld dat NCOI op dit thema een aantal interventies heeft verricht: er is concreet aandacht voor (de beoordeling van) onderzoeksvaardigheden; er is sprake van intervisie tussen beoordelaars van de eindscripties; er worden kalibreersessies georganiseerd met alle beoordelaars van praktijkopdrachten; de rol van de RvA en het werkveld bij de afstudeerscripties is helder afgebakend. er worden onderzoekslijnen ontwikkeld, gevoed door kenniscommunities van docenten/studenten (zie ook 1.1), waarvan mag worden verwacht dat deze kwaliteit verhogend werken op de eindproducten van studenten. Aandacht verdient nog de borging van de gerealiseerde eindcompetenties/eindkwalificaties van de studenten. De competentiebeheersing wordt nu gedurende de opleiding alleen fasegewijs getoetst, terwijl een integrale competentietoets aan het einde van de opleiding de beheersing beter zou borgen. Het accent ligt bij het afstuderen nu sterk op de afstudeerscripties. Het auditteam geeft NCOI in overweging een afstudeerassessment in te richten, waarin beide elementen, scriptie en competentiebeheersing, een rol spelen bij de afstudeerpresentatie en –ondervraging van de studenten. Het auditteam heeft vragen gesteld over de relatief magere uitkomsten van de gemiddelde evaluatiescores voor de schriftelijke examens van NCOI in de periode van 1 januari 2010 tot 1 december 2010. Hieruit bleek een gemiddelde score van 5,8 op een tienpuntschaal voor ‘de inhoud van de examens’ (o.a. aansluiting op niveau van de opleiding en de leerdoelen van de module) en een 5,9 voor ‘resultaat van het examen’ (waarin o.a. zijn opgenomen ‘correcte beoordeling’ en ‘inzicht in de totstandkoming van de beoordeling’). In een door het auditteam opgevraagde toelichting op deze evaluatiescores, heeft NCOI aangegeven dat de eerder gemelde cijfers abusievelijk geen jaargemiddelden betroffen, maar slechts de cijfers van één examenmoment. Inzage in de door NCOI nageleverde gemiddelde evaluatiescores (van alle hbo-bacheloropleidingen) geeft op het criterium ‘de inhoud van het examen’ een iets betere score van 6.0 te zien en op het criterium ‘resultaat van het examen’ een 5.9. NCOI verklaart deze relatief lage score deels uit het feit dat de verbeter-/verzwaringslag in de tentamens voelbaar is geworden voor de studenten. Dit blijkt zich te vertalen in een lagere waardering. De studenten waarmee het panel sprak, bevestigden desgevraagd de inhoudelijke verzwaring van de tentamens. Het management van de afdeling Kwaliteit & Erkenningen heeft tijdens de audit aangegeven voor 2011 de examenresultaten als nadrukkelijk speerpunt voor verbetering op de rol te hebben staan. Daarin wordt ook het onderdeel ‘resultaat van het examen’ meegenomen. De gedegen aanpak die het management van deze afdeling tijdens de audit aan het panel heeft getoond, geeft het auditteam vertrouwen dat NCOI op dit punt ook daadwerkelijk verbeteringen kan en zal laten zien. Tot slot: het panel is zeer positief over het feit dat NCOI bij de controle op (eind)werkstukken al langere tijd gebruik maakt van de plagiaatsoftware Euphorus.
©Hobéon® Certificering⏐ Beoordelingsrapport Generieke Audit NCOI 20 januari 2011, versie 1.0 ⏐ 19
Facet 2.3. Samenhang programma
Het beoogde studieprogramma is inhoudelijk samenhangend
Bevindingen Het generieke panel constateert in de wijze waarop NCOI haar leeromgevingen heeft ingericht dat er binnen iedere hbo-opleiding sprake is van een directe, horizontale, samenhang tussen bijeenkomsten (colleges), de eigen werksituatie en de online leeromgeving. In de werkomgeving worden, aansluitend op de colleges, praktijkopdrachten uitgevoerd; via de online leeromgeving wordt daartoe aanvullende documentatie/literatuur verstrekt en vindt er tussen studenten onderling, en tussen docenten en studenten, uitwisseling plaats over de uit te voeren opdrachten. De verticale opbouw in het programma bestaat tussen de fasen (studiejaren). Binnen een fase werkt NCOI met op zichzelf staande modulen/onderwijseenheden of masterclasses, die niet per se onderling op elkaar aansluiten. Deze kunnen dus in een willekeurige volgorde worden doorlopen. De samenhang van de modules en masterclasses binnen één fase komt tot uitdrukking in de integrale opdracht die de student aan het einde van iedere fase moet uitvoeren. Onderzoekslijn De module ‘Onderzoeksmethoden en Technieken’ wordt verdeeld over ieder opleidingsprogramma aangeboden, zodat een verticale opbouw in de onderzoekslijn zichtbaar wordt en de student intensiever wordt voorbereid op het uitvoeren van praktijkonderzoek. De colleges ‘Onderzoeksmethoden en Technieken’ sluiten bovendien aan op de door de student uit te voeren integrale praktijkopdrachten, die aan het einde van iedere module moeten worden uitgevoerd. Afstemming tussen modulen De samenhang binnen het opleidingsprogramma wordt actief bevorderd door de inhoud van modules/masterclasses onderling op elkaar af te stemmen. De kerndocent vormt de verbindende schakel tussen ontwikkelaars en docenten in de opleiding. Voor de start van een opleidingsjaar wordt een startbijeenkomst met (kern)docenten gehouden en tussentijds worden regelmatig bijeenkomsten met (kern)docenten georganiseerd om de afstemming en samenhang tussen de programmaonderdelen te bevorderen. Het is het auditteam tijdens de generieke audit gebleken dat de kerndocenten het bewaken van de programmatische samenhang als hun belangrijkste taak zien. Binnen- en buitenschools Er is een horizontale samenhang tussen colleges en werkplekleren. Tijdens de colleges vult de docent, die meestal zelf werkzaam is in de beroepspraktijk, bestaande kennis, ervaring en vaardigheden van de student aan met nieuwe inzichten. Door middel van opdrachten wordt de student uitgedaagd deze nieuwe inzichten te vertalen naar en toe te passen in de eigen werksituatie. Via de online leeromgeving van NCOI wordt met studiewijzers en opdrachten de uitwisseling tussen studenten met betrekking tot behandelde onderwerpen uit het vakgebied gestimuleerd. Aldus vindt een versterking van samenhang plaats tussen de colleges, de eigen werkomgeving en de online leeromgeving. De studenten waarmee het auditteam tijdens de audit sprak waren enthousiast over de wijze waarop NCOI de samenhang tussen praktijk en theorie tot stand brengt.
©Hobéon® Certificering⏐ Beoordelingsrapport Generieke Audit NCOI 20 januari 2011, versie 1.0 ⏐ 20
Ontwikkeling beroepscompetenties Beroepscompetenties worden integraal ontwikkeld door het opbouwen van een portfolio per fase. Alle opdrachten zijn gekoppeld aan de specifieke opleidingscompetenties. De beheersingsniveaus zorgen voor een toenemende complexiteit van en verantwoordelijkheid bij het uitvoeren van de module- en eindopdrachten, en vormt daarmee een versterking van de verticale samenhang in het programma. Het portfolio is opgenomen in e-Connect (de online leeromgeving). Door middel van reflectie, gefaciliteerd door reflectieopdrachten en de begeleiding van een portfoliobegeleider, houdt de student gedurende de gehele opleiding zicht op de ontwikkeling van zijn competenties en kan hij aan de hand van het portfolio zijn competentieontwikkeling sturen. Het auditteam heeft tijdens de audit een aantal portfolio’s van studenten uit verschillende opleidingen ingezien en vindt de opzet en uitwerking ervan adequaat. Wel kan, naar het oordeel van het panel, de portfoliobegeleiding (zeker in het eerste jaar) nog worden geïntensiveerd, zodat directer en tijdiger kan worden gestuurd op de competentieontwikkeling van een student.
©Hobéon® Certificering⏐ Beoordelingsrapport Generieke Audit NCOI 20 januari 2011, versie 1.0 ⏐ 21
Facet 2.4. Studielast
Het beoogde programma is studeerbaar doordat factoren die betrekking hebben op dat programma en die de studievoortgang belemmeren zoveel mogelijk worden weggenomen
Bevindingen NCOI houdt bij het ontwerp van de opleidingsprogramma’s rekening met de studeerbaarheid ervan. Belemmerende factoren bij het volgen van een studie heeft het panel op voorhand niet kunnen constateren. Alle programma’s zijn qua modulen/masterclasses op een identieke wijze ingericht, met eenzelfde studiebelasting per fase. Daarmee wordt, althans in het ontwerp, een evenwichtige spreiding van de studielast gerealiseerd. Studiebelasting, contacturen en duaal De duale opleidingen van NCOI kennen een relatief beperkt aantal contacturen. Deze contacturen zijn onder te verdelen in uren dat de student colleges volgt (ca. 3 per week) en uren dat de student in contact staat met NCOI-docenten en collega-studenten via e-Connect (ca. 9 uur). Per opleiding komt het aantal contacturen op ca. 12 uur per week. Aan zelfstudie (literatuurstudie, examenvoorbereiding en het uitvoeren van lesopdrachten) wordt de student geacht zo’n 14 uur per week te besteden. Op de werkplek voert de gemiddelde student per week ongeveer 8 uur aan praktijk-/portfolio-opdrachten uit en besteedt hij ca. 6 uur aan het opstellen van rapportages. De werkgerelateerde uren die de student voor de opleiding uitvoert op zijn werkplek (duale variant), vallen geregeld samen met werkzaamheden die de student voor de werkgever al verricht. In deze werkgerelateerde uren voert de student primair opdrachten uit, schrijft hij rapportages en verricht hij beroepsvormende activiteiten. Het samenvallen van aan de studie gerelateerde activiteiten en de werkzaamheden die de student voor zijn werkgever uitvoert in de beroepspraktijk, draagt er volgens NCOI geregeld toe bij dat studenten hun studie kunnen versnellen. Daarbij komt dat in een duale studie het instroomniveau over het algemeen hoog is. De deelnemers, die sterk gefocust zijn op het einddoel, slagen er – in de ervaring van het NCOI in om het gewenste bachelorniveau te halen in minder (schoolgebonden) tijd dan de havoscholier in een reguliere voltijdsituatie dat zou kunnen volbrengen. Dit komt, zo stelt het NCOI, dat studenten veelal – in meer of mindere mate – al het beroep uitoefenen, waarvoor zij worden opgeleid, wat een versterkend (lees: versnellend) effect heeft op de opleiding. Immers, door de werkervaring en werkomgeving van de student kan nieuwe kennis en kunnen nieuwe inzichten beter en sneller worden geplaatst. Deze sterke startpositie voor de instromende NCOI-student, vanuit een relevante werkomgeving op HBO-niveau, zorgt er in de ervaring van NCOI dan ook doorgaans voor dat de student de opleiding in duale vorm in vier jaar kan voltooien en in enkele gevallen zelfs met een kortere studieduur kan volstaan dan bij een reguliere voltijdse opleiding het geval zou zijn geweest. Deze karakteristiek van de doelgroep verklaart, volgens het NCOI, het beperkter aantal contacturen, een sterker accent op zelfstudie en een ruim aandeel werkplekgebonden uren in al zijn hbo-curricula. Het auditteam dat de generieke audit bij NCOI heeft uitgevoerd, heeft deze redenering besproken met de verschillende gesprekspartners, waaronder ook een brede selectie van studenten uit alle studiejaren. De validiteit ervan werd door allen bevestigd.
©Hobéon® Certificering⏐ Beoordelingsrapport Generieke Audit NCOI 20 januari 2011, versie 1.0 ⏐ 22
Aangetekend moet worden, dat de deeltijdse student niet beschikt over een passende werkplek. Daarom is het onderdeel ‘beroepscompetentieontwikkeling’ (waarin opdrachten in de praktijk moeten worden uitgevoerd) in deze opleidingsvariant minder omvangrijk dan bij de duale student. De beperkte invulling van dit onderdeel door de deeltijdse student wordt gecompenseerd door een stage van 30EC in de vierde fase van zijn studie. De student die de opleiding in deeltijd volgt, doet er meestal langer over (zeker 4,5 jaar). Voor alle hbo-masteropleidingen die NCOI verzorgt geldt een standaard studielast van 60EC met een doorlooptijd van twee jaar. Specificatie van studiebelasting In de studiegidsen die het panel tijdens de generieke audit heeft ingezien, waren de concrete specificaties van de studiebelasting (per module) voor een geheel opleidingsprogramma opgenomen. Het feitelijke realiteitsgehalte van de studiebelasting voor een bachelor van 240EC en een master van 60EC is tijdens de opleidingsaudits punt van aandacht. Zowel tijdens de locatie-interviews als bij het bestuderen van de Management Reviews van de afzonderlijke opleidingen (of de opleidingsdocumentatie/ studiegidsen) is de specificatie van de studiebelastingberekeningen, inclusief het aantal contacturen, onderwerp van studie. Inzicht in toetsplannen Vanaf studiejaar 2010 neemt NCOI de toetsplannen op in de Studiegids van iedere opleiding. Daarmee wordt voor studenten de relatie tussen de beheersingsindicatoren/leerdoelen, toetscriteria en competenties per module/masterclass inzichtelijk gemaakt, hetgeen een juiste voorbereiding op de toetsen en dus een betere studeerbaarheid van een opleidingsprogramma bevordert.
©Hobéon® Certificering⏐ Beoordelingsrapport Generieke Audit NCOI 20 januari 2011, versie 1.0 ⏐ 23
Facet 2.5. Instroom
Het beoogde programma sluit qua vorm en inhoud aan bij de kwalificaties van de instromende studenten: hbo-bachelor: vwo, havo, middenkaderopleiding of specialistenopleiding (web) of daarmee vergelijkbare kwalificaties, blijkend uit toelatingsonderzoek hbo-master: bachelor en eventueel (inhoudelijke) selectie
Bevindingen NCOI hanteert als instroomeis voor al haar hbo-opleidingen dat een student de wettelijk vereiste vooropleiding heeft met minimaal 2 jaar relevante werkervaring, met uitzondering van sommige opleidingen, zoals bijvoorbeeld de Master MBA, waarvoor tenminste 3 jaar werkervaring geldt. Het begrip ‘relevant’ heeft NCOI gedefinieerd in de Onderwijs- en Examenregeling (OER) van iedere opleiding. Daarnaast kan een student van 21 jaar of ouder, waarvan de vooropleiding niet aan de norm voldoet, een instroom- of toelatingsprogramma volgen en een toelatingsexamen afleggen. NCOI heeft deze vereisten vastgelegd in de centrale Onderwijs- en Examenregeling. Toelatingsonderzoek Vóór toelating en aanvang van de opleiding worden kandidaten in voorlichtingsbijeenkomsten uitgebreid geïnformeerd over de inhoud van en de toelatingseisen voor een specifieke opleiding. Op verzoek van de kandidaat wordt ook een persoonlijke adviesgesprek gevoerd waarbij de motivatie en toelatingsmogelijkheden worden besproken. Een kandidaat vraagt vervolgens een toelatingsonderzoek aan, waarin gecontroleerd wordt of de student aan de wettelijke instroomeisen voldoet. Het toelatingsonderzoek geeft ook een beeld van de volgende factoren: interesse, motivatie, persoonlijk profiel. Eventueel volgt een motivatie toelatingsonderzoek. In het toelatingsonderzoek voor een duale opleiding moet de student via een vragenformulier inzicht verstrekken in de kwaliteit en geschiktheid van zijn werkplek, alsook over de kwaliteit van zijn praktijkbegeleider. Bij twijfel wordt door NCOI een nader onderzoek op de werkpleklocatie uitgevoerd. Het auditteam dat de generieke audit heeft uitgevoerd, heeft kennisgenomen van de documentatie waarin deze toelatingsprocedure staat beschreven en heeft de feitelijke werking ervan geverifieerd bij de studenten. Het auditteam vindt het toelatingsonderzoek adequaat. Vrijstellingen en EVC NCOI heeft in het OER van de afzonderlijke opleidingen een regeling opgenomen met betrekking tot het verlenen van vrijstellingen. Voor het verkrijgen van vrijstellingen van programmaonderdelen dient een schriftelijk en gemotiveerd verzoek te worden ingediend bij de betreffende domeinexamencommissie. Ook kan een examencommissie op grond van een formeel ErvaringsCertificaat vrijstellingen binnen een programma toekennen. Naar het oordeel van het panel voert NCOI een transparant toelatingsbeleid, dat is vastgelegd in het centrale onderwijs- en examenreglement en dat voldoet aan de wettelijke vereisten.
©Hobéon® Certificering⏐ Beoordelingsrapport Generieke Audit NCOI 20 januari 2011, versie 1.0 ⏐ 24
Facet 2.6. Duur
De opleiding voldoet aan de formele eisen m.b.t. de omvang van het curriculum: o hbo-bachelor: 240 studiepunten o hbo-master: minimaal 60 studiepunten
Bevindingen Iedere hbo-masteropleiding van NCOI omvat een studieprogramma waarvan het totaal aan studiepunten 60 ECTS bedraagt waarmee het aansluit op de wettelijke basis. Iedere masteropleiding van NCOI heeft in principe een doorlooptijd van twee jaar. Iedere hbo-bachelor van NCOI omvat een studieprogramma waarvan het totaal aan studiepunten 240 ECTS bedraagt, waarmee het aansluit op de wettelijke basis. Iedere bacheloropleiding van NCOI heeft in principe een doorlooptijd van vier jaar. Iedere hbo-bachelor-, c.q. hbo-masteropleiding, van NCOI voldoet derhalve aan de formele eisen met betrekking tot de minimale omvang van het curriculum van 60 ECTS voor een hbomasteropleiding en een omvang van 240 ECTS voor een hbo-bacheloropleiding.
©Hobéon® Certificering⏐ Beoordelingsrapport Generieke Audit NCOI 20 januari 2011, versie 1.0 ⏐ 25
3.
Inzet van personeel
Facet 3.1. Eisen hbo
Het onderwijs zal voor een belangrijk deel worden verzorgd door personeel dat een verbinding legt tussen de opleiding en de beroepspraktijk
Bevindingen Voor de uitvoering van onderwijsgevende taken werkt NCOI met freelance professionals. Met betrekking tot de hbo-eisen die aan docenten van hbo-opleidingen dienen te worden gesteld, heeft het auditteam inzage gehad in een overzicht van alle bij NCOI werkzame docenten. Daaruit blijkt dat deze vrijwel allen een directe en actuele relatie met het betreffende beroepenveld onderhouden waarvoor zij bij NCOI onderwijsactiviteiten verzorgen. NCOI hanteert dit ook als selectiecriterium voor nieuw te werven docenten. Zo borgt de instelling dat haar docenten de verbinding kunnen leggen tussen de opleiding en de beroepspraktijk. De studenten waarmee het auditteam heeft gesproken, bevestigen dat docenten deze verbinding in hun colleges ook daadwerkelijk en veelvuldig leggen.
©Hobéon® Certificering⏐ Beoordelingsrapport Generieke Audit NCOI 20 januari 2011, versie 1.0 ⏐ 26
Facet 3.2. Kwantiteit personeel
Er wordt voldoende capaciteit vrijgemaakt om de nieuwe opleiding te kunnen starten Er wordt voldoende capaciteit vrijgemaakt om de nieuwe opleiding te kunnen continueren
Bevindingen Voor de ontwikkeling van een opleiding formeert NCOI – indien deze al niet bestaat – een Denktank, die later wordt omgevormd in een Raad van Advies. Ook stelt de instelling per opleiding twee kerndocenten aan, die voor de inhoudelijke ontwikkeling van de opleiding een docenten-ontwikkelteam formeren. Dit ontwikkelteam is zo groot als het aantal nieuw te ontwikkelen modulen voor de opleiding vereist. In de aansturing van het ontwikkelproces zijn de opleidingsmanagers direct betrokken; zij bewaken het ontwikkelproces. De kerndocenten bewaken de inhoudelijke consistentie van het programma. Afhankelijk van hun expertise verzorgen zij in de uitvoeringsfase ook één of meer modules in de eigen opleiding. Bij de ontwikkeling van een opleiding wordt het kernteam ondersteund door een vaste staf van medewerkers van de ondersteunende afdelingen (zie hierna). Het auditteam heeft zowel uit de door NCOI geleverde documentatie, als uit de gevoerde auditgesprekken kunnen vaststellen dat de instelling voldoende capaciteit vrijmaakt om een nieuwe opleiding te kunnen starten. Continuering van opleidingen Voor alle opleidingen beschikt NCOI over een pool van 1125 docenten, ontwikkelaars en beoordelaars, waaruit zij kan selecteren. Het werken met freelancers biedt NCOI de mogelijkheid flexibel te plannen om, indien nodig, extra docenten aan te trekken en hiermee de grootte van de studentgroepen (min. 8, max. 20 studenten) op het gestelde maximum te houden. De beschikbare docentencapaciteit is, zoals gangbaar in het reguliere onderwijs, lastig in FTE’s uit te drukken, omdat er geen sprake is van dienstverbanden. Voorafgaand aan de start van een nieuwe opleiding worden nieuwe docenten actief geworven, indien NCOI op dat moment in haar pool geen docenten heeft met de vereiste theoretische kennis en beroepspraktijkervaring. De afdeling Cursistenadministratie verwerkt de inschrijvingen van studenten en geeft een voorspelling van het aantal inschrijvingen, zodat de afdeling Docentenmanagement en de afdeling locatiemanagement op tijd kunnen anticiperen op het inplannen, dan wel het werven van het aantal docenten en het inroosteren van leslokalen. In een overzicht heeft NCOI aan het auditteam inzichtelijk gemaakt hoeveel docenten zij per te verzorgen module kan inzetten (potentieel beschikbare docentcapaciteit per module). Het auditteam is ervan overtuigd geraakt, dat door te werken met een pool van docenten, de formatie bij iedere opleiding altijd passend is voor het aantal studenten, c.q. studentgroepen, zodat daarmee de continuïteit van een opleiding in personele zin is geborgd. Capaciteit voor ondersteuning Naast de beschikbaarheid van docenten wordt ook bij de vaste medewerkers van de afdelingen Opleidingsmanagement, Programmamanagement, Materiaalontwikkeling, Examenbureau, Docentenmanagement, Advies & Voorlichting gekeken of voldoende expertise en capaciteit aanwezig is om het onderwijskundige, logistieke en administratieve proces rondom een nieuwe opleiding te kunnen organiseren.
©Hobéon® Certificering⏐ Beoordelingsrapport Generieke Audit NCOI 20 januari 2011, versie 1.0 ⏐ 27
Het auditteam heeft tijdens de audit geen signalen ontvangen, waaruit zou kunnen worden opgemaakt dat de capaciteit voor de onderwijsondersteuning onvoldoende zou zijn.
©Hobéon® Certificering⏐ Beoordelingsrapport Generieke Audit NCOI 20 januari 2011, versie 1.0 ⏐ 28
Facet 3.3. Kwaliteit personeel
Het in te zetten personeel is gekwalificeerd voor een inhoudelijke, onderwijskundige en organisatorische realisatie van het programma
Bevindingen De sollicitatieprocedure die NCOI voor het docerend personeel van alle opleidingen hanteert, en waarin het panel inzage heeft gehad, bevordert de aanname van personeel dat kwalitatief aan de maat is. NCOI selecteert docenten op opleidingsniveau, werkervaring, doceer/trainingservaring, inzetbaarheid, specialisme/vakgebied en woonplaats. Inbreng van het relatienetwerk en feitelijke werkzaamheid in het beroepenveld (werkvelddeskundigheid) maken impliciet deel uit van de sollicitatieprocedure. In een overzicht heeft NCOI de kwalificaties van haar docenten inzichtelijk gemaakt, die de modulen en masterclasses in de hbo-opleidingen verzorgen. Daaruit blijkt dat zeker 90% van het totale freelance docentencorps over een opleiding beschikt op masterniveau (drs./ir.); een beperkt aantal docenten binnen de bacheloropleidingen is op bachelorniveau afgestudeerd en 11 docenten zijn gepromoveerd. Twee docenten zijn bezig met hun promotieonderzoek. Drie docenten zijn in gesprek met professor Cozijnsen over mogelijk promotieonderzoek. Gepromoveerd: Dr.G.Heling (Health Behaviour, Radboud Universiteit) Dr.H.Hohn (TU Delft) Dr.P.Nientied (Sociale Wetenschappen, VU) Dr.M.Hoff (Organisatie & Management, RUG) Dr.A.Olsthoorn (Bedrijfskunde, Universiteit Utrecht) Dr.A.J.Cozijnsen (Leiderschap & Verandering, VU) Dr.D.Huckriede (Theoretische chemie, Universiteit Leiden) Dr.J.Spaandonk (TU Eindhoven) Dr.R.Heijblom (Marketing, Nyenrode) Dr.H.Verheul (Milieutechnologie, TU Delft) Prof.Dr.B.H.J.Verstegen (Business Economics, OU) Bezig met promotieonderzoek: Drs.A.Klein (Integration of Marketing, finance & HR, TU Delft) Drs.R.Hombergen MBA (Projectmanagement, Radbout Universiteit) Interesse in promotieonderzoek/ in gesprek met Prof.dr.A.J.Cozijnsen: Drs. F.Oosterwijk Drs. C.Wortelboer Ir. R.v.d.Weg Uit het overzicht blijkt verder dat een klein aantal docenten beschikt over een formele onderwijsbevoegdheid en ongeveer eenderde van het docentenkorps (eerdere) ervaring heeft opgedaan met het verzorgen en/of ontwikkelen van onderwijs. Het panel stelt op basis van dit kwalificatieoverzicht vast dat het personeel van NCOI over de kwalificaties lijkt te beschikken om de opleidingsprogramma’s inhoudelijk, onderwijskundig en organisatorisch met voldoende kwaliteit te kunnen uitvoeren. Recente kwaliteitsslagen De opleiding heeft recent essentiële kwaliteitsslagen gemaakt in het personele domein: iedere bestaande opleiding beschikt inmiddels over twee kerndocenten (was één), waardoor de inhoudelijke sturing van een opleiding minder kwetsbaar is geworden.
©Hobéon® Certificering⏐ Beoordelingsrapport Generieke Audit NCOI 20 januari 2011, versie 1.0 ⏐ 29
De kerndocent heeft primair een inhoudelijke rol: hij toetst het programma aan werkveldontwikkelingen/de actualiteit en is het eerste inhoudelijke aanspreekpunt voor docenten. Ook onderhoudt hij een relatie met de Raad van Advies en organiseert hij de vakoverleggen. De kerndocenten hebben daarnaast een goed zicht op de kwaliteit van toets/scriptiebeoordelaars, doordat zij kalibreersessies bijwonen en op grond hiervan werken met shortlists. Het auditteam was positief over de kwaliteit van de kerndocenten waarmee het tijdens de audit heeft gesproken. Een punt van continue aandacht blijft, naar het oordeel van het auditteam, de mate van betrokkenheid van de docenten bij iedere opleiding. Dit is inherent aan het NCOI-model, waarin gewerkt wordt met een pool van flexibele freelance docenten, die vaak in meerdere opleidingen doceren. Dit vergt naar het oordeel van het panel een extra focus van docenten op de eigenheid van iedere opleiding en de samenhang binnen ieder curriculum. De door NCOI ingestelde startbijeenkomsten, vakoverleggen en kalibreersessies vindt het panel daartoe goede instrumenten. Kwaliteitsborging docenten De kwaliteitsbewaking van docenten vindt het panel een sterk punt van NCOI. De afdeling docentenmanagement bewaakt deze kwaliteit en voert ook de Persoonlijke VoortgangsGesprekken (PVG’s) met de docenten. Docenten die niet de vereiste 8 scoren, krijgen begeleiding (of training) en een lagere ranking (waardoor zij minder inplanbaar zijn). Indien begeleiding geen vruchten afwerpt, wordt direct afscheid genomen. NCOI verzorgt voor docenten didactische trainingen en trainingen op het gebied van afstudeerbegeleiding/methoden en techniek van onderzoek. In sommige gevallen zijn trainingen verplicht: het niet willen deelnemen aan deze trainingen heeft voor een aantal docenten geresulteerd in beëindiging van de samenwerking met NCOI. Nieuwe docenten, die bij aanname ondermeer getoetst worden op hun didactische kwaliteiten door een proefles te verzorgen, worden in het eerste jaar getraind; ook vindt intensieve begeleiding plaats, meestal door één van de kerndocenten. Tijdens de generieke audit viel het het auditteam op dat alle studenten (alle cohorten, zowel masters als bachelors, uit profit- en non-profitbedrijven) buitengewoon enthousiast waren over de kwaliteit van hun docenten. Zij spraken van inspirerende en in de beroepspraktijk doorknede leraren. Dit wordt ondersteund door de studentenevaluaties die het NCOI afneemt en waarin het auditteam inzage heeft gehad. Een aandachtspunt dat de studenten tijdens de audit noemden, was de geringe kennis die sommige docenten hebben van de (mogelijkheden van) de elektronische leeromgeving eConnect. Het auditteam geeft NCOI in overweging hiervoor een training te organiseren.
©Hobéon® Certificering⏐ Beoordelingsrapport Generieke Audit NCOI 20 januari 2011, versie 1.0 ⏐ 30
4.
Voorzieningen
Facet 4.1. Materiële voorzieningen
De beoogde huisvesting en materiële voorzieningen zijn toereikend om het programma te realiseren
Bevindingen NCOI maakt naast de eigen leslocaties in Utrecht en Rotterdam gebruik van leslocaties in Nederland in vergader- en congrescentra en hotels. De eigen leslokalen in BCN in Utrecht en Rotterdam zijn zonder uitzondering als goed geoutilleerde leslokalen ingericht. Zij zijn alle voorzien van een whiteboard, een beamer, een aansluiting voor laptops en de mogelijkheid van een internetverbinding. Criteria voor locaties Voor leslocaties buiten Utrecht en Rotterdam zoekt de afdeling Locatiemanagement locaties die eenzelfde kwaliteit bieden als de eigen locaties in Utrecht en Rotterdam. Naast de criteria voor de leslokalen stelt de afdeling Locatiemanagement ook eisen aan de bereikbaarheid, de parkeergelegenheid en de catering van een locatie. Alle locaties, zowel eigen als ingehuurde, leslocaties worden aan het einde van iedere module door studenten geëvalueerd. De uitkomsten van de evaluaties zijn, naast persoonlijke bezoeken van de afdeling Locatiemanagement, een belangrijke graadmeter om de locatie wederom aan de studenten aan te bieden of gewenste verbeteringen met de verhuurder van de locatie te bespreken. De criteria waaraan locaties moeten voldoen, heeft NCOI vastgelegd in het document ‘Criteria voor locaties’. Deze criteria zijn naar het oordeel van het auditteam adequaat. Studiefaciliteiten Bij inschrijving voor een opleiding ontvangen de studenten per module een studiepakket. Dit studiepakket bestaat, afhankelijk van de module, uit een of meer studieboeken, een reader of een studiemap of een combinatie hiervan. Naast het studiepakket krijgt de student toegang tot e-Connect, een persoonlijke website. Op deze persoonlijke website staat alle benodigde informatie rondom de opleiding. Verder ziet de student er bijvoorbeeld de uitslagen van de examens of berichten die voor hem van belang zijn. Naast deze praktische informatie geeft e-Connect toegang tot de online leeromgeving. Deze digitale leeromgeving laat per les zien wat de student moet bestuderen, geeft toelichting op de stof, benoemt de leerdoelen en geeft een overzicht van alle te maken opdrachten. Ook het contact tussen studenten onderling en tussen studenten met docenten wordt via de online leeromgeving gefaciliteerd. De online leeromgeving maakt, zo heeft het auditteam vastgesteld, een goede indruk. Het door NCOI gehanteerde onderwijsconcept kan op de locaties en met behulp van de digitale leeromgeving, naar het oordeel van het panel, op een passende wijze worden uitgevoerd. Bij de visitaties voor opleidingen waarvoor een specifieke inrichting en uitrusting is vereist, onderzoekt het panel de specifiek voor deze opleidingen benodigde praktijkvoorzieningen. Zie daarvoor de respectieve opleidingsrapporten. Waar nodig, wordt een voorziening (bijvoorbeeld softwarepakketten) door NCOI aangeschaft of maakt de instelling gebruik van voorzieningen bij samenwerkingspartners (bedrijven en andere onderwijsinstellingen). De wijze waarop dit per opleiding uitwerkt, is onderwerp van onderzoek bij alle opleidingen waar dit relevant is.
©Hobéon® Certificering⏐ Beoordelingsrapport Generieke Audit NCOI 20 januari 2011, versie 1.0 ⏐ 31
Bibliotheekvoorzieningen NCOI beschikt niet over een bibliotheek. Alle verplichte literatuur wordt per module verstrekt. Voor aanbevolen literatuur, artikelen en andere informatiedragers die nodig zijn om een breder perspectief te verwerven, faciliteert NCOI haar studenten jaarlijks met een abonnement bij een bibliotheek. Gebleken is dat meer studenten dan voorheen kennis hebben van de vergoeding die NCOI verstrekt voor het aangaan van een bibliotheekabonnement, maar – zo bleek tijdens de audit - de communicatie hierover kan nog duidelijk beter. Recent heeft NCOI een digitale verbinding gekregen met de Koninklijke Bibliotheek, waardoor voor alle studenten een belangrijke informatiebron (inclusief UB’s) voor (wetenschappelijke) vakliteratuur wordt ontsloten. Studieruimtes en apparatuur Omdat de student voorafgaand aan en na de colleges thuis of op de werkplek aan de praktijkopdrachten werkt, heeft NCOI geen specifieke studieruimtes ingericht. Voor benodigdheden als bijvoorbeeld bepaalde software of (technische) apparatuur wordt zoveel mogelijk gebruik gemaakt van de, op de werkplek van de student, beschikbare voorzieningen. Waar nodig, wordt een voorziening door NCOI aangeschaft of maakt de instelling gebruik van voorzieningen bij samenwerkingspartners (bedrijven en andere onderwijsinstellingen). Voor wat betreft de voorzieningen op de (leer)werkplek van de student, worden deze meegenomen in het toelatingsonderzoek, zoals vastgelegd in de OER van de opleiding. Het auditteam dat de generieke audit heeft uitgevoerd is van oordeel dat NCOI beschikt over de huisvesting en materiële voorzieningen om duaal/deeltijdonderwijs op een adequate wijze te kunnen verzorgen.
©Hobéon® Certificering⏐ Beoordelingsrapport Generieke Audit NCOI 20 januari 2011, versie 1.0 ⏐ 32
Facet 4.2. Studiebegeleiding
Er is voorzien in personele capaciteit voor studiebegeleiding en informatievoorziening aan studenten die adequaat zijn met het oog op de studievoortgang
Bevindingen De studenten die naast hun baan een hbo bachelor- of masteropleiding bij NCOI volgen, zijn volwassenen met een gemiddelde leeftijd van rond de 40 jaar. De studenten hebben volgens NCOI in diverse studentpanels aangegeven graag zelf de regie te voeren over hun opleiding en studieadvies op eigen initiatief op prijs te stellen. Ondanks dat veel studenten aangeven geen behoefte te hebben aan een directe vorm van studiebegeleiding, houdt NCOI toch zicht op de studievoortgang van de student omdat het uit oogpunt van onderwijsrendement wenselijk wordt geacht dat studenten hun studie binnen een bepaalde tijd afronden. In het informatie- en studentvolgsysteem Olympus heeft NCOI enkele signaalfuncties ingebouwd die de studievoortgang bewaken: zo kan worden geregistreerd welke tentamens de student per fase heeft behaald en welke tentamens nog open staan. Hiermee kan de persoonlijke situatie van de student, naar het oordeel van het auditteam, goed worden gemonitord en kan, indien hiertoe aanleiding bestaat, een studievoortganggesprek met de student worden gevoerd. Vormen van studiebegeleiding Op het gebied van studiebegeleiding van studenten onderscheidt NCOI begeleiding door studieadviseurs en individuele coaches.
Studieadviseurs: bij een studieadviseur kunnen studenten, naast praktische vragen over hun opleiding, met name terecht voor een studievoortganggesprek. In een studievoortganggesprek kan met de studieadviseur de studiekeuze worden besproken of kan samen met de student een analyse worden gemaakt van de redenen waarom er studievertraging is opgetreden. Vervolgens wordt een nieuw studieplan opgesteld of een switch tussen studies voorgesteld.
Individuele coaching: als de student aangeeft, dat hij behoefte heeft aan meer gerichte individuele begeleiding kan NCOI in die behoefte voorzien door individuele coaching aan te bieden. Deze persoonlijke coaching heeft overigens meer betrekking op persoonlijke ontwikkelingsvraagstukken dan op studievraagstukken.
Informatievoorziening NCOI informeert haar potentiële studenten via de website en een brochure. Deze informatie geeft, zo heeft het auditteam vastgesteld, de juiste informatie over de (accreditatie)status van iedere hbo-bachelor en masteropleiding. Ingeschreven studenten maken voor hun informatievoorziening vooral gebruik van de online leeromgeving en de afdeling Advies en Voorlichting. Uit het gesprek met de studenten heeft het panel opgemaakt dat in de informatievoorziening over de reflectieve leerlijn/het digitaal portfolio nog vorderingen mogelijk zijn: informatie over het digitaal portfolio, de wijze waarop het werkt en de opdrachten die moeten worden uitgevoerd in de loop van het jaar, kan het beste aan het begin van iedere studiefase worden verstrekt. Ook de uitleg over de werking van e-Connect aan studenten laat nog te wensen over: een goede instructie bij aanvang van de studie voorkomt onnodige ruis en kan, in de opvatting van het panel, de gebruiksfrequentie nog verder verhogen. NCOI is zich hiervan bewust en werkt op dit punt aan verbetering.
©Hobéon® Certificering⏐ Beoordelingsrapport Generieke Audit NCOI 20 januari 2011, versie 1.0 ⏐ 33
Studiewijzer en studiegidsen Alle relevante praktische informatie heeft NCOI – voor hbo bachelor en –masteropleidingen afzonderlijk – gebundeld in de Wijzer! De praktische informatie beslaat de toelatingsprocedure, verzending van studiematerialen, aanvragen van vrijstellingen, de werking van e-Connect en de online leeromgeving en de klachtenprocedure. Naast deze Wijzer! wordt in de studiegids van iedere bachelor- en masteropleiding op hoofdlijnen inhoudelijke informatie gegeven. In iedere studiegids is informatie opgenomen over het studieprogramma, de literatuurlijst en de Onderwijs- en Examenregeling (OER). In e-Connect wordt deze informatie per module op detailniveau weergegeven, waarin per les de onderwerpen, leerdoelen, te bestuderen literatuur en de opdrachten worden aangegeven. Daarnaast is hier specifieke informatie over de afronding van de module te vinden. Online leeromgeving Voor de ingeschreven studenten is de online leeromgeving een belangrijke bron van informatie. E-Connect is een op maat ontwikkelde digitale leeromgeving die de student tijdens de gehele opleiding ondersteunt. Studenten kunnen hier de lessen raadplegen en bestuderen, zelfevaluatietoetsen maken, per e-mail of online discussies met andere studenten voeren, praktijkvragen stellen aan de docent, alsook digitale vakliteratuur en aanvullend lesmateriaal raadplegen. Daarnaast kan de student zijn eigen studievoortgang volgen via zijn persoonlijke webpagina. Het examenbureau plaatst de cijfers op e-Connect zodat de student altijd beschikt over een actueel overzicht van zijn studieresultaten. Behalve de studieresultaten vindt de student op e-Connect nuttige en noodzakelijke studie-informatie, zoals instructies voor eindopdrachten, het maken van een portfolio en de eindscriptie. De studenten waarmee het panel sprak waren tevreden over de gebruiksvriendelijkheid van eConnect, die – zo zeiden zij – met name het afgelopen jaar sterk is verbeterd. Het auditteam dat de generieke audit heeft uitgevoerd, is positief over de wijze waarop NCOI de studiebegeleiding heeft vormgegeven. De capaciteit is voldoende en wordt gefaseerd uitgebreid. Ook de informatievoorziening die NCOI heeft ingericht voor haar studenten vindt het panel adequaat in relatie tot de studievoortgang.
©Hobéon® Certificering⏐ Beoordelingsrapport Generieke Audit NCOI 20 januari 2011, versie 1.0 ⏐ 34
5.
Interne kwaliteitszorg
Facet 5.1. Systematische aanpak
Er is voorzien in een systeem van interne kwaliteitszorg, waarbij mede aan de hand van toetsbare streefdoelen en periodieke evaluaties verbetermaatregelen worden getroffen
Bevindingen NCOI is ISO-gecertificeerd ten aanzien van bedrijfsprocessen die te maken hebben met de ontwikkeling en uitvoering van opleidingen en trainingen. Voor de processen op het gebied van onderwijs heeft NCOI een kwaliteitszorgsysteem ontwikkeld. In het ´ISO handboek´ heeft de instelling de relevante processen vastgelegd. De bewaking en borging van de processen vindt voornamelijk plaats door het uitvoeren van periodieke interne en externe audits en evaluaties. De relevante procedures voor kwaliteitsbepaling, -bewaking en verbetertrajecten, alsook de kwaliteitsnormen, heeft NCOI opgenomen in het ISO-kwaliteitshandboek. Jaarlijks vindt een audit plaats op een aantal processen en tweejaarlijks vindt een certificerende audit plaats door een ISO-geaccrediteerde organisatie. De uitkomsten van de audits worden besproken met het opleidingsmanagement en zijn input voor verbeteracties, waarvan het auditteam een overzicht heeft ingezien. De implementatie hiervan en de controle erop berusten bij het opleidingsmanagement. Onderwijskwaliteit Recent, sinds oktober 2010, heeft NCOI de afdelingen Programmamanagement en Opleidingsmanagement gereorganiseerd. Er is nu een afdeling Opleidingsmanagement en een afdeling Kwaliteit en Erkenningen. Eén van de gevolgen hiervan is dat de opleidingsmanager nu volledig verantwoordelijk is geworden voor de operationele zaken van de onder hem/haar ressorterende opleiding(en). Dat geldt dus ook voor de resultaten. Het auditteam vindt dit een duidelijke verbetering ten opzichte van de oude situatie, waarbij deze verantwoordelijkheid diffuser was geregeld. De afdeling Kwaliteit & Erkenningen houdt toezicht op de kwaliteitsverbetercyclus, zorgt voor een jaarplanning en voert interne audits uit. Dat het veranderbeleid zoden aan de dijk zet, kreeg het auditteam ook bevestigd in het gesprek met de studenten uit de verschillende opleidingscohorten. Zo wordt onderzoek veel steviger aangezet in het eerste jaar, is de planning nadrukkelijk verbeterd, functioneert eConnect veel beter, komt overlap tussen modulen bijna niet meer voor en is de controle op de kwaliteit van de examens fors toegenomen. Studenten die in de tweede fase van hun studie verkeren, gaven aan tijdens het uitvoeren van hun praktijkopdrachten veel voordeel te hebben bij de aandacht die er in het eerste jaar voor het formuleren van probleemstellingen is geweest. Een onderzoeksmatige aanpak komt ze niet meer nieuw voor. Een gegeven waar studenten die nu in de slotfase van hun studie verkeren, jaloers op zeiden te zijn. Dit vindt het auditteam een duidelijk voorbeeld van een geslaagde verbetermaatregel. De kwaliteitsafdeling heeft inmiddels binnen Olympus een systeem opgezet, waarin een volledig uitgewerkte evaluatiekalender met deadlines is opgenomen en waarin alle evaluatieresultaten worden geregistreerd en geanalyseerd. De evaluatieresultaten van docenten en studenten geven altijd een 100% response te zien, omdat de toegang tot de digitale leeromgeving dit afdwingt. De resultaten van de enquêtes zijn daarmee altijd representatief, hetgeen het panel een sterk punt vindt.
©Hobéon® Certificering⏐ Beoordelingsrapport Generieke Audit NCOI 20 januari 2011, versie 1.0 ⏐ 35
Om strategische zaken met elkaar ‘in te oefenen’, organiseert de afdeling Kwaliteit & Erkenningen voor vaste medewerkers jaarlijks drie zogenaamde carrouseldagen met workshops. Ook houdt de afdeling Kwaliteit & Erkenningen in 2011 interne audits voor alle bestaande opleidingen die niet in de accreditatiefase verkeren. Om de eigen werkwijze en de resultaten daarvan te optimaliseren stelt de afdeling jaarlijks een ISO-managementreview (jaarverslag) op. Het auditteam vindt het verbeterproces van NCOI ‘mean and lean’ en efficiënt; zo worden er van besprekingen geen notulen gemaakt, maar worden geformuleerde verbeteracties direct in de verbetermatrix opgenomen. De verbetermatrix vormt het verbindende document in alle strategische en operationele overleggen. Aandachtspunten van de afdeling Kwaliteit & Erkenningen zijn nog: het (meer) toewijzen van docenten aan opleidingen (formatie per opleiding), waarmee de verbondenheid van docenten met de afzonderlijke opleidingen wordt versterkt. Ook een sterkere focus op de examenresultaten van de opleidingen en de uitkomsten van de docentenevaluaties staan op de rol. Klachtenregeling NCOI kent op instituutsniveau een helder beschreven klachtenregeling. De instelling communiceert deze regeling via de online leeromgeving, maar ook in de Studiegids voor de studenten. De klachtenprocedure voor examinering staat beschreven in de online leeromgeving en de Studiegids. In de OER van iedere opleiding heeft NCOI een artikel opgenomen over het College van Beroep, dat uitspraak doet over geschillen met de examencommissie. Samenvattend, is het auditteam positief over de wijze waarop NCOI heeft voorzien in een systeem van interne kwaliteitszorg. Er is sprake van een zichtbare pdca-cyclus, waarbij aan de hand van toetsbare streefdoelen en een systeem van evaluaties, verbetermaatregelen worden getroffen.
©Hobéon® Certificering⏐ Beoordelingsrapport Generieke Audit NCOI 20 januari 2011, versie 1.0 ⏐ 36
Facet 5.2. Betrekken van medewerkers, studenten, alumni en beroepenveld
Bij de interne kwaliteitszorg zullen medewerkers, studenten, alumni en het afnemend beroepenveld van de opleiding actief worden betrokken
Bevindingen NCOI kent binnen en buiten de organisatie stakeholders waarmee afstemming of overeenstemming wordt gezocht met betrekking tot een opleiding. Hun oordeel vormt de aanleiding tot verbetermaatregelen. Intern zijn dat studenten en docenten. Extern zijn dit voornamelijk vertegenwoordigers van het beroepenveld (kenniscentra, praktijkbegeleiders), de Raden van Advies en alumni. Studenten Studenten evalueren de kwaliteit van iedere module/masterclass, zowel tussentijds als aan het einde van de onderwijseenheid. Het evaluatieformulier wordt in E-Connect (digitale leeromgeving) ingevuld en verwerkt. De respons hierop is groot, omdat de deelname aan de evaluaties voorwaardelijk is voor toegang tot de overige segmenten van de digitale leeromgeving. In het evaluatieformulier wordt de student gevraagd om de docent, het studiemateriaal en de locatie te beoordelen. Deze evaluaties geven inzicht in hoe de studenten de onderwijsinhoud ervaren en de wijze waarop de lessen worden verzorgd. Het panel heeft inzage gehad in voorbeelden van evaluatieformulieren en acht deze adequaat. Daarnaast worden jaarlijks met studenten van iedere opleiding paneldiscussies georganiseerd. Aan de hand van stellingen geven zij hun mening over onder andere de inhoud, de organisatie en de examinering van de opleiding. Het panel heeft notulen van enkele paneldiscussies ingezien die deze gang van zaken en de inhoudelijke betrokkenheid van de studenten bevestigen. Tweejaarlijks wordt een tevredenheidmeting onder alle studenten gehouden. Door dit onderzoek eens in de twee jaar te organiseren, hebben studenten die een hbobacheloropleiding volgen gemiddeld twee keer de mogelijkheid om hun mening over de totale opleiding en organisatie kenbaar te maken. Hbo-masterstudenten doen dit gedurende hun studie eenmaal. In juni 2009 werd de laatste algemene tevredenheidenquête afgenomen onder studenten (evenals onder docenten). Deze evaluatieresultaten, samen met de resultaten uit moduleevaluaties hebben verbeterpunten opgeleverd die besproken zijn in zowel studentpanels (opleidingsvertegenwoordiging) als docentpanels van verschillende opleidingen. Docenten Aan docenten wordt een terugkoppeling gevraagd in de vorm van (tevredenheid)enquêtes en zogenaamde ‘eventverslagen’ over de leerinhoud, de opbouw van de module en het studiemateriaal. De opbrengst hieruit wordt besproken in het vakgroepoverleg (overleg van de kerndocent met docenten, ontwikkelaars, programmamanager). Tevens wordt voor de docenten jaarlijks per opleiding een paneldiscussie gehouden. Aan de hand van stellingen (dezelfde als voor de paneldiscussie met studenten) geven zij hun mening over het volledige programma. De kwalitatieve uitkomsten van deze panels voegen een extra dimensie toe aan de kwantitatieve uitkomsten van de stelselmatige studentevaluaties. Medewerkers Voor alle onderwijsondersteunende medewerkers van NCOI is er een medewerkerstevredenheidsonderzoek (algemeen). De resultaten hieruit worden meegenomen in de verbetercyclus van NCOI.
©Hobéon® Certificering⏐ Beoordelingsrapport Generieke Audit NCOI 20 januari 2011, versie 1.0 ⏐ 37
Werkveld Hogeschool NCOI en de NCOI Business School hebben voor iedere hbo-opleiding een vertegenwoordiging van het beroepenveld in de vorm van een Raad van Advies ingesteld. Indien in een bepaald domein een bachelor- en masteropleiding op elkaar aansluiten, is er een gecombineerde Raad van Advies voor deze opleidingen met aparte focuspunten voor bachelor en master. De Raden van Advies adviseren de opleidingen van NCOI over ontwikkelingen in het beroepenveld en bespreken met het opleidingsmanagement tweemaal per jaar het actualiteitsgehalte van iedere opleiding, hetgeen aanleiding kan geven voor aanpassing van het curriculum. Alumni Er is een alumnivereniging opgericht met een bestuur, dat bestaat uit oud-studenten. NCOI faciliteert deze vereniging en draagt mede zorg voor het organiseren van jaarlijkse evenementen. De vereniging organiseert op dit moment voornamelijk bijeenkomsten voor oudmasterstudenten. Het aantal afgestudeerden van de bacheloropleidingen is nog beperkt, maar de vereniging is voornemens de activiteiten uit te breiden naar de oud-afgestudeerden van alle bacheloropleidingen. Jaarlijks wordt onder afgestudeerden, 12 maanden na het afstuderen, een onderzoek gehouden naar hun ervaringen met de opleiding, de relevantie voor hun werksituatie en de invloed van de opleiding op hun loopbaanperspectief. De alumnus waarmee het auditteam tijdens de audit sprak, was positief over de bijdrage die de opleiding aan zijn ontwikkeling en loopbaanperspectief (andere functie, promotie) heeft geleverd. Het panel dat de generieke audit uitvoerde, heeft kunnen vaststellen dat alle stakeholders die voor de interne kwaliteitszorg van een opleiding van belang zijn, betrokken worden bij de evaluaties. In de door de afdeling Kwaliteit & Erkenningen van NCOI opgestelde evaluatiematrix blijkt wat wordt geëvalueerd met welk doel en wie bij de evaluaties zijn betrokken.
©Hobéon® Certificering⏐ Beoordelingsrapport Generieke Audit NCOI 20 januari 2011, versie 1.0 ⏐ 38
6.
Condities voor continuïteit
Facet 6.1. Afstudeergarantie
De instelling geeft aan studenten de garantie dat het programma volledig kan worden doorlopen
Bevindingen NCOI biedt een afstudeergarantie aan alle studenten voor de looptijd van vier jaar voor een hbo-masterprogramma en een looptijd van zes jaar voor een hbo-bachelorprogramma. Binnen deze termijnen dient het complete opleidingsprogramma te zijn afgerond. Dat wil zeggen dat de opleiding binnen deze termijn moet zijn doorlopen, omdat anders NCOI niet kan garanderen dat afgeronde onderwijseenheden nog geldig zijn binnen het dan geldende curriculum. NCOI heeft in zijn algemene voorwaarden (artikel 8, lid 3) garanties opgenomen voor de nakoming van de levering. De OER (Onderwijs- en Examenregeling) bepaalt een vier-, respectievelijk zesjarige geldigheid van de examenuitslagen.
©Hobéon® Certificering⏐ Beoordelingsrapport Generieke Audit NCOI 20 januari 2011, versie 1.0 ⏐ 39
Facet 6.2. Investeringen
De voorziene investeringen zijn toereikend om de opleiding (inclusief voorzieningen) tot stand te brengen
Bevindingen De masteropleidingen/bacheloropleidingen vormen een van de activiteiten binnen het brede portfolio van NCOI Opleidingsgroep. De volledige planning en organisatie van de opleiding wordt verzorgd vanuit het hoofdkantoor. Op dit hoofdkantoor werken, verspreid over de verschillende afdelingen, zo’n 260 medewerkers. Voor de initiële fase, het ontwerpen en organiseren van de opleiding, investeert NCOI met name in ontwikkelaars/meelezers, denktankbijeenkomsten en kerndocenten. Ook wordt geïnvesteerd in accreditatie en marketingcommunicatie. In het investeringsbeleid gaat NCOI ervan uit dat een nieuwe opleiding in het eerste jaar verlieslatend is. De gezonde financiële situatie van NCOI maakt het mogelijk deze aanloopverliezen te nemen. NCOI heeft de financiële gegevens van NCOI Opleidingsgroep vertrouwelijk inzichtelijk gemaakt aan het panel dat op 20 januari 2011 de generieke audit uitvoerde. Daaruit is de gezonde financiële situatie van de organisatie gebleken en de draagkracht om de exploitatie van de opleiding gedurende tenminste twee jaar te continueren. In aanvulling daarop heeft de directie van NCOI het auditteam schriftelijk verklaard garant te staan voor de continuïteit van de nieuwe opleidingen.
©Hobéon® Certificering⏐ Beoordelingsrapport Generieke Audit NCOI 20 januari 2011, versie 1.0 ⏐ 40
Facet 6.3. Financiële voorzieningen
De financiële voorzieningen voor de gecalculeerde negatieve resultaten zijn voldoende voor dekking van de aanloopverliezen
Bevindingen De financiële voorzieningen voor de gecalculeerde negatieve resultaten zijn voldoende voor dekking van de aanloopverliezen, zo is het panel dat de generieke audit uitvoerde gebleken uit de door NCOI overhandigde bedrijfsgegevens.
©Hobéon® Certificering⏐ Beoordelingsrapport Generieke Audit NCOI 20 januari 2011, versie 1.0 ⏐ 41
©Hobéon® Certificering⏐ Beoordelingsrapport Generieke Audit NCOI 20 januari 2011, versie 1.0 ⏐ 42
4.
BIJLAGEN
©Hobéon® Certificering⏐ Beoordelingsrapport Generieke Audit NCOI 20 januari 2011, versie 1.0 ⏐ 43
©Hobéon® Certificering⏐ Beoordelingsrapport Generieke Audit NCOI 20 januari 2011, versie 1.0 ⏐ 44
BIJLAGE I Programma en gesprekspartners, 20 januari 2011 Tijd
Locatie
Gesprek met
08:15– 09:00 09:00 – 09:15
BCN Utrecht
Vooroverleg auditteam
Thema’s 1
Management NCOI R.A.van Zanten, Alg.Directeur E.Verduyn, Directeur Onderwijs (neemt waar Y.de Heus, Directeur Business School) J.R.H.Elzenaar, Directeur Kwaliteit & Erkenningen A.Cozijnsen, Directeur Onderzoek & Internationalisering M.Kolsteren, Sectordirecteur HBO E.Pardon, Sectordirecteur HBO Management NCOI R.A.van Zanten, Alg.Directeur E.Verduyn, Directeur Onderwijs (neemt waar Y.de Heus, Directeur Business School) J.R.H.Elzenaar, Directeur Kwaliteit & Erkenningen A.Cozijnsen, Directeur Onderzoek & Internationalisering M.Kolsteren, Sectordirecteur HBO E.Pardon, Sectordirecteur HBO
09:15 – 10:00
Kennismaking Vaststellen programma
Doorgevoerde veranderingen sinds januari 2010 Wijzigingen markt, portfolio, relatie beroepenveld t.o.v. 2010 Organisatie, leiderschap, kennis- en verandermanagement Visie op onderwijskwaliteit Validatie en actualisering onderwijsprogramma’s Inrichting Onderzoeksfaculteit en Internationalisering Borging kwaliteit examencommissies, portfolio en werkplekleren, studieduur Kwaliteitszorg, resultaten, verbeterbeleid
10:00 – 10:15 10:15 – 11:15
Intern overleg auditteam Drie Parallelle sessies, auditteam splitst zich Locaties: a. b. c.
Trailonderzoek 2 locatie a. 1. M.Kornelissen, Manager Examinering & Toetsing 2. M.van Aalst, Manager Materiaalontwikkeling en Toetsontwikkeling Locatie b. 1. J.R.H.Elzenaar, Directeur Kwaliteit & Erkenningen 2. J.van Ebbenhorst Tengbergen, Manager Kwaliteit & Erkenningen Locatie c. 1. Irma Kolkman, Opleidingsmanager 2. Hanneke van de Lende, Opleidingsmanager
Borging van de kwaliteit van: Toetsbeleid en uitvoering (a) Evaluaties en verbeterbeleid (b) Validatie programma’s (c)
1
Auditoren: Ruud van der Herberg, Paul Breman, Paul Kop, Stefan Zandbergen, Rob van der Made Tijdens dit onderdeel zijn de managers/medewerkers van de genoemde organisatieonderdelen afzonderlijk bevraagd over de wijze waarop zij de processen binnen hun aandachtsgebied in detail hebben geregeld. Dit is gebeurd via de ‘Mag-ik-dat-even-zien’ MIDEZ-methode, waarbij concreet inzage moet worden gegeven in bijvoorbeeld vastgelegde evaluaties, analyses, genomen maatregelen en de controle op de uitvoering daarvan. 2
©Hobéon® Certificering⏐ Beoordelingsrapport Generieke Audit NCOI 20 januari 2011, versie 1.0 ⏐ 45
Tijd 11:15 – 11:30 11:30 – 12:30
12:30 – 13:00 13:00 – 14:00
14:00 – 15:00
15:00 – 16:00
16:00 – 16:30 16:30
Locatie
Gesprek met Intern overleg auditteam
Thema’s
Programmaontwikkeling Actualisering, internationalisering, onderzoek, werkveldrelevantie Uitvoering personeelsbeleid Uitvoering kwaliteitsbeleid Kwaliteit van de ondersteuning Lunch en intern overleg auditteam (evt. beperkte documentstudie, indien nodig) Toetsbeleid en uitvoering (Selectie van) voorzitters Borging eindniveau examencommissies Positie en rol 1. M. Kornelissen, voorzitter examencommissies examencommissies 2. D. Huckriede, lid EC Business School 3. K. van de Berg, lid EC Management & Organisatie 4. G.Minnaar, lid EC Finance 5. G.Heling, lid EC Business School Validatie programma’s, (Selectie van) leden Raden van Advies werkveldrelevantie 1. J. Box Actualisering, 2. P. Heldeweg internationalisering, 3. G.H. van de Wouw onderzoek 4. J. Kerremans Betrokkenheid bij 5. H. Quak eindniveau 6. F. Brouwers Uitvoering van: (Selectie van) studenten duaal; Toetsbeleid ba/ma; jr. 1 – 4) Verbeterbeleid 1e fase: Borging werkplek 1. Richard Spijker, Bachelor FEM Portfoliobegeleiding 2e fase: Studiebelasting 1. Solena Speet, Bachelor Bedrijfskundig Management 2. Raymond van der Pijl, Bachelor Personeelsmanagement 3. Wendy van sprang, MCC 4. Dennis Strijker, Bachelor Bedrijfskunde 5. Marjan Adema, MBA 3e fase: 1. Patricia Witteveen, Bachelor Communicatie 4e fase: 1. Marjolein Gabriëls, Bachelor CE Selectie van (kern)docenten en alumni (een brede selectie uit alle domeinen), inclusief portfoliobegeleiders 1. A.Olsthoorn, Kerndocent Master 2. J.W.Rengelink,Kerndocent Bachelor 3. J.Engelaer, Kerndocent Bachelor 4. F. Vos, portfoliobegeleider 5. W. Scheurwater, portfoliobegeleider 6. B. Grefkens, alumnus
2. Antoinette Boleij, Bachelor CE Oordeelvormend overleg auditteam Terugkoppeling op hoofdlijnen
©Hobéon® Certificering⏐ Beoordelingsrapport Generieke Audit NCOI 20 januari 2011, versie 1.0 ⏐ 46
BIJLAGE II Curricula Vitae en onafhankelijkheidsverklaringen Drs. R.B. (Ruud) van der Herberg – lead auditor De heer Van der Herberg was jarenlang eindverantwoordelijk schoolleider in het voortgezet onderwijs (Minkema College). Hij heeft daar ruime ervaring opgedaan met bestuurlijke verzelfstandiging, fusieprocessen, convenanten en sponsorcontracten tussen vmbo en brancheorganisaties, personeelsbeleid en kwaliteitszorg. Als externe deskundige is hij betrokken bij audits (Platform Bèta Techniek) en visitatieprocessen in het speciaal voortgezet onderwijs en voortgezet onderwijs. Tevens maakt hij deel uit van de Stuurgroep opleiden in de school’. Bij Hobéon zet hij zich sinds 2007 als senior adviseur in bij de accreditatie onderzoeken die worden uitgevoerd in het hoger beroepsonderwijs. Daarnaast adviseert hij het voortgezet onderwijs, o.a. op basis van zijn specifieke kennis van dit type onderwijs. Dr. P. (Paul) Breman – vak- en werkvelddeskundige Paul Breman behaalde zijn doctoraal in (organisatie)sociologie in 1982 aan de Rijksuniversiteit Leiden en zijn doctoraat in de bedrijfskunde (1998) aan Henley Management College/Brunel University in de UK. Breman is lector Organiseren van Innovatie aan de Hogeschool Utrecht en tevens senior-organisatieadviseur bij Twynstra Gudde, alwaar hij betrokken is/was bij uiteenlopende adviestrajecten, ondermeer op het gebied van strategieontwikkeling, bestuursadvisering, fusiebegeleiding, organisatiedoorlichting en organisatiestructurering en – verandering en HR-strategie. Daarnaast is Breman als afstudeerbegeleider MSc verbonden aan de Open Universiteit, als docent aan het Institute for Social Studies te Paramaribo (ten behoeve van de Master of Public Administration) en als second supervisor Doctoral Studies aan Henley Business School of Reading University, UK. Ook heeft hij diverse publicaties op zijn naam staan, ondermeer op het gebied van sociale innovatie, organisatiecultuur en –ontwikkeling en competentiemanagement. Breman heeft in het verleden bij verschillende hogescholen accreditatietrajecten begeleid. Sinds oktober 2009 heeft Breman deel uitgemaakt van diverse auditteams, met name voor de beoordeling van bedrijfskundig georiënteerde opleidingen. Drs. P.C.G.J. (Paul) Kop – organisatiedeskundige Paul Kop volgde na het gymnasium in Voorburg de doctoraalstudie psychologie aan de Universiteit van Amsterdam. In 1976 kwam hij in dienst bij het Ministerie van Binnenlandse Zaken in Den Haag, waar hij tot 1982 als selectiepsycholoog bij de Rijkspsychologische Dienst actief was. Van 1982 tot 1989 werkte Kop voor de PA Consulting Group London, als manager van de 25koppige Human Resource Group Benelux. In 1989 werd hij eigenaar en partner van het adviesbureau Heemstra & Kop in Hoofddorp, dat zich richtte op beloningsmanagement en kwaliteitsmanagement. Vanaf 1998 is Paul Kop directeur/eigenaar van zowel Lagerweij & Partners (assessmentbureau, 30 medewerkers) als Kop & Partners, dat zich bezighoudt met coaching, outplacement en reintegratie. Een belangrijke activiteit is het coachen van topmanagement (Top Executive Coaching). Sinds 2010 is Paul Kop Lector Talentmanagement aan de faculteit Toegepaste Psychologie van de Hogeschool Leiden. Hij bekleedt daarnaast een aantal bestuurlijke functies in onderwijs, jeugdhulpverlening en welzijn. Paul Kop publiceert, voornamelijk op het gebied van personeelsmanagement (Gids voor Personeelsmanagement, Methoden en Technieken en Analyses – Kluwer, Handboeken voor Personeelsmanagement).
©Hobéon® Certificering⏐ Beoordelingsrapport Generieke Audit NCOI 20 januari 2011, versie 1.0 ⏐ 47
S. (Stefan) Zandbergen, student, volgt als vierdejaars de hbo-studie toegepaste psychologie aan de voltijdse opleiding van de Hogeschool Leiden. Na het behalen van zijn vwo-diploma (2000), volgde hij verschillende hbo-opleidingen, waaronder HBO Small Business & Retail Management en HBO Bedrijfseconomie. Van 20062007 volgde hij de opleiding tot officier luchtverkeersleiding aan de Koninklijke Militaire Academie om vanaf 2007 in te stromen in de hbo-opleiding Toegepaste Psychologie. Als psychologisch medewerker (testassistent) werkt hij naast zijn studie bij Vijlbrief P&O. H.R. (Rob) van der Made – secretaris, is als docent Communicatie en Engels geruime tijd werkzaam geweest in het voortgezet onderwijs en hoger beroepsonderwijs, bij zowel bekostigde als niet-bekostigde instellingen. Aan de lerarenopleiding Utrecht is hij betrokken geweest bij de ontwikkeling van trainingen en nascholingsprogramma’s voor docenten VO. Hij maakte enkele jaren een uitstap naar regionale media, waar hij o.m. het directeur/hoofdredacteurschap bekleedde van een media-/omroepbedrijf. Als onderwijsmanager heeft hij deel uitgemaakt van het management van een particuliere hogeschool en was in hij die hoedanigheid ondermeer verantwoordelijk voor ontwikkeling, accreditatie en uitvoering van opleidingen Bedrijfskunde, MER en IBMS. Van der Made is sinds 2009 werkzaam bij Hobéon Certificering als senior-adviseur. Inmiddels heeft hij bij diverse accreditatietrajecten de rol van secretaris vervuld en is hij door de NVAO als secretaris gecertificeerd.
©Hobéon® Certificering⏐ Beoordelingsrapport Generieke Audit NCOI 20 januari 2011, versie 1.0 ⏐ 48
©Hobéon® Certificering⏐ Beoordelingsrapport Generieke Audit NCOI 20 januari 2011, versie 1.0 ⏐ 49
©Hobéon® Certificering⏐ Beoordelingsrapport Generieke Audit NCOI 20 januari 2011, versie 1.0 ⏐ 50
©Hobéon® Certificering⏐ Beoordelingsrapport Generieke Audit NCOI 20 januari 2011, versie 1.0 ⏐ 51
©Hobéon® Certificering⏐ Beoordelingsrapport Generieke Audit NCOI 20 januari 2011, versie 1.0 ⏐ 52
©Hobéon® Certificering⏐ Beoordelingsrapport Generieke Audit NCOI 20 januari 2011, versie 1.0 ⏐ 53
©Hobéon® Certificering⏐ Beoordelingsrapport Generieke Audit NCOI 20 januari 2011, versie 1.0 ⏐ 54
BIJLAGE III Werkwijze, beoordelingsprocedure en beslisregels Werkwijze en beoordelingsprocedure Werkwijze Bij de beoordeling van de facetten die NCOI voor alle opleidingen op een generieke wijze heeft georganiseerd en geborgd, is uitgegaan van het door de NVAO vastgestelde “Toetsingskader nieuwe opleidingen hoger onderwijs”. Daarin staan de onderwerpen en facetten vermeld waarop een VBI zich bij de beoordeling van een nieuwe opleiding moet richten. Beoordelingsprocedure De beoordelingsprocedure van Hobéon Certificering kent twee hoofdmomenten: 1 Documentenanalyse Het gaat hier om een analyse en beoordeling van de door NCOI aangeleverde schriftelijke informatie: zie Bijlagen IV en V. Op basis van de door NCOI aangeleverde documentatie, heeft het auditteam zich een beeld kunnen vormen van de wijze waarop NCOI voor alle hbo-opleidingen een aantal facetten uit het vigerende beoordelingskader generiek heeft georganiseerd. 2 Audit De audit was gericht op een actieve ‘controle’ door middel van een visitatie3, uitgevoerd door een auditteam bestaande uit twee organisatiedeskundigen, een student van een hbo-opleiding, een voorzitter en een secretaris vanuit Hobéon Certificering. Onder ‘controle’ moet hier worden verstaan, dat het auditteam op verschillende niveaus (management, coördinatie, examencommissies, docenten, studenten, staf) heeft getoetst (i) of de in de documentatie beschreven beleidsvoornemens en de daaraan gerelateerde uitvoeringsprocessen zijn geïmplementeerd en (ii) of de overige in de documentatie vervatte informatie verifieerbaar is. Deze verificatie door het auditteam geschiedde enerzijds door, zoals hierboven reeds is aangegeven, meerdere malen hetzelfde onderwerp met verschillende geledingen te bespreken en anderzijds aan de hand van additionele documentatie en -daar waar het de huisvesting en de materiële voorzieningen betreft- ook door eigen waarneming. Aldus had het auditteam voldoende instrumenten om zich op gedetailleerd niveau op de hoogte te stellen van inhoud, opzet, uitvoering en resultaten van die facetten uit het beoordelingskader die NCOI generiek regelt en borgt, alsook van de daarmee samenhangende personele, organisatorische, materiële en ruimtelijke voorzieningen. Het auditteam heeft op deze wijze alle relevante facetten uit het NVAO-Accreditatiekader beoordeeld, en daarbij aangegeven op welke (onderdelen van) facetten de afzonderlijke opleidingsaudits zich zullen richten. Een en ander werd vastgelegd in een conceptrapport dat aan NCOI werd voorgelegd voor een toets op eventuele feitelijke onjuistheden. Het uiteindelijke oordeel per facet/onderwerp, waarbij sommige (onderdelen van) facetten al volledig tijdens de generieke audit konden worden beoordeeld, maar andere facetten eerst in de opleidingsaudit, staat vermeld in de opleidingsrapporten.
Beslisregels 3
Visitatie heeft op 20 januari 2011 plaatsgevonden.
©Hobéon® Certificering⏐ Beoordelingsrapport Generieke Audit NCOI 20 januari 2011, versie 1.0 ⏐ 55
Volgens de NVAO-Beslisregels Accreditatie kunnen onderwerpen en facetten slechts ‘onvoldoende’ of ‘voldoende’ scoren. Voor een positief advies is een voldoende op onderwerpniveau vereist. Met dit als uitgangspunt, heeft Hobéon onderstaande beslisregels toegepast. Onderwerp A. Een onderwerp scoort ‘voldoende’, indien alle facetten van dat onderwerp ‘voldoende’ hebben gescoord of indien één facet van dat onderwerp ‘onvoldoende’ en de overige ‘voldoende’ hebben gescoord, mits een acceptabel verbeterplan beschikbaar is voor het facet met de score ‘onvoldoende’. B. Een onderwerp scoort ‘onvoldoende’, indien één facet van dat onderwerp ‘onvoldoende’ heeft gescoord en voor dit facet geen acceptabel verbeterplan beschikbaar is. C. Een onderwerp scoort ‘onvoldoende’, indien meer dan één facet van dat onderwerp ‘onvoldoende’ heeft gescoord, ongeacht of er voor die facetten acceptabele verbeterplannen zijn.
©Hobéon® Certificering⏐ Beoordelingsrapport Generieke Audit NCOI 20 januari 2011, versie 1.0 ⏐ 56
BIJLAGE IV Geraadpleegde documenten
Zelfreflectie NCOI ISO 9001 – auditrapporten 2008 en nov. 2010 ISO Management review 2010 Labelplan Hogeschool NCOI Labelplan NCOI Business School Nidap Naamsbekendheid en imago-onderzoek NCOI 2009-2010 Presentaties visie- en beleidsbijeenkomsten NCOI-management Beleidsdocumenten internationalisering, onderwijs, onderzoek, personeel en voorzieningen Agenda’s en notulen bijeenkomsten Raden van Advies Diverse formats evaluaties Profielbeschrijving leden Raden van Advies Verslagen van diverse studentenvertegenwoordigingen Verbetermatrix december 2009 en update van december 2010 Diverse documenten met betrekking tot de inrichting van de NCOI-organisatie Overzicht bezetting examencommissies, overzicht taken examencommissies Verslagen van bijeenkomsten examencommissies Voorbeeld examenreglement Reglement College van Beroep
©Hobéon® Certificering⏐ Beoordelingsrapport Generieke Audit NCOI 20 januari 2011, versie 1.0 ⏐ 57
©Hobéon® Certificering⏐ Beoordelingsrapport Generieke Audit NCOI 20 januari 2011, versie 1.0 ⏐ 58
BIJLAGE V Zelfreflectie van NCOI Het Zelfreflectiedocument is als separate bijlage aan dit rapport toegevoegd.
©Hobéon® Certificering⏐ Beoordelingsrapport Generieke Audit NCOI 20 januari 2011, versie 1.0 ⏐ 59