Fontys Hogescholen Opleiding: Varianten:
Bedrijfskundige Informatica voltijd en deeltijd
Visitatiedata: 15 en 16 april 2004 Aanvullend bezoek: 1 september 2005
© NQA (Netherlands Quality Agency) Utrecht, september 2005
2
© NQA – Fontys Hogeschool, opleiding Bedrijfskundige Informatica
Inhoud
3
Deel A:
Onderwerpen 1.1 Voorwoord 1.2 Inleiding 1.3 Werkwijze 1.4 Oordeelsvorming 1.5 Oordelen per onderwerp 1.6 Schematisch overzicht oordelen 1.7 Totaaloordeel
5 7 7 8 10 10 14 14
Deel B:
Facetten Onderwerp 1 Onderwerp 2 Onderwerp 3 Onderwerp 4 Onderwerp 5 Onderwerp 6
15 17 19 28 30 32 35
Deel C:
Doelstellingen van de opleiding Programma Inzet van personeel Voorzieningen Interne kwaliteitszorg Resultaten
Bijlagen Bijlage 1 Onafhankelijkheidsverklaring panelleden Bijlage 2 Beknopte CV Panelleden Bijlage 3 De zelfevaluatie in verband met NVAO accreditatie Vragen en Aanwijzingen Bijlage 4 Beoordelingsprotocol van NQA Bijlage 5 Handreiking voor oordeelsvorming
© NQA - Fontys Hogeschool, opleiding Bedrijfskundige Informatica
39 41 43 49 67 85
3
4
© NQA – Fontys Hogeschool, opleiding Bedrijfskundige Informatica
Deel A: Onderwerpen
© NQA - Fontys Hogeschool, opleiding Bedrijfskundige Informatica
5
6
© NQA – Fontys Hogeschool, opleiding Bedrijfskundige Informatica
Deel A: Onderwerpen
1.1
Voorwoord
In dit rapport doet het panel dat in opdracht van NQA de opleiding Bedrijfskundige Informatica van Fontys Hogescholen heeft gevisiteerd, verslag van zijn werkwijze, bevindingen en conclusies. Het onderzoek vond plaats in het kader van de accreditatie van hogere beroepsopleidingen. Het onderzoek is feitelijk gestart in maart 2004, het moment waarop de opleiding haar zelfevaluatierapport bij de NQA aanleverde. Een visitatiebezoek vond plaats op donderdag 15 en vrijdag 16 april en werd uitgevoerd door een panel dat bestond uit de volgende personen: De heer ing. Msc. A.A. Vreven (voorzitter) De heer ir. H. Wagter (domeindeskundige) Mevrouw ing. F.M. Eyffinger (student-lid) Mevrouw drs. L. Ravestein (NQA-auditor) Dit panel voldoet aan de eisen zoals gesteld in het document Vragen en Aanwijzingen van NQA. Het panel beschikt over domeinspecifieke deskundigheid, onderwijs- en auditdeskundigheid en deskundigheid over de internationale ontwikkelingen van de discipline (zie bijlage 2 bij dit rapport). Het rapport bestaat uit drie delen: • deel A: een hoofdrapport, het onderwerprapport, waarin de oordelen van het panel over de basiskwaliteit van de opleiding op onderwerpniveau worden uitgesproken en de overwegingen waarop die oordelen zijn gebaseerd. Het gaat hier om oordelen in de gradatie positief/negatief. Tevens wordt hier het eindoordeel geformuleerd. • deel B: een detailrapport waarin op facetniveau door het panel oordelen en argumenten ter onderbouwing van dat oordeel worden gegeven. De oordelen gaan hier uit van de vierpuntsschaal zoals die door de NVAO is voorgeschreven. Dit detailrapport vormt de basis van het Onderwerprapport. • deel C: hierin zijn alle relevante bijlagen opgenomen. 1.2
Inleiding
De Fontys Hogeschool Informatica (FHI) is opgericht in januari 2000 en is voortgekomen uit een Fontysbrede reorganisatie, waarbij de opleiding Hogere Informatica (HI) uit het technische domein is samengevoegd met de opleiding Bedrijfskundige Informatica (BI) uit het economische domein. Met de opleiding Technische Informatica van de Fontys Hogeschool Electrotechniek werkt de FHI nauw samen. De FHI leidt op tot praktijkgerichte, brede bachelors voor functies variërend van programmeur en embedded software engineer (Informatica, die parallel gevisiteerd is
© NQA - Fontys Hogeschool, opleiding Bedrijfskundige Informatica
7
door een ander panel van NQA) en tot beheerder applicaties en informatiesystemen (Bedrijfskundige Informatica). De opleiding BI wordt in twee varianten aangeboden: een voltijdopleiding en een deeltijdopleiding. De faculteitsdirectie van de FHI wordt bijgestaan door vier opleidingscoördinatoren, waaronder één voor de voltijdopleiding BI en één voor de deeltijdopleidingen BI en HI. In 2002-2003 kent de voltijdopleiding 315 en de deeltijdopleiding 96 ingeschreven en bekostigde studenten. De totale personeelsformatie bedraagt 9,09 fte (19 docenten) voor de voltijdopleiding en 2,02 fte (17 docenten) voor de deeltijdopleiding. Ongeveer de helft van de docenten van de voltijd- is betrokken bij de deeltijdopleiding, zij het voor een beperkt deel van de aanstelling. In de zojuist genoemde kengetallen is alleen de expliciete inzet binnen de deeltijd (het uitvoeren van het onderwijs) expliciet aan de deeltijd toegerekend. De student-fte-ratio in de voltijd bedraagt formeel 29 en in de deeltijd 47,5. Doordat voltijddocenten ‘uitgeleend’ worden aan andere opleidingen (er is een overformatie), ligt deze waarde in werkelijkheid lager voor de voltijd- en hoger voor de deeltijdopleiding. Het curriculum van de beide varianten is inhoudelijk grotendeels hetzelfde, maar is qua opzet verschillend. Vanaf 2000 is projectonderwijs, vooral in de voltijdopleiding, kenmerkend voor de didactische vernieuwingen. In 2003 is er een pilot gestart met competentiegericht en vraaggestuurd onderwijs. Vanaf augustus 2004 biedt de opleiding een afstudeerrichting multimediadesign (CMD) aan. 1.3
Werkwijze
De visitatie van de opleiding BI door het panel heeft plaatsgevonden conform de werkwijze zoals die is neergelegd in het beoordelingsprotocol van NQA (zie bijlage 4) en die hieronder meer in concreto wordt beschreven. Dit houdt tevens in dat het panel heeft vastgesteld dat het zelfevaluatierapport plus de bijlagen en de aanvullende informatie een voldoende basis bood voor het visitatiebezoek en dat de visitatie plaats vond op basis van het voor de BI geldende domeinspecifieke referentiekader (zie hieronder). NQA onderscheidt drie fasen in het visiteren: de voorbereidingsfase, het eigenlijke visitatiebezoek en de rapportagefase. Hieronder volgt een korte toelichting per fase. De voorbereidingsfase Allereerst heeft de NQA-auditor het zelfevaluatierapport gecheckt op kwaliteit en compleetheid (de screening) en daarmee op bruikbaarheid voor de visitatie. Nadat het zelfevaluatierapport in orde was bevonden, zijn de panelleden zich inhoudelijk gaan voorbereiden op het bezoek. Zij lazen het zelfevaluatierapport (en bijlagen), formuleerden in een Beoordelingsformat voorlopige oordelen op basis van argumenten en zij formuleerden vraagpunten die doorgegeven werden aan de NQA-auditor. Hoewel ieder panellid alle onderwerpen en facetten onder de loep nam, is er sprake geweest van een taakverdeling, waarbij bepaalde onderwerpen en facetten door een bepaald panellid extra grondig bestudeerd zijn. Op basis van een overzicht van voorlopige oordelen inventariseerde de NQA-auditor tenslotte kernpunten en prioriteiten voor
8
© NQA – Fontys Hogeschool, opleiding Bedrijfskundige Informatica
materialenonderzoek en gesprekken. Tijdens een voorbereidende vergadering is het visitatiebezoek concreet voorbereid. De opleiding heeft in haar zelfevaluatierapport kenbaar gemaakt voor welk domeinspecifiek referentiekader zij kiest. De NQA-auditor heeft met de domeindeskundige(n) in het panel bekeken of sprake is van adequate domeinspecifieke doelstellingen, of dat nadere aanvulling dan wel nadere specificatie nodig is. In het detailrapport is aangegeven op welke landelijke beroeps- en opleidingsprofielen het domeinspecifieke kader (en het opleidingsprogramma) is gebaseerd. Het visitatiebezoek NQA heeft een Raamwerk bezoekprogramma ontwikkeld voor de (dag-)indeling van het visitatiebezoek dat is aangepast aan de specifieke situatie van de opleiding. Tijdens het visitatiebezoek is gesproken met (een representatieve) vertegenwoordiging van: docenten, studenten, werkveld en afgestudeerden. Daarnaast vonden er aan het begin en aan het eind van het visitatiebezoek gesprekken plaats met het management van de opleiding (het operationeel management). Ook vond er, voor meer opleidingen tegelijk, een gesprek plaats met het College van Bestuur (het strategisch management) en een functionaris van de centrale staf. Aan het begin van het bezoek is er ter inzage gevraagd materiaal bestudeerd. In het raamwerk bezoekprogramma kende het ochtendprogramma een vaste structuur, maar was het middagprogramma ‘vrij’. In deze tijd heeft het panel zogenaamde ‘schakelmomenten’ ingelast om de bevindingen uit te wisselen en te komen tot gezamenlijke en meer definitieve (tussen-)oordelen. De bevindingen zijn, volgens de afgesproken taakverdeling, door ieder panellid, schriftelijk beargumenteerd. Aan het einde van het bezoek heeft de voorzitter een mondelinge terugkoppeling aan het management gegeven van de bevindingen van het panel, zonder expliciete oordelen uit te spreken. In september 2005 heeft een vervolgbezoek plaatsgevonden teneinde vragen van de NVAO (geformuleerd in de brief van 30 mei 2005) te beantwoorden. Aan het gesprek namen deel het opleidingsmanagement van Fontys en de voorzitter en NQA-auditor van het panel. Het deelpanel heeft tijdens het bezoek eveneens documentatie betreffende openstaande punten (gericht op de deeltijdvariant) beoordeeld. De fase van rapporteren De NQA-auditor heeft, op basis van de bevindingen van het panel, een conceptrapportage opgesteld en die voorgelegd aan de panelleden. Het panel heeft vervolgens het definitieve concept vastgesteld. In het visitatie- of beoordelingsrapport is expliciet ingegaan op de verschillende varianten en/of locaties. Het definitieve conceptrapport is aan de opleiding voorgelegd ter correctie van feitelijke onjuistheden. Het visitatie- of beoordelingsrapport is uiteindelijk ter beschikking gesteld aan de opleiding die het samen met de accreditatieaanvraag kan indienen bij de NVAO.
© NQA - Fontys Hogeschool, opleiding Bedrijfskundige Informatica
9
De aanvullende teksten op basis van het bezoek van 1 september 2005 zijn aan het oorspronkelijke rapport toegevoegd conform de reguliere procedure (het hele panel heeft geaccordeerd en de opleiding heeft (feitelijk) gecorrigeerd). 1.4
Oordeelsvorming
In dit hoofdstuk wordt per onderwerp een oordeel uitgesproken op basis van weging van de facetten die van dat onderwerp deel uitmaken. De tekst betreft steeds zowel de voltijd- als de deeltijdopleiding, behoudens de passages waarin expliciet is aangegeven dat deze alleen betrekking hebben op één van beide varianten. Grotendeels wordt de deeltijdse variant dus meegenomen in de beschrijving van de voltijdse. De tekst gaat alleen expliciet in op de deeltijdvariant als deze qua werkwijze of omstandigheden opmerkelijk afwijkt van de voltijdvariant. In de oordelen per onderwerp wordt steeds een herhaling gegeven van de oordelen op de facetten gevolgd door een weging die leidt tot het eindoordeel. Bij deze weging spelen de beslisregels zoals die door de NQA in het beoordelingsprotocol (zie bijlage) zijn geformuleerd en nader uitgewerkt in de notitie (zie bijlage 5) een belangrijke rol. Tevens is bij de beoordeling rekening gehouden met accenten die de opleiding eventueel legt, het domeinspecifieke kader en een vergelijking met twee andere Informatica-opleidingen op een aantal aspecten. Het eindoordeel is voorzien van een aanvullende tekst als er sprake is van: • weging van de oordelen op facetniveau; • benchmarking (vergelijking met externe kengetallen); • generieke bevindingen die het facetniveau overschrijden; • bepaalde accenten respectievelijk ‘best practices’. Naast de benchmarking bij onderwerp 6 op landelijke kengetallen wordt de opleiding bij de onderwerpen 1 en 6 specifiek een vergeleken met twee opleidingen die ongeveer gelijktijdig door NQA gevisiteerd zijn (voor het gemak aangeduid met opleiding Y en opleiding X). Tevens dient vermeld te worden dat een internationale vergelijking niet mogelijk is, omdat een dergelijke opleiding in het buitenland geen pendant heeft.
1.5
Oordelen per onderwerp
1.5.1 Doelstellingen opleiding De facetten ‘Niveau bachelor’ en ‘Domeinspecifieke eisen’ en ‘Oriëntatie hbo-bachelor’ zijn met een voldoende beoordeeld. Het oordeel op het onderwerp is derhalve positief. De beoordeling op de drie facetten van dit onderwerp komt grotendeels overeen met die van de andere twee BI-opleidingen. Bij alle opleidingen vormen de algemene en specifieke beroepsgerichte competenties uit het landelijk opleidingsprofiel, zoals geformuleerd in Beroeps- en opleidingsprofiel HBO-I, 2000 de ijkpunten voor de curricula. Positief is de wijze van validering door het HBO-I platform en vertegenwoordigers van het (internationale) beroepenveld. Ook uit eigen arbeidsmarktonderzoeken en
10
© NQA – Fontys Hogeschool, opleiding Bedrijfskundige Informatica
beroepenveldcommissies blijkt dat er sprake is van aansluiting van de beoogde eindkwalificaties met de start- en doorgroeifuncties waarvoor wordt opgeleid. Bij de drie opleidingen is in verschillende mate sprake van een overgangssituatie tussen (oude) eindtermen en (nieuwe) competenties. Ook wordt er in verschillende mate gewerkt met eigen inkleuring door middel van keuzevakken (geëxpliciteerd in aanvullende competenties). Bij twee opleidingen wordt (naar de mening van de panels en de opleidingen) in het beroeps-en opleidingsprofiel nog onvoldoende expliciet rekening gehouden met internationale ontwikkelingen in het domein. 1.5.2 Programma. Op vrijwel alle tot dit onderwerp behorende facetten is het oordeel voldoende toegekend. Alleen het facet ‘Duur’ is als goed beoordeeld. Het oordeel op het onderwerp is derhalve positief. 1.5.3 Inzet van personeel De drie facetten van onderwerp 3: ‘Eisen hbo, ‘Kwantiteit personeel’ en ‘Kwaliteit personeel’ zijn met een voldoende beoordeeld. Het oordeel op dit onderwerp is derhalve positief. 1.5.4 Voorzieningen De beide facetten ‘Materiële voorzieningen’ en ‘Begeleiding’ zijn als voldoende beoordeeld. Het oordeel op het onderwerp is derhalve positief. 1.5.5 Interne kwaliteitszorg. Op alle drie de facetten van dit onderwerp is voor de voltijdopleiding een voldoende gegeven. Voor de deeltijdopleiding heeft het eerste facet een onvoldoende, doordat er sprake is van te weinig systematische aandacht voor kwaliteitsmetingen. Het verbeterbeleid is, met name in de kleine organisatie met een informele cultuur, wel voldoende beoordeeld evenals de betrokkenheid van de diverse geledingen bij de kwaliteitszorg (het tweede en het derde facet). Het oordeel op dit onderwerp is derhalve positief. 1.5.6 Resultaten. Op beide facetten, namelijk ‘Onderwijsrendement’ en ‘Gerealiseerd niveau’ heeft de deeltijdopleiding een voldoende. De voltijdopleiding heeft voor het eerste facet een onvoldoende. De onvoldoende voor het eerste facet heeft vooral te maken met het systeem van borging van het rendement. Het behaalde rendement (qua slagingspercentage) is echter aanvaardbaar. Als gevolg van deze positieve nuancering gaat het niet om een zeer uitgesproken onvoldoende. Daarnaast is het panel van mening dat de gerealiseerde eindkwalificaties, het tweede facet, gehaald worden qua niveau, oriëntatie en domeinspecifieke eisen. Tenslotte geeft NQA aan (zie notitie NQA in bijlage 5) dat dit laatste (kwalitatieve) facet in tegenstelling tot het eerste (kwantitatieve) facet relatief iets meer gewicht heeft in het totaaloordeel. Op basis hiervan wordt het eindoordeel op dit onderwerp ook positief.
© NQA - Fontys Hogeschool, opleiding Bedrijfskundige Informatica
11
Hieronder vergelijkt NQA, op basis van diverse bronnen, de opleiding met het landelijk beeld op het punt van behaalde rendementen en met de twee andere BI-opleidingen op het punt van de gehanteerde streefnormen. CRIHO-gegevens De opleiding wordt hieronder vergeleken op basis van gegevens die via de website van de HBO-raad beschikbaar zijn (CRIHO). In tabel 1a en 1b worden de gegevens met betrekking tot rendement, uitval en gemiddelde studieduur van de opleiding vergeleken met die van het landelijk gemiddelde (respectievelijk voor de voltijd- en de deeltijdopleidingen). Tabel 1a: Gegevens BI (Fontys, voltijd) versus landelijk voltijd (instroomcohort eerste keer hogeschool) Percentage diploma behaald na 5 jaar
Opl. Land. gem. Gemiddelde studieduur Opl. Land. van gediplomeerden gem. uitstroomcohort jaar x (in maanden) Percentage uitval na 1 Opl. Land. jaar gem Gemiddelde studieduur Opl. Land. studiestakers in gem. maanden van het uitstroomcohort in jaar x (in maanden)
1994 1995 1996 1997 1998 1999 51,8 52,4 58,3 48,3 38,2 48,3 44,0 46,4 45,1 44,0
2000
2001
2002
gem. 49,8 45,6
41,8 47,5
48,8 46,4
49,7 47,6
45,7 48,5
51,6 49,9
47,1 48
30,4 31,7
33,9 35,0
39,3 41,7
33,6 34,6
28,7 32,5
33,2 35,1
21,2 17,3
17,4 17,7
16,5 16,7
17,6 17,7
22,8 20,7
19,1 18
1994 1995 1996 1997 1998 1999 50,0 33,3 9,1 4,2 25,5 28,0 30,2 32,8 25,6 27,9
2000
2001
2002
gem. 24,4 28,8
48,2 * 47,1 (46,4)
61,7 39,7
53,3 42,6
56,7 45,2
54,9 43,6
23,4 39,3
40,0 50,4
45,5 48,3
48,6 58,4
43,6 33
40,2 45,9
17,9 18,6
19,9 17,3
27,1 19,0
24,3 17,1
28,7 23,5
23,6 19,1
Tabel 1b: Gegevens BI (Fontys, deeltijd) versus landelijk deeltijd (instroomcohort eerste keer hogeschool) Percentage diploma behaald na 5 jaar
Opl. Land. gem. Gemiddelde studieduur Opl. Land. van gediplomeerden gem. uitstroomcohort jaar x (in maanden) Percentage uitval na 1 Opl. Land. jaar gem Gemiddelde studieduur Opl. Land. studiestakers in gem. maanden van het uitstroomcohort in jaar x (in maanden)
*Gemiddelde studieduur gediplomeerden van uitstroomjaar 1999 is voor de opleiding onbekend; landelijk wordt dit percentage bij het gemiddelde van alle percentages (laatste kolom) niet meegerekend.
12
© NQA – Fontys Hogeschool, opleiding Bedrijfskundige Informatica
Uit tabel 1a blijkt dat het rendement van de voltijdopleiding BI (van de cohorten 94 tot en met 98) na vijf jaargemiddeld boven het landelijk gemiddelde ligt. Ook behalen studenten BI van Fontys (van de cohorten 98 tot en met 02) iets eerder hun diploma dan gemiddeld. Verder laat de tabel zien dat aan de Fontys Hogescholen minder studenten BI dan gemiddeld na één jaar zijn gestopt met hun studie. Tegelijkertijd staken studiestakers gemiddeld gesproken iets later hun studie dan gemiddeld. Uit tabel 1b blijkt dat het rendement van de deeltijdstudenten BI (van de cohorten 94 tot en met 98) bij Fontys Hogescholen lager is dan het landelijke gemiddelde. Ook behalen deeltijdstudenten BI (over de cohorten 98 tot en met 02) hun diploma later. Het percentage uitvallers is gemiddeld minder dan het landelijk gemiddelde, maar zij staken wel later hun studie. In het detailrapport staat bij facet 6.1 vermeld dat deze rendementen weinig betrouwbaar zijn, gezien de opzet van de deeltijd in deelopleidingen (met deelcertificaten). Zelfevaluatierapporten De opleiding hanteert, zoals al is genoemd, slechts zeer beperkt streefcijfers. NQA heeft ze vergeleken met twee andere BI-opleidingen (voorzover bekend uit de zelfevaluatierapporten). Tabel 2: Recente streefcijfers van de BI (Fontys) versus opleiding Y en opleiding X afgezet tegen behaalde landelijk resultaten (zie laatste kolommen tabel 1a en 1b) Streefnormen
Fontys
Opleiding Y
Opleiding X
Uitvalpercentage propedeuse
grootste deel totale uitval 10 *
* 5 *
30 (vt) 40 (dt) 10 *
mbo-student < 4 jaar *
48 maanden
*
1,3 jaar
1,25 (vt) 1,5 (dt)
Uitvalpercentage hoofdfase Percentage diploma behaald na 5 jaar (per cohort) Gemiddelde studieduur geslaagden Gemiddelde studieduur studiestakers
land. gem. (laatste kolom tabel 1) 35,1(vt) 45,9 (dt) 45,6 (vt) 28,8 (dt) 48 maanden (vt) 43,6 maanden (dt) 1,5 (vt) 1,6 (dt)
* Hier is sprake van geen of anders geformuleerde (niet te vergelijken) streefnormen Uit tabel 2 blijkt dat er met name bij de opleiding BI Fontys Hogescholen in beperkte mate en op algemene wijze geformuleerde streefnormen geformuleerd zijn. Hierdoor kan moeilijk bepaald worden in hoeverre deze streefnormen realistisch zijn. Voor alle opleidingen valt op dat streefnormen voor slagingspercentages (diploma behaald na vijf jaar) ontbreken.
© NQA - Fontys Hogeschool, opleiding Bedrijfskundige Informatica
13
1.6
Schematisch overzicht Oordelen
Tabel 3 biedt een totaaloverzicht van de oordelen op facet- en onderwerpniveau. Bedrijfskundige Informatica Fontys Onderwerp/Facet Voltijd Doelstellingen 1.1 1.2 1.3 Totaaloordeel Programma 2.1 2.2 2.3 2.4 2.5 2.6 2.7 2.8 Totaaloordeel Personeel 3.1 3.2 3.3 Totaaloordeel Voorzieningen 4.1 4.2 Totaaloordeel Kwaliteitszorg 5.1 5.2 5.3 Totaaloordeel Resultaten 6.1 6.2 Totaaloordeel
1.7
Deeltijd
V V V Positief
V V V Positief
V V V V V G V V Positief
V V V V V G V V Positief
V V V Positief
V V V Positief
V V Positief
V V Positief
V V V Positief
O V V Positief
O V Positief
V V Positief
Totaaloordeel
Op grond van bovenstaand schema en de inhoudelijke onderbouwing daarvan in paragraaf 1.5 blijkt dat de opleiding op alle zes de onderwerpen positief scoort. De conclusie is dat het totaaloordeel over de opleiding positief luidt en derhalve een POSITIEF oplevert. De opleiding is accreditatiewaardig.
14
© NQA – Fontys Hogeschool, opleiding Bedrijfskundige Informatica
Deel B: Facetten
© NQA - Fontys Hogeschool, opleiding Bedrijfskundige Informatica
15
16
© NQA – Fontys Hogeschool, opleiding Bedrijfskundige Informatica
Deel B: Facetten
Inleiding Het oordeel voor voltijd- en deeltijdopleiding is alleen gesplitst als er sprake is van verschillende oordelen.
Onderwerp 1
Facet 1.1
DOELSTELLINGEN VAN DE OPLEIDING
Niveau bachelor
voldoende
Criteria: De eindkwalificaties van de opleiding sluiten aan bij algemene, internationaal geaccepteerde beschrijvingen van de kwalificaties van een bachelor. Het oordeel ‘voldoende’ is gebaseerd op de volgende overwegingen: De opleiding hanteert de eindkwalificaties, zoals geformuleerd in het landelijk Beroeps- en opleidingsprofiel HBO-I, 2000. Deze eindkwalificaties zijn uitgewerkt naar 10 algemene beroepscompetenties voor elke informaticus en 12 specifieke BIcompetenties. In aanvulling op deze landelijke eindkwalificaties hanteert de opleiding (voor de 30% eigen inkleuring) 9 opleidingsspecifieke competenties (gericht op het eigen aanbod van keuzemodulen). Alle competenties staan beschreven in de OER, 2003-2004. De competenties zijn niet voorzien van taxonomieën van (beheers-)niveaus, maar dit aspect heeft de aandacht van de opleiding (zie facet 2.2). De competenties waarborgen voldoende het beoogde bachelor niveau en omvatten expliciet een categorie voor de ‘generieke’ eindkwalificaties. In het zelfevaluatierapport geeft de opleiding een tabel weer waarin de relatie tussen Dublin Descriptoren en competenties wordt gelegd. Hierdoor wordt bij de internationale omschrijvingen voor het niveau van de bachelor aangesloten. In het zelfevaluatierapport geeft de opleiding aan dat ‘het veelzijdige’ karakteristiek is voor bedrijfskundig informatici: afgestudeerden moeten beschikken over analytisch en abstractievermogen en over uitstekende sociale, communicatieve en projectvaardigheden. Vertegenwoordigers van Raad van Advies en leden van het College van Externe Deskundigen (zie facet 5.3 voor werkwijze) zijn goed op de hoogte van en onderschrijven het belang van de (generieke) competenties.
© NQA - Fontys Hogeschool, opleiding Bedrijfskundige Informatica
17
Facet 1.2
Domeinspecifieke eisen
voldoende
Criteria: De eindkwalificaties van de opleiding sluiten aan bij de eisen die door (buitenlandse) vakgenoten en de beroepspraktijk gesteld worden aan een opleiding in het betreffende domein (vakgebied/discipline en/of beroepspraktijk). Het oordeel ‘voldoende’ is gebaseerd op de volgende overwegingen: Het landelijk Beroeps- en opleidingsprofiel wordt breed gedragen in het landelijk overleg, het samenwerkingsverband van alle opleidingen hbo-informatica. Het omvat een beschrijving van het informaticadomein, van ontwikkelingen in het beroepenveld en een beschrijving van beroeps- en opleidingskwalificaties voor de drie verwante beroepsgroepen: de bedrijfskundig informaticus, de informaticus en de technisch informaticus. Bedrijfskundig informatici worden opgeleid tot generalisten met kennis en vaardigheden op het gebied van organisaties en bedrijfsprocessen enerzijds en informatiesystemen anderzijds. Het beroepenveld heeft het landelijk profiel van het HBO-I platform gevalideerd. Bij deze validering waren 33 (internationaal opererende) organisaties en bedrijven betrokken. Een groot aantal taakomschrijvingen van dit profiel is ontleend aan het rapport European Informatics Skill Structure (EISS) van de European Professional Informatics Society (CEPIS). De opleiding besteedt in de door haar gebruikte tools en technieken aandacht aan internationale softwareontwikkeling, hetgeen zij onderbouwt in het zelfevaluatierapport met een overzicht van gebruikte (internationale) standaarden. Het panel stelt vast dat de externe adviesorganen van de opleiding (Raad van Advies en het College van Externe Deskundigen) de beroepsgerichte competenties onderschrijven. Dit geldt ook voor de eigen inkleuring (Bijvoorbeeld, het ERP-systeem, de ITIL-processen, de EDP-auditing) van het huidige curriculum. Het panel is van mening dat het aspect van internationalisering in de eindkwalificaties en in het beleid te weinig specifieke aandacht krijgt. De opleiding heeft dit onderkend en heeft per april 2004 aan een docent taken toebedeeld om dit aspect te verbeteren.
Facet 1.3
Oriëntatie hbo-bachelor
voldoende
Criteria: De eindkwalificaties zijn mede ontleend aan de door (of in samenspraak met) het relevante beroepenveld opgestelde beroepsprofielen en/of beroepscompetenties. De eindkwalificaties weerspiegelen het niveau van beginnend beroepsbeoefenaar in een specifiek beroep of samenhangend spectrum van beroepen waarvoor een hbo-opleiding vereist is of dienstig is.
18
© NQA – Fontys Hogeschool, opleiding Bedrijfskundige Informatica
In aanvulling op de tekst hierboven is het oordeel ‘voldoende’ gebaseerd op de volgende overwegingen: De opleiding richt zich op de startfuncties en de doorgroeifuncties zoals beschreven in het landelijk profiel. De opleiding leidt op tot ‘het eerste type functies’ (onder meer applicatie- en systeemontwikkelaar, informatieanalist, programmeur, beheerder informatiesystemen, adviseur interne controle en beveiliging) en geeft handvatten mee voor ‘het tweede type functies’ (onder meer adviseur organisatie en informatie, hoofd automatisering en ict-organisatieadviseur). • In 2003 heeft de opleiding een Start Bekwaamheden Onderzoek uitgevoerd onder alumni en werkgevers (met een totale respons van ongeveer 14%, dat wil zeggen 10 werkgevers c.q. afstudeerbegeleiders en 24 alumni). Hieruit komt naar voren dat afgestudeerden inderdaad werkzaam zijn in de zojuist genoemde startfuncties. Ook onderschrijven respondenten in grote lijn de relevantie van de generieke en beroepsgerichte competenties. Uit het Start Bekwaamheden Onderzoek komt als kanttekening naar voren dat er meer aandacht uit moet gaan naar het ontwikkelen van gevoel voor politieke verhoudingen, het spel in de organisatie en effectief communiceren. Dit zijn elementen die onderdeel uitmaken van één van de generieke eindkwalificaties. De opleiding heeft verbeteracties in gang gezet door de Beroepsvaardigheden-lijn te versterken.
Onderwerp 2
Facet 2.1
PROGRAMMA
Eisen hbo
voldoende
Criteria: Kennisontwikkeling door studenten vindt plaats via vakliteratuur, aan de beroepspraktijk ontleend studiemateriaal en via interactie met de beroepspraktijk en/of (toegepast) onderzoek. Het programma heeft aantoonbare verbanden met actuele ontwikkelingen in het vakgebied / de discipline. Het programma waarborgt de ontwikkeling van beroepsvaardigheden en heeft aantoonbare verbanden met de actuele beroepspraktijk. Het oordeel ‘voldoende’ is gebaseerd op de volgende overwegingen: In de OER, 2002-2003 staan de opleidingsschema’s BI, voltijd en deeltijd beschreven. Hieruit komt naar voren dat er gewerkt wordt met een semestergewijze onderwijsopzet van doorgaans vier blokken of kwartaalmodulen. Het aantal studiepunten 1 per studieonderdeel en de informatie over cijfertoekenning en type toetsen staat duidelijk vermeld. Het programma van de voltijdopleiding is gebaseerd op het zogenaamde driehoekmodel in BI, beknopt (CD-rom). De hierin beschreven onderwijsopzet is 1
In dit rapport worden in navolging van de opleiding nog de studiepunten (oude stijl) gehanteerd.
© NQA - Fontys Hogeschool, opleiding Bedrijfskundige Informatica
19
20
helder verwoord, sluit aan bij de didactische visie van (voormalige) faculteit Economie en is een leidraad bij het ontwikkelen van het vernieuwde curriculum BI (vanaf 2000). De drie pijlers van de opleiding zijn: bedrijfskunde, systeemontwikkeling en informatieen communicatietechnologie met daaromheen een ‘schil’ van beroepsvaardigheden. De opleiding kent geen afstudeerrichtingen, maar kent vanaf augustus 2004 een richting Communicatie en Multimedia Design (CMD). Projectonderwijs kenmerkt voor een belangrijk deel de didactische keuzes. Vanaf 2003 is er (voor een aantal vakken) een pilot gestart met competentiegericht en vraaggestuurd onderwijs (zie facet 2.7). o In de eerste twee studiejaren van de voltijdopleiding bouwt de student een basispakket op aan kennis en vaardigheden met een gelijkwaardig aandeel voor de beschreven pijlers. Enerzijds wordt er gewerkt met klassikale werkvormen als hoor- en werkcolleges en practica, anderzijds met Integrale Projecten (IP’s). In de propedeuse wordt hieraan 12,5% en in het tweede jaar 25% van de studiepunten besteed. o Semester 5 en semester 8 staan geheel in het teken van de oriënterende stage en de afstudeerstage. In de Examenfase, vanaf semester 6, kunnen studenten hun eigen accenten leggen: zij moeten drie van de vier keuzemodulen (ieder 8 studiepunten) kiezen en drie verplichte studieonderdelen volgen. In deze fase bestaan alle keuzemodulen en studieonderdelen uit projecten of onderzoeken die door studenten met een grote mate van zelfstandigheid moeten worden uitgevoerd. Het programma van de deeltijdopleiding is inhoudelijk afgeleid van dat van de voltijdopleiding, zij het dat de studieonderdelen in zogenaamde studietrajecten worden aangeboden. Een studietraject is opgebouwd uit vier kwartaalmodulen, die gegroepeerd zijn rond functiegebieden van ICT (bijvoorbeeld programmeur, helpdeskmedewerker, databasespecialist). Daarnaast wordt in de deeltijdopleiding gewerkt met (meer afgebakende) projecten per studietraject in plaats van de integrale projecten en is er geen sprake van keuzeonderdelen bij de laatste vier studietrajecten. Ten slotte kunnen deeltijdstudenten voor 35 studiepunten vrijstelling krijgen op basis van elders verworven competenties (zie facet 2.4). Het panel stelt vast, op grond van bekeken boeken, readers en opdrachten dat het studiemateriaal en de casuïstiek door de bank genomen voldoende actueel en beroepsgericht zijn. De integrale projecten zijn praktijkgericht en worden meestal gecombineerd met bedrijfsbezoeken. Ook moeten studenten concrete bedrijfsproducten opleveren. In en naast de projecten wordt aandacht besteed aan: presenteren en projectmatig werken. De literatuurlijst is actueel. Studenten worden aangespoord om bij hun opdrachten gebruik te maken van actuele informatie op het internet. Wel zijn enkele (vak-)onderdelen toe aan actualisering dan wel betere verankering in het curriculum, zoals attitude- en beroepsvaardigheden (waaronder het oefenen van rapportages en internationalisering (inclusief de internationale stages). Er is voldoende aandacht in het onderwijs voor (toegepast) onderzoek. Dit blijkt uit diverse opdrachten die studenten in het kader van keuzemodulen moeten verrichten. Zo moeten zij bij de module EBIS (Exploitatie en Beheer van Informatiesystemen) bij een zelf geworven bedrijf zelfstandig onderzoek verrichten en verbetervoorstellen doen. Ook op basis van door het panel bestudeerde stage- en afstudeerscripties wordt
© NQA – Fontys Hogeschool, opleiding Bedrijfskundige Informatica
duidelijk dat studenten individueel onderzoek verrichten aan de hand van bedrijfssituaties. Het niveau en de beroepsgerichtheid is door de bank genomen voldoende (zie ook facet 6.2). Uit een gesprek van het panel met studenten van de voltijd- en de deeltijdopleiding blijkt dat zij het aangeboden onderwijs actueel vinden. In de voltijdopleiding zijn studenten positief over de bedrijfsbezoeken in het kader van diverse projecten. Bij Beroepenoriëntatie in de propedeuse moeten studenten stagiaires en docenten interviewen. De Raad van Advies vertelt aan het panel een rol te vervullen ten aanzien van het onderwijs: zo heeft zij diverse docenten bijgestaan bij het ontwikkelen van modulen (bijvoorbeeld ontwerpmethoden) en heeft zij over de nieuwe CMD-richting en het nieuwe lectoraat Embedded Systems, positief geadviseerd. In het kader van I Opener worden vier keer per jaar voor alle docenten, studenten en afgestudeerden gastcolleges verzorgd. Deze bijeenkomsten worden door betrokken gesprekspartners (werkvelddeskundigen en docenten) als positief ervaren. Docenten geven desgevraagd aan dat in de plenaire docentenvergaderingen (met een frequentie van 1 keer per 2 weken) maandelijks inhoudelijke vernieuwingen en afstemming tussen de leerstof aan bod komen. Uit notulen blijkt dat deze inhoudelijke besprekingen plaatsvinden. Uit diverse onderzoeken blijkt tevredenheid van afgestudeerden over de beroepsgerichtheid van het onderwijs: in de uitslagen op de HBO-monitor, 2002 is de ruime meerderheid van de respondenten positief en dit geldt ook voor het Start Bekwaamheden Onderzoek, 2003. In dit laatste onderzoek zijn ook de werkgevers in meerderheid positief. In de Fontys Studentenenquête, 2002 (met een respons van 50%, dat wil zeggen 158 studenten) ligt de gemiddelde score voor keuzemogelijkheden en aansluiting theoretische onderdelen en praktijkonderdelen op 3,3 respectievelijk 3,6 (op een vijfpuntsschaal). Uit gesprekken met de Raad van Advies en studenten van de voltijdopleiding blijkt dat het werven van opdrachten voor projecten soms moeizaam loopt. De opleiding heeft dit probleem in het zelfevaluatierapport benoemd en is bezig een relatiebeheerssysteem op te zetten. Het panel heeft tijdens het bezoek vastgesteld dat hieraan wordt gewerkt.
Facet 2.2
Relatie doelstellingen en inhoud programma
voldoende
Criteria: Het programma is een adequate concretisering van de eindkwalificaties, qua niveau, oriëntatie en domeinspecifieke eisen. De eindkwalificaties van de doelstellingen zijn adequaat vertaald in leerdoelen van (onderdelen van) het programma. De inhoud van het programma biedt studenten de mogelijkheid om de geformuleerde eindkwalificaties te bereiken.
© NQA - Fontys Hogeschool, opleiding Bedrijfskundige Informatica
21
Het oordeel ‘voldoende’ is gebaseerd op de volgende overwegingen: De eindtermen van de propedeuse en het tweede jaar zijn gekoppeld aan de 12 specifieke en 10 algemene competenties uit het Beroeps- en opleidingsprofiel HBO-I, 2000 en de studieonderdelen van deze studiejaren zijn ook gekoppeld aan de eindtermen. De keuzemodulen van de Examenfase zijn direct gekoppeld aan de 9 opleidingsspecifieke competenties (voor de eigen inkleuring). Het panel constateert mede op basis van de gevoerde gesprekken en op basis van het zelfevaluatierapport dat de opleiding in een overgangsfase verkeert: in het kader van Project 2005 moet het onderwijs nog beter op de competenties worden afgestemd en wordt de koppeling van eindkwalificaties (uitgewerkt naar taxonomieën) naar leerdoelen geformaliseerd. Voor een belangrijk deel van het curriculum, met name dat gedeelte dat al werkt vanuit competenties -uit Overzicht, bijlage 2 bij de brief van 11 mei 2004 blijkt dat het hier gaat om meer dan de helft van de studiepunten- zijn de leerdoelen aan de beoogde eindkwalificaties gerelateerd. De resterende modulen zijn grotendeels gerelateerd aan de eindtermen van de Propedeuse en het tweede jaar. De opleiding geeft in diverse documenten (het zelfevaluatierapport, het OER, en BIBeknopt) aan op welke wijze de eindkwalificaties qua niveau, qua oriëntatie en qua domein geconcretiseerd zijn in het curriculum. De inhoud van het programma is derhalve toereikend om de eindkwalficaties te bereiken. Afgestudeerden en leden van de Raad van Advies vertellen aan het panel dat naar hun mening de eindkwalificaties door middel van het aangeboden programma grotendeels worden bereikt. Uit HBO-monitor, 2002 blijkt dat afgestudeerden tevreden zijn over de moeilijkheidsgraad en de specialisatie van het curriculum. De ruime meerderheid van de respondenten (werkgevers en afgestudeerden) van het Start Bekwaamheden Onderzoek, 2003 vindt de opleiding waardevol voor de beroepspraktijk.
Facet 2.3
Samenhang in het opleidingsprogramma
voldoende
Criteria: Studenten volgen een inhoudelijk samenhangend opleidingsprogramma. Het oordeel ‘voldoende’ is gebaseerd op de volgende overwegingen: Voor elk van de onderdelen van het driehoekmodel heeft de opleiding een opbouw aangegeven. Deze opbouw staat beschreven in de notitie BI Beknopt en in het zelfevaluatierapport. Voor bedrijfskunde geldt in de leerstof de volgende volgorde: van handelsbedrijf en vormen van dienstverlening, naar industriële bedrijven en vervolgens naar typologie van bedrijven. Voor informatiesystemen geldt: eerst aandacht voor de werkplek, daarna voor een heel bedrijfsproces of een afdeling en daarna aandacht voor samenhang op bedrijfsniveau (bijvoorbeeld Informatiebeleid en -planning). Ook voor de beroepsvaardigheden is er een ingevulde matrix bestaande uit individuele, sociale, mondelinge en schriftelijke vaardigheden met daarnaast aandacht voor de beroepshouding. In de deeltijdopleiding wordt aan dit laatste aspect
22
© NQA – Fontys Hogeschool, opleiding Bedrijfskundige Informatica
minder aandacht besteed, zij het dat hier in de werkvormen wel degelijk oog voor is (zie facet 2.7). In de gesprekken met docenten en notulen van docentenvergaderingen blijkt dat het driehoekmodel in de praktijk herkend en bediscussieerd wordt en navolging krijgt. Het panel constateert dat studenten van de voltijd- en deeltijdopleiding en recent afgestudeerden positief zijn over de samenhang en opbouw van het programma: het bevat een juiste mix aan en opbouw van vaardigheden, informatica onderdelen en bedrijfskundige onderdelen. Met name in de voltijdopleiding krijgt de samenhang adequaat gestalte in de vorm van integrale projecten volgens studenten en panel. De coördinator onderwijsontwikkeling heeft een initiërende en begeleidende rol bij de inhoudelijke afstemming van het curriculum: zo nodig worden ad hoc ontwikkelteams van docenten samengesteld. In het Coördinatieteam (C-team) hebben de drie coördinatoren frequent overleg: de opleidingscoördinator BI (voltijd), de coördinator kwaliteitszorg en de coördinator onderwijsontwikkeling. De opleidingscommissie en het plenaire docententeam worden regelmatig geraadpleegd en het team voert vervolgens de wijzigingen door. Op basis van notulen stelt het panel vast dat op deze wijze inderdaad tot een positieve afstemming wordt gekomen. Wel zijn de procedures voor de inhoudelijke afstemming, zoals het panel heeft aangetroffen in diverse beschrijvingen, niet geheel eenduidig. De samenhang in het studieprogramma scoort in de Fontys Studentenenquête, 2002 een waarde van gemiddeld 3,7 op een 5-puntsschaal. De onderwijsvisie is sterk in beweging; in dit kader moeten diverse leerlijnen nog verder worden uitgewerkt: het gaat hierbij vooral om de op reflectie en om de op beroepsvaardigheden gerichte leerlijn.
Facet 2.4
Studielast
voldoende
Criteria: Het programma is studeerbaar doordat factoren, die betrekking hebben op dat programma en die de studievoortgang belemmeren zoveel mogelijk worden weggenomen. Het oordeel ‘voldoende’ is gebaseerd op de volgende overwegingen: De opzet van het onderwijssysteem maakt halfjaarlijkse in- en doorstroom mogelijk. Studenten met een mbo-opleiding of (overstappers) vanuit andere hbo-opleidingen kunnen voor een verkorte leerroute in aanmerking komen. Er bestaan duidelijke afspraken voor individuele vrijstellingen en standaardvrijstellingen, die onder meer vermeld staan in de OER, 2003-2004 en in Procedure voor vrijstellingen deeltijd (vanaf cohort 2000/2001). Voor de stage kan 30 studiepunten vrijstellingen worden behaald. Hiertoe moet een, mede door het bedrijf ondertekend, formulier worden overhandigd voorzien van bewijsstukken. Het panel heeft dit geverifieerd: uit gesprekken met studenten deeltijd blijkt dat de aanvragen voor vrijstellingen door de opleiding procedureel zorgvuldig behandeld worden.
© NQA - Fontys Hogeschool, opleiding Bedrijfskundige Informatica
23
De informatie over het curriculum en de beoordeling wordt aangeboden via intranet: er geldt in deze ‘een haalplicht’. De opleiding biedt alle toetsen minimaal twee keer aan, hanteert een duidelijk toetsrooster en geeft de student (via intranet) na iedere periode de mogelijkheid om de behaalde studieresultaten te bekijken. In de diverse onderwijsdocumenten (zoals de opleidingsschema’s, en de studiewijzers) staat de geplande studielast duidelijk vermeld. Aan de andere kant wordt in de kwartaalevaluaties de gerealiseerde studielast gemonitord en er worden verbeteracties geïnitieerd en bewaakt door de kwaliteitscoördinator. Dit blijkt bijvoorbeeld uit diverse kwaliteitsrapporten (per kwartaal) die het panel heeft bekeken. Vanaf 2000 is het systeem van selectie en mentoraat aangescherpt. De opleiding hanteert een bindend negatief studieadvies dat wordt toegekend als studenten na een jaar minder dan 32 studiepunten hebben behaald of als zij na twee jaar hun propedeuse niet hebben behaald. Onderdeel van deze norm is het behalen van zeven studieonderdelen, die qua inhoud en beeld representatief zijn voor de studie. De studievoortgangsbegeleiding in de propedeuse van de voltijdopleiding door mentoren is intensief: er zijn minimaal vier voortgangsgesprekken ingepland. Uit de Fontys Studentenenquête, 2002 blijkt dat studenten tevreden zijn over de algehele studielast (‘te doen in de gestelde tijd’), over de begeleiding, de bereikbaarheid van docenten en over de informatie met betrekking tot studiemateriaal, studieresultaten en tentamenroosters. Uit deze enquête blijkt eveneens dat studenten van de voltijdopleiding over de verdeling van de studielast binnen een jaar minder positief zijn. Ook maken voltijdstudenten met wie het panel heeft gesproken, duidelijk dat er naar hun mening soms sprake is van piekbelasting (meestal samenhangend met de op te leveren producten voor de projecten). Bij de deeltijdopleiding is er geen bindend studieadvies. Er werden tot voor kort te (gemakkelijk) vrijstellingen voor domeinkennis gegeven. Studenten van de deeltijdopleiding, met wie het panel heeft gesproken, vinden het ingangsniveau van studenten voor bepaalde vakonderdelen (bijvoorbeeld programmeren) te verschillend. De opleiding erkent deze problematiek: in het zelfevaluatierapport staat vermeld dat per 2003/2004 de domeinvrijstelling is afgeschaft en dat de opleiding met portfolio is gestart. In het document Deeltijdopleidingen Informatica, een visie (maart 2003), is het portfoliosysteem duidelijk en concreet uitgewerkt.
Facet 2.5
Instroom
voldoende
Criteria: Het programma sluit qua vorm en inhoud aan bij de kwalificaties van de instromende studenten: vwo, havo, middenkaderopleiding of specialistenopleiding (WEB) of daarmee vergelijkbare kwalificaties, blijkend uit toelatingsonderzoek. Het oordeel ‘voldoende’ is gebaseerd op de volgende overwegingen: De instroom in de voltijdopleiding vanaf 1996 vertoont een schommelend beeld en is met 85 instromers in 2002 bijna aanbeland op een dieptepunt. Voor de deeltijd geldt eveneens een lichte schommeling, maar de instroom in 2002 is met 38 instromers in
24
© NQA – Fontys Hogeschool, opleiding Bedrijfskundige Informatica
2002 aan de hoge kant. Over de jaren 1998-2001 is de gemiddelde uitval na een jaar in de voltijdopleiding 31,5% en voor de deeltijdopleiding 39%. Er is over deze periode sprake van een hoge gemiddelde studieduur van studiestakers namelijk 1,6 jaar (voltijd) en 2 jaar (deeltijd). Deze kengetallen zijn niet uitgesplitst naar vooropleiding. Wel presenteert de opleiding in het zelfevaluatierapport voor de voltijdopleiding een tabel met (uiteindelijke) slagingspercentages naar vooropleiding. Hieruit komt naar voren dat deze percentages over de periode 1995-1999 liggen op: 45% (havisten), 68% (vwo‘ers) en 67% (mbo‘ers). De opleiding hanteert de wettelijke eisen voor toelating. Daarnaast kunnen studenten, met onvoldoende vooropleiding, een toelatingsonderzoek aanvragen bij het Loopbaancentrum van Fontys. De opleiding participeert in een aansluitingsproject met toeleverende scholen (het ictaansluitingsberaad) en onderneemt diverse voorlichtingsactiviteiten (de hbo-ict-stage en de herziene voorlichtingspresentatie). Tijdens de propedeuse wordt door de invulling van het mentoraat en de tutoring aandacht gegeven aan: de oriëntatie op studie en beroep en op de geschiktheid voor de studie (bij Beroepsoriëntatie en met de start van het Project Ivision, 2004, 2005). Studenten die in het tweede semester van de propedeuse instromen volgen extra lessen in Programmeren en Systeemontwikkeling. Met deze studenten wordt standaard een intakegesprek gehouden en een persoonlijk leertraject afgesproken. Studenten voor wie Nederlands de tweede taal is, hebben recht op extra tentamentijd en hebben de mogelijkheid tot een reparatieprogramma (in overleg met de docenten Beroepsvaardigheden). De opleiding voert exitgesprekken met studiestakers; op deze wijze wordt feedback verkregen over de onderwijsinhoud en worden verbeteracties doorgevoerd (bijvoorbeeld tijdens de voorlichting het benadrukken van (het gehalte aan) Economie in de opleiding). De uitval onder havisten is groot en de opleiding onderneemt naar deze specifieke categorie instromers tot nu toe weinig gerichte actie. Alumni, met vooropleiding havo, spreken desgevraagd tegenover het panel uit, dat de opleiding ‘te doen’ was, zij het dat wiskunde en statistiek veel aandacht kostte. De opleiding schrijft in het zelfevaluatierapport dat structureel overleg met het voortgezet onderwijs over de aansluiting ontbreekt; de verklaring hiervoor is dat deze contacten lopen via het aansluitingscentrum van Fontys. Studenten propedeuse vertellen het panel dat de aandacht voor het beroep nog beter kan dan nu gebeurt. Dit probeert de opleiding ondermeer met Ivision te bereiken. Het panel heeft kennis genomen van dit project en vindt het duidelijk van opzet.
Facet 2.6
Duur
goed
Criteria: De opleiding voldoet aan formele eisen met betrekking tot de omvang van het curriculum: hbo-bachelor: 240 studiepunten.
© NQA - Fontys Hogeschool, opleiding Bedrijfskundige Informatica
25
Het oordeel ‘goed’ is gebaseerd op de volgende overweging: De opleiding voldoet in de beide varianten aan de formele eis voor de omvang van het curriculum van de hbo bachelor: 168 (oude) studiepunten of 240 credits. De verdeling van deze studiepunten of credits over de leerjaren, periodes, onderwijseenheden en modulen/onderdelen staat beschreven in de opleidingsschema’s.
Facet 2.7
Afstemming tussen vormgeving en inhoud
voldoende
Criteria: Het didactisch concept is in lijn met de doelstellingen. De werkvormen sluiten aan bij het didactisch concept. Het oordeel ‘voldoende’ is gebaseerd op de volgende overwegingen: De opleiding is bezig met ‘een doorontwikkeling’ van haar curriculum (Activiteitenplan, FHI, 2004) richting de invoering van competentiegericht en vraaggestuurd onderwijs. Zo wordt er momenteel gewerkt aan het op grotere schaal implementeren van ‘beroepsproducten’, aan het beter inbouwen van beroepsvaardigheden in de integrale projecten, aan een grotere mate van verantwoordelijkheid van de student voor zijn of haar eigen plannings- en leerproces en aan het regelmatig toetsen door middel van assessments. In Deeltijdopleidingen Informatica. Een visie (maart 2003) wordt het didactisch concept van de deeltijdse variant nader belicht. Het onderwijs is binnen vastgestelde kaders meer vraaggestuurd van opzet (wisselend niveau en geen vaste volgorde studietrajecten) en er wordt gewerkt met projecten, praktijkopdrachten en portfolio. Bij de portfolio moeten studenten door het vervullen van concrete opdrachten kunnen aantonen dat zij over bepaalde schriftelijke en mondelinge vaardigheden beschikken. Deze situaties worden steeds beoordeeld door de docent. De onderwijsconcepten van het driehoeksmodel en de proef didactische opzet competentiegericht onderwijs zijn in essentie in lijn met de beoogde eindkwalificaties (zoals vermeld in de OER en in het landelijk beroeps-en opleidingsprofiel). Het panel stelt vast dat docenten en studenten zich positief uitlaten over de (nieuwe) werkmethoden en instrumenten, zoals de IP’s, het vraaggestuurd onderwijs, de contourcolleges, de rijke leeromgeving en de assessments (met het afchecken van competenties). Studenten geven desgevraagd aan dat de IP’s een stijgende lijn vertonen (in complexiteit en samenhang) en dat het meelifteffect weinig kans krijgt (doordat zij bijvoorbeeld zelf de cijfers op basis van aangetoonde individuele inzet moeten verdelen). Ook de studenten van de deeltijd geven aan dat de individuele opdrachten en de groepsopdrachten aansluiten bij hun beroepspraktijk en van nut voor hen zijn. Met name in de deeltijd worden de elektronische discussiegroepen gewaardeerd. Docenten krijgen steeds meer een coördinerende en een begeleidende rol bij het leerproces van de student. De notitie Tutoring en IP’s geeft de richtlijnen voor de inhoudelijke vaktechnische begeleiding, de procesbegeleiding, de afspraken in de projectgroep en de typen van beoordeling bij de projecten.
26
© NQA – Fontys Hogeschool, opleiding Bedrijfskundige Informatica
In de Fontys Studentenenquête, 2002 scoren de vragen over de tevredenheid met betrekking tot het aantal contacturen, de rol van docenten bij de vaktechnische begeleiding en de procesbegeleiding en het stimuleren van een kritische instellingen bij studenten, positief. Wel ervaren studenten dat er bij de practica te weinig begeleiding wordt gegeven. Dit blijkt uit het gevoerde gesprek van het panel met deze studenten. De onderwijskundige koers is positief, maar nog in ontwikkeling. Enerzijds gaat de invoering van de nieuwe onderwijsvormen gepaard met ‘kinderziektes’. Dit blijkt uit diverse notulen en uit het gesprek van het panel met studenten. Zo moeten tutoren bij de invulling van de IP’s wennen aan het louter procesmatig begeleiden en moeten de onderlinge werkwijzen beter op elkaar worden afgestemd. Anderzijds komt in de diverse pilots van de onderwijsvernieuwing onvoldoende een samenhangend beeld naar voren. Deels heeft dit te maken met afstemming die in het kader van de hogeschoolbrede onderwijstransformatie BILOBA gaat plaats vinden.
Facet 2.8
Beoordeling en toetsing
voldoende
Criteria: Door de beoordelingen, toetsingen en examens wordt adequaat getoetst of de studenten de leerdoelen van (onderdelen van) het programma hebben gerealiseerd. Het oordeel ‘voldoende’ is gebaseerd op de volgende overwegingen: Uit de opleidingsschema ’s op de CD-rom en de tabel in het zelfevaluatierapport komt een goede mix in gehanteerde toetsvormen naar voren. De toetsvormen sluiten aan bij de verschillende gehanteerde werkvormen en kennen een goede balans wat betreft individueel en groepsgericht, cognitief en affectief, schriftelijk en mondeling. De toetsvormen voor het nieuwe onderwijs zijn in ontwikkeling: eerste en tweede assessments als toetsonderdelen van het vraaggestuurde onderwijs worden geïmplementeerd. De toetsen/verslagen die het panel heeft bekeken bevatten duidelijke richtlijnen en zijn voorzien van uitwerkingen. Er zijn adequate borgingsmechanismen voor de toetsvormen: intercollegiale toetsing bij schriftelijke toetsen, afname van mondelinge examens door twee vakdocenten, bespreking van de groepsevaluaties in het tutor overleg, analyse van de toetsvragen uit de kwartaalevaluaties door de kwaliteitscoördinator en de betrokkenheid van externe deskundigen bij de afstudeeropdracht. Notulen van de diverse overlegvormen bevestigen in grote lijnen dit beeld. In de informatiebrochures Oriënterende stage voor studenten, augustus-december 2003 en Afstudeerstage voor studenten, augustus-december 2003 staan de rollen en de taken van de bedrijfsbegeleider, de begeleidend docent en de student bij de beoordeling helder beschreven. De student wordt beoordeeld op het proces, het product en een mondelinge presentatie of verdediging. De bedrijfsmentor heeft bij beide stages een adviserende stem bij de beoordeling. Opvallend is het aantal
© NQA - Fontys Hogeschool, opleiding Bedrijfskundige Informatica
27
aanwezigen bij de afstudeerzitting: naast de begeleidende docent (de eerste examinator) is een tweede examinator, een externe deskundige en vaak de bedrijfsmentor aanwezig. Uit gesprekken blijkt dat de protocollen bekend zijn en worden gebruikt. In de Fontys Studentenenquête, 2002 zijn studenten in ruime mate tevreden over: de aansluiting van de toetsen op de leerstof en de stagebegeleiding. De nieuwe toetsvormen vertonen tekortkomingen. Dit blijkt uit het zelfevaluatierapport, de notulen, de stage-evaluaties en uit het gesprek van het panel met de studenten en de docenten. Zo beoordelen tutoren/vakdocenten soms op een verschillende wijze en moeten de beoordelingscriteria nog beter worden gerelateerd aan de competenties. Ook voor de oriënterende stage en afstudeerstage geldt dat de beoordelingscriteria beter moeten worden gerelateerd aan de competenties (zie ook facet 6.2 voor de borging van het eindniveau).
Onderwerp 3
Facet 3.1
INZET VAN PERSONEEL
Eisen hbo
voldoende
Criteria: Het onderwijs wordt voor een belangrijk deel verzorgd door personeel dat een verbinding legt tussen de opleiding en de beroepspraktijk. Het oordeel ‘voldoende’ is gebaseerd op de volgende overwegingen: De FHI maakt gebruik van hetzelfde docentenbestand voor de opleidingen HI en BI, en hun varianten. De opleiding presenteert een overzicht (zie Bijlage 11 bij het zelfevaluatierapport) waarin de deskundigheden van de medewerkers staan vermeld. Hieruit blijkt dat meer dan de helft van de docenten een onderwijskundige achtergrond heeft en minder dan de helft een bedrijfskundige achtergrond. Onlangs zijn zes jonge docenten aangetrokken met (recente) bedrijfservaring; bij de deeltijd werken enkele docenten met een hoofdtaak in het bedrijfsleven. De inzet van docenten voor zakelijke dienstverlening door FHI is circa 3FTE. De opleiding wil dit aandeel vergroten. In Bijlage 34 presenteert de opleiding een overzicht van abonnementen en lidmaatschappen BI, waaruit naar voren komt dat veel docenten uiteenlopende vaktijdschriften lezen, lid zijn van beroeps- en vakverenigingen en deelnemen aan uiteenlopende kenniskringen van het HBO-I-platform. Studenten voeren bedrijfsopdrachten uit in het kader van de oriënterende stage en de afstudeerstage. Docenten begeleiden hierbij en profiteren hiervan. Met name bij de afstudeerzitting zijn veel docenten betrokken. In het kader van I Opener (vergelijk facet 2.1) zijn er regelmatige lezingen door gastsprekers voor alle docenten, studenten en alumni. Zo is er sprake van onderlinge kruisbestuiving.
28
© NQA – Fontys Hogeschool, opleiding Bedrijfskundige Informatica
De leden van de Raad van Advies en Commissie van Externe Deskundigen hebben een adviserende rol naar de beroepsgerichtheid van de opleiding en van haar docenten. Ook worden bedrijfsmentoren na afloop van de stages standaard geëvalueerd. Hierbij wordt gevraagd om feedback op de beroepsgerichtheid van de opleiding. Op basis van notulen en uitslagen van stage-evaluaties stelt het panel vast dat deze invloed positief is. In de Fontys Studentenenquête, 2002 zijn studenten van de opleiding BI tevreden over de mate waarin docenten de nieuwste ontwikkelingen kennen. In het zelfevaluatierapport wordt genoemd dat een aantal relaties structureler vorm moeten krijgen (zoals de contacten van docenten met bedrijven en de contacten met alumni). Het panel vindt ook dat dit aspect nog beter aangetoond moeten worden.
Facet 3.2
Kwantiteit personeel
voldoende
Criteria: Er wordt voldoende personeel ingezet om de opleiding met de gewenste kwaliteit te verzorgen. Het oordeel ‘voldoende’ is gebaseerd op de volgende overwegingen: In het zelfevaluatierapport noemt de opleiding een aantal kwantitatieve en kwalitatieve streefnormen voor de samenstelling van haar team van medewerkers. De opleiding voldoet nog niet aan haar eigen streefnorm van een evenwichtige samenstelling van haar personeelsbestand. Zo is gewenst: meer vrouwelijke docenten, meer personeel met bedrijfservaring en een lagere gemiddelde leeftijd. Op basis van kengetallen en resultaten van personeelstevredenheidsenquêtes maakt de opleiding duidelijk dat de meeste streefnormen gerealiseerd worden: zo is het ziekteverzuim teruggedrongen tot 5,18% in 2003, is de student/fte-ratio gedaald naar 29 in 2002 en is de kwantiteit van het personeel voldoende om de gewenste competenties af te dekken. Wel is het zo dat de BI bepaalde expertise leent bij andere opleidingen van Fontys Hogescholen, maar omgekeerd lenen andere opleidingen ook van de FHI. Voor de deeltijdopleiding ligt de student/fte-ratio op 47,5 (2002). De kwantiteit van het personeel staat onderdruk door de opgelegde bezuinigingen in het voorjaar van 2004: er wordt een nieuwe bekostigingsnorm en streefformatie vastgesteld.
Facet 3.3
Kwaliteit personeel
voldoende
Criteria: Het personeel is gekwalificeerd voor de inhoudelijke, onderwijskundige en organisatorische realisatie van het programma.
© NQA - Fontys Hogeschool, opleiding Bedrijfskundige Informatica
29
Het oordeel ‘voldoende’ is gebaseerd op de volgende overwegingen: In het zelfevaluatierapport noemt de opleiding een aantal kwalitatieve streefnormen voor de gewenste deskundigheden en het welzijn van haar medewerkers. Daarnaast is voor iedere docent 20% van de taak gereserveerd voor scholing en interne communicatie. De opleiding probeert aan deze normen te voldoen door een gerichte inzet van personeelsinstrumenten. Na een relatieve stilte zijn er recentelijk twee rondes functionerings- en beoordelingsgesprekken gevoerd met iedere medewerker van de opleiding. Basis voor deze gesprekken vormen onder meer de uitslagen van studenten op de kwartaalevaluaties. In het verlengde hiervan zijn professionaliseringstrajecten in gang gezet. De scholing is vooral inhoudelijk en onderwijskundig gericht. De CV’s van docenten laten zien dat zij inderdaad zijn bijgeschoold. Ook docenten, met wie het panel heeft gesproken bevestigen deze systematiek. Enquêtes onder studenten (onder meer de Fontys Studentenenquête, 2002, HBOmonitor-2002) laten waardering zien voor de diverse kwaliteiten van de docenten, zowel vakgericht als onderwijskundig. Ook studenten van de voltijd- en deeltijdopleiding, met wie het panel heeft gesproken bevestigen dit. Daarnaast blijkt uit deze enquête dat de sfeer tussen studenten en docenten zeer gewaardeerd wordt. Enquêtes onder docenten (de Fontys Personeels Enquête, 2003 en het Tevredenheidsonderzoek bij het personeel FHI, mei 2002) laten zien dat docenten tevreden zijn over hun werk en de geboden uitdagingen. Uit de eerste enquête blijkt bovendien dat docenten redelijk tevreden zijn over de realisatie van hun persoonlijke ontwikkeling (6,0 op een 10-puntsschaal). Op basis van gesprekken met docenten en de coördinator onderwijsontwikkeling stelt het panel vast dat docenten bereid zijn tot innovaties; de recente pilots worden door hen met verve toegelicht. De beleidsmatige inbedding van streefnormen en ingezette instrumenten schiet te kort. Een personeelsplan, inclusief professionaliseringsplan ontbreekt, waardoor de streefnormen algemeen blijven en de uitvoering nog te weinig structureel gebeurt. Leden van de Raad van Advies vertellen aan het panel dat de nieuwe onderwijsvormen om andere vaardigheden van docenten vragen. Op dit punt heeft de opleiding volgens hen nog een stap te zetten. De opleiding erkent dit en noemt in het zelfevaluatierapport dat gestart gaat worden met competentiemanagement (parallel aan de vernieuwingen van het curriculum).
Onderwerp 4
Facet 4.1
VOORZIENINGEN
Materiële voorzieningen
voldoende
Criteria: De huisvesting en materiële voorzieningen zijn toereikend om het programma te realiseren.
30
© NQA – Fontys Hogeschool, opleiding Bedrijfskundige Informatica
Het oordeel ‘voldoende’ is gebaseerd op de volgende overwegingen: Met ingang van 2004 is de opleiding verhuisd naar een ander gebouw, waar de hele FHI is ingetrokken. Bij de inrichting heeft de opleiding eisen naar voren gebracht, waar naar haar mening voldoende rekening mee is gehouden. Op basis van een rondleiding door het gebouw en gesprekken met studenten en docenten stelt het panel vast dat de onderwijsruimtes en werkruimtes van docenten in grote lijnen voldoen. De opleiding BI heeft haar eigen identiteit kunnen behouden: de ruimtes zijn bij elkaar gesitueerd, waardoor ‘laagdrempeligheid’ in de communicatie ontstaat. De mediatheek is voldoende toegerust en het intranet is zeer goed vorm gegeven. De resultaten op de Studentenenquête, 2003 geven aan dat studenten tevreden zijn over de tijdigheid en juistheid van informatie met betrekking tot studieresultaten, tentamenroosters en de verkrijgbaarheid van studiemateriaal. Uit de Fontys Studentenenquête 2002 blijkt dat studenten redelijk tevreden zijn over de mediatheekfaciliteiten. Uit de Fontys Studentenenquête 2004 blijkt dat men redelijk tevreden is over de ruimtes voor zelfstudie en de (nieuwe) huisvesting in het algemeen en ruim tevreden is over de mediatheekfaciliteiten. Wel zijn studenten van de voltijdopleiding van mening dat het aantal PC’s en de actualiteit van de software releases (voor met name de systeemontwikkeling) te kort schieten. Uit de meest recente Fontys Studentenenquête blijkt ook grote ontevredenheid over de beschikbaarheid van computerfaciliteiten op de spitstijden (score 1,5 op een 5puntsschaal). De opleiding deelt deze mening niet; het rooster biedt voldoende mogelijkheden om piekbelasting te voorkomen. Met ingang van het cursusjaar 20042005 wordt deelgenomen aan een experiment met WIFI. Ten aanzien van de in de mediatheek aanwezige tijdschriften en literatuur is het panel van oordeel dat de actualiteit ervan enigszins te wensen overlaat. Ook het aantal vaktijdschriften beoordeelt het panel als matig.
Facet 4.2
Studiebegeleiding
voldoende
Criteria: De studiebegeleiding en informatievoorziening aan studenten zijn adequaat met het oog op de studievoortgang. De studiebegeleiding en informatievoorziening aan studenten sluiten aan bij de behoefte van studenten. Het oordeel ‘voldoende’ is gebaseerd op de volgende overwegingen: Op de CD-rom, in de notitie Tutoring en IP’s staan de taken van de mentoren en de tutoren duidelijk beschreven. Over de taken van de begeleidend docenten en bedrijfsmentoren bij de begeleiding van oriënterende stage en de afstudeerstage bevatten de stagebrochures duidelijke richtlijnen. Over de informatievoorziening en de rol van de mentor bij de bewaking van de studievoortgang van studenten is bij facet 2.4 Studielast positief geoordeeld. In de eerste twee leerjaren krijgt de student een (kernfase) mentor toegewezen en voor de
© NQA - Fontys Hogeschool, opleiding Bedrijfskundige Informatica
31
examenfase wordt dit een (examenfase) mentor. De begeleiding in de eerste fase is intensief en initiërend vanuit de mentor, in de examenfase wordt er meer initiatief van de student verwacht. De resultaten van de studievoortgangsgesprekken worden op formulieren vastgelegd, ondertekend door mentor en student en opgeslagen in een dossier. Ook de studieaanpak krijgt hierbij aandacht. Over de rol van de tutor bij de procesbegeleiding van de Integrale Projecten is positief geoordeeld bij facet 2.7 afstemming vorm en inhoud. . Studenten van de voltijdopleiding, met wie het panel heeft gesproken, zijn tevreden over de aangeboden studiebegeleiding. De rollen van mentoraat en tutoring vindt men herkenbaar. Wel merken zij op dat er nog niet wordt gewerkt met POP’s en portfolio (onderdeel van de nieuwe koers) . Voor de deeltijd wordt de mentorrol vervuld door de opleidingscoördinator, waarbij het initiatief voor de begeleiding ligt bij de deeltijdstudent. Studenten van de deeltijd waarderen (de mogelijkheid van) studiebegeleiding door de opleidingscoördinator. De stagebegeleiding wordt in de Fontys Studentenenquête, 2002 door studenten positief gewaardeerd. Ook over de bereikbaarheid van de decaan en studentenmedewerkers zijn de studenten in deze enquête zeer tevreden. Evaluaties van de stage onder studenten, docenten en bedrijfsmentoren in Stageevaluaties, augustus-december 2002 bevatten een kanttekening. Het contact van de begeleidende docent met het bedrijf wordt vooral bij de oriënterende stage te extensief vorm gegeven. Dit wordt bevestigd in het gesprek van het panel met studenten voltijdopleiding. Het panel is van mening dat de stagedoelen te algemeen zijn geformuleerd en de brochures te weinig inhoudelijk zijn uitgewerkt naar de gewenste wijze begeleiding door het stagebedrijf. Dit is een aandachtspunt voor de opleiding.
Onderwerp 5
Facet 5.1
INTERNE KWALITEITSZORG
Evaluatie resultaten
VT: voldoende DT: onvoldoende
Criteria: De opleiding wordt periodiek geëvalueerd, mede aan de hand van toetsbare streefdoelen. Voltijdopleiding Het oordeel ‘voldoende’ is gebaseerd op de volgende overwegingen: In het zelfevaluatierapport presenteert de opleiding een tabel met aandachtsgebieden, bijbehorende enquêtes, evaluatiefrequenties en verantwoordelijken. Op basis van bekeken uitslagen van evaluaties, is het panel van oordeel dat deze aandachtsgebieden regelmatig worden bevraagd. De kwartaalevaluaties, met de uitslagen op het niveau van de (vak-)onderdelen, tezamen met de uitslagen van de Fontys Studentenenquête, 2002 worden door de
32
© NQA – Fontys Hogeschool, opleiding Bedrijfskundige Informatica
kwaliteitsfunctionaris uitgebreid samengevat in de zogenaamde kwartaalevaluaties en voorzien van verbeteracties. Het panel heeft vastgesteld dat deze systematiek consequent, over de afgelopen jaren, is toegepast. Hierbij worden ook de ‘openstaande’ verbeteracties uit vorige evaluaties meegenomen en wordt de status van de notitie (met name de accordering in het C-team) duidelijk vermeld. Daarbij worden ook de resultaten van het Start Bekwaamheden Onderzoek meegenomen, ook al is de respons daarop laag. Een aantal items wordt nog niet meegenomen in de kwartaalevaluaties. Met name de recente innovaties kunnen met het huidige instrumentarium onvoldoende in kaart worden gebracht. De opleiding noemt in het zelfevaluatierapport, en dit is tijdens het gesprek met het panel bevestigd, dat deze items aan het instrumentarium worden toegevoegd. Streefnormen spelen een rol bij de beoordeling van de uitslagen op de enquêtes. Dit blijkt uit diverse verslagen op basis van genoemde enquêtes (bijvoorbeeld kwartaalevaluaties, stage-evaluaties, Fontys Studentenenquête). Wel is het panel van mening dat zij in de analyses meer inzichtelijk moeten worden. Dit geldt ook voor resultaten op de kwartaalevaluaties: een vergelijkend totaaloverzicht van alle vakken (met gemiddelden en standaarddeviaties) ontbreekt. Volgens het Protocol Kwaliteitszorg BI, februari, 2004 zou er sprake moeten zijn van een integraal rapport (op basis van de kwartaalevaluaties). Dit is niet aangetroffen. Studenten uit de Fontys Studentenenquête, 2002 zijn redelijk tevreden over de onderwijsevaluaties.
.Deeltijdopleiding Voor de deeltijdopleiding wordt het oordeel op basis van de volgende overwegingen ‘onvoldoende’: Er zijn door het panel wel evaluaties (voor een deel van de aangeboden modulen) aangetroffen, maar hieruit ontstaat onvoldoende een totaalbeeld op de onderwerpen van het kader. Ook zijn er geen analyses of verbeterplannen op basis van de evaluaties aangetroffen. De deeltijdopleiding heeft geparticipeerd aan de Fontys Studentenenquête, 2002 maar de respons was te laag om bruikbaar te zijn. In een naschrift blijkt dat de deeltijdopleiding heeft deelgenomen aan de Fontys Studentenenquête, 2004. Daaruit komt een positief beeld naar voren. Toch blijft het panel bij zijn oordeel dat er onvoldoende aantoonbaar op basis van streefnormen is geëvalueerd over de afgelopen jaren.
Facet 5.2
Maatregelen tot verbetering
voldoende
Criteria: De uitkomsten van deze evaluaties vormen de basis voor aantoonbare verbetermaatregelen die bijdragen aan de realisatie van de streefdoelen.
© NQA - Fontys Hogeschool, opleiding Bedrijfskundige Informatica
33
Het oordeel ‘voldoende’ is gebaseerd op de volgende overwegingen: Doordat het gaat om een kleine opleiding , met een informele, en directe communicatie tussen docenten onderling en docenten met studenten, worden in de praktijk consequent en regelmatig verbeteringen op basis van evaluaties doorgevoerd. Dit blijkt uit de verslaglegging van evaluatieve besprekingen in notulen (van onder meer het C-team, de BI-docentenvergadering, de opleidingscommissie en besprekingen van tutoren en stage- en afstudeerdocenten). Voor de deeltijdopleiding geldt dat de deeltijdcoördinator in de praktijk een aantoonbaar stimulerende rol heeft in de doorgevoerde verbeteringen op basis van evaluaties (bijvoorbeeld de bijstelling van het programmeeronderwijs). Het panel heeft op basis van bekeken notities, een ontwikkelplan en een activiteitenplan (over de periode 2000-2003) vastgesteld dat de deeltijdopleiding in synergie met de voltijdmodules is ontwikkeld en bijgesteld. In het zelfevaluatierapport en op basis van Bijlage 2. Voorbeeld procesgang bijstellen tutoring maakt de opleiding duidelijk dat op diverse onderdelen van het primaire proces stelselmatig verbeteringen zijn doorgevoerd. Recentelijk zijn er vernieuwde kaders vanuit Fontys Hogescholen voor het inrichten van kwaliteitszorgsystemen op opleidingsniveau (Handleiding voor het inrichten van kwaliteitszorg, juni 2003); op basis dit Fontys-format werkt de opleiding aan een kwaliteitshandboek voor de opleiding. Uit Bijlage 3. Verifieerbaarheid resultaat verbeteracties blijkt dat de kwaliteitsfunctionaris (met ingang van het cursusjaar 2002/2003 in een database bijhoudt of verbeteracties zijn doorgevoerd). Deze controlerende rol wordt, zo blijkt uit de bespreking van het panel met docenten, in het docententeam geaccepteerd en werkt binnen de constellatie (van het C-team) van de opleiding. Ook studenten van opleidingscommissie, met wie het panel heeft gesproken, geven voorbeelden van diverse doorgevoerde en met hen besproken verbeteringen op basis van evaluaties. Hoewel de opleiding feitelijk en onderbouwd verbeteringen doorvoert, zijn de verbeterprocessen nog te weinig geformaliseerd en inzichtelijk en over de volle breedte van het NVAO-kader weergegeven. De notitie Kwaliteitszorg FHI, mei 2001 geeft in deze een kader aan, maar is weinig specifiek ingekleurd voor de BI-opleiding. Voor de deeltijdopleiding wordt de verbetercylus nog te weinig schriftelijk vastgelegd.
Facet 5.3
Betrekken van medewerkers, studenten, alumni en beroepenveld
voldoende
Criteria: Bij de interne kwaliteitszorg zijn medewerkers, studenten, alumni en het afnemend beroepenveld van de opleiding actief betrokken. Het oordeel ‘voldoende’ is gebaseerd op de volgende overwegingen: • Hiervoor is al aangegeven dat in de evaluatiesystematiek en de overlegvormen de ‘stakeholders’ worden betrokken bij het verbeterbeleid van de opleiding (vergelijk de facetten 2.1, 3.1 en 5.1).
34
© NQA – Fontys Hogeschool, opleiding Bedrijfskundige Informatica
•
•
•
•
De externe organen, zoals de Raad van Advies en het College van externe deskundigen, maken door de samenstelling, de werkwijze en de vergaderfrequentie (respectievelijk drie keer en twee keer per jaar) de adviestaken waar. Op basis van de gesprekken met vertegenwoordigers van alle ‘stakeholders’ stelt het panel vast dat het ‘kwaliteitsbewustzijn’ voldoende aanwezig is. Er is een redelijk actieve alumnivereniging BI-Back en studenten van alle leerjaren discussiëren met elkaar op intranet. Ook voor alumni is een eigen gedeelte van het intranet gereserveerd. In de opleidingcommissie worden de (geanonimiseerde) kwartaalevaluaties besproken (zie ook vorige facet); studenten en docenten voelen zich serieus genomen. Dit gevoel zou nog sterker kunnen zijn als dit beleid naar studenten zou worden gecommuniceerd. In de Fontys Studentenenquête, 2002 zijn studenten zeer ontevreden over het aspect ‘terughoren wat er met evaluaties is gedaan’. Sinds kort heeft de opleiding haar database met resultaten van verbeteracties (dat wil zeggen de openstaande punten) op intranet toegankelijk gemaakt voor studenten. De opleiding wil de opkomst bij de halfjaarlijkse BI Back terugkomavonden vergroten.
Onderwerp 6
Facet 6.1
RESULTATEN
Onderwijsrendement
VT:onvoldoende DT:voldoende
Criteria: Voor het onderwijsrendement zijn streefcijfers geformuleerd in vergelijking met relevante andere opleidingen. Het onderwijsrendement voldoet aan deze streefcijfers. Het oordeel ‘onvoldoende’ voor de voltijdopleiding is gebaseerd op de volgende overwegingen: • De opleiding hanteert algemene streefnormen die geen betrekking hebben op gewenste slagingspercentages en onvoldoende vergeleken zijn met vergelijkbare opleidingen binnen Fontys Hogescholen of met externe verwante opleidingen. • De streefnormen zoals genoemd in het zelfevaluatierapport houden in dat: o de uitval zich zoveel mogelijk moet concentreren in het eerste studiejaar, o de uitval in het tweede studiejaar beperkt moet blijven tot hoogstens 6% en in het derde studiejaar tot hoogstens 4%, o een aanzienlijk deel van de mbo-studenten de opleiding in minder dan vier jaar moet afronden. • De opleiding kan het behaalde rendement op basis van de zojuist genoemde streefnormen onvoldoende aantonen. Uit de bij het zelfevaluatierapport gepresenteerde kengetallen blijkt (vergelijk facet 2.5 Instroom) dat er sprake is van een groot percentage studiestakers juist na afloop van de propedeuse met een lange
© NQA - Fontys Hogeschool, opleiding Bedrijfskundige Informatica
35
•
•
•
gemiddelde studieduur (hiermee worden de eerste drie streefnormen onvoldoende gehaald). Daarnaast zijn er geen in- en door- en uitstroomgegevens naar vooropleiding; er kan dus niet bekeken worden óf mbo-studenten de opleiding in minder dan vier jaar kunnen afronden. De havisten vertonen een grote uitval: gemiddeld genomen slaagt slechts 45% over de jaren1995-1999. Dit geringe slagingspercentage wordt erkend door de opleiding. Zij stelt dat er nog onvoldoende zicht is op de oorzaken van deze uitval, maar formuleert wel verbeterplannen. Er zijn twee positieve punten. Ten eerste bedraagt het behaalde rendement na vijf jaar (gemiddeld naar alle vooropleidingen) voor de voltijdse instroomcohorten 1996 en 1997 gemiddeld 53%, afgezet tegen de andere economische opleidingen van Fontys (zie Bijlage 5, reactie op detailrapport, juni 2004) steekt dit slagingspercentage positief af. Ten tweede blijkt uit de gemiddelden van de landelijke kengetallen (zie paragraaf 1.5.6 van deel A) dat de voltijdopleiding met haar gemiddelde slagingspercentage iets boven het landelijk gemiddelde te liggen. Bij het oordeel ‘onvoldoende’ geeft het feit dat er algemene en onvolledige streefnormen gehanteerd worden, waarvan de realisatie door de eigen kengetallen onvoldoende kan worden aangetoond, de doorslag.
Het oordeel ‘voldoende’ voor de deeltijdopleiding is gebaseerd op de volgende overwegingen: De deeltijdopleiding werkt met deelcertificaten, waardoor met name tijdens de overspannen arbeidsmarkt van de tweede helft van de negentiger jaren, veel studenten genoegen namen met het behalen van de in hun ogen relevante deelcertificaten en ‘eerder’ met de opleiding stoppen. Het behaalde eindrendement is derhalve (negatief) beïnvloed en vertoont een sterk fluctuerend beeld. Gezien het karakter van de deeltijdopleiding vindt de opleiding het niet wenselijk om streefnormen voor het eindrendement te formuleren. Het panel heeft -mede gezien de context van de opleiding- begrip voor dit standpunt. • Uit de gemiddelden van de landelijke kengetallen (zie paragraaf 1.5.6 van deel A) blijkt dat de deeltijdopleiding met haar gemiddelde slagingspercentage onder het landelijk gemiddeld ligt; deze afwijking is echter gering.
Facet 6.2
Gerealiseerd niveau
voldoende
Criteria: De gerealiseerde eindkwalificaties zijn in overeenstemming met de nagestreefde eindkwalificaties qua niveau, oriëntatie en domeinspecifieke eisen. Het oordeel ‘voldoende’ is gebaseerd op de volgende overwegingen: • Uit diverse arbeidsmarktonderzoeken (het Start Bekwaamheden Onderzoek, 2003 en HBO-monitor, 2002) komt naar voren dat de algemene en domeinspecifieke beroepscompetenties in voldoende mate worden behaald.
36
© NQA – Fontys Hogeschool, opleiding Bedrijfskundige Informatica
•
•
•
•
•
•
Deze mening wordt (vergelijk facet 1.3) gedeeld door de leden van de Raad van Advies en het College van externe deskundigen. Dit blijkt uit bekeken notulen en gevoerde gesprekken met vertegenwoordigers van deze organen. De door het panel bekeken afstudeerrapporten zijn voldoende beroepsgericht en ‘matchen’ met het bachelorniveau. Wel is de kwaliteit wisselend; rapporten zijn soms te beschrijvend van karakter. Het eindexamen wordt afgenomen door een commissie van drie examinatoren: twee docenten en een extern deskundige. De bedrijfsbegeleider heeft een adviserende stem bij de eindbeoordeling (Bijlage F in de Afstudeerbrochure, augustus-december 2003) en kan bij de afstudeerzitting aanwezig zijn. Het panel stelt vast dat deze wijze van gescheiden beoordelingen garant staat voor de noodzakelijke intersubjectiviteit. Ook studenten waarderen een eindbeoordeling, waar niet alleen de begeleidend docent bij betrokken is. De beoordelingscriteria betreffen met name de methodische opbouw van het afstudeerrapport, de deelresultaten van het onderzoek voor het bedrijf en de procesmatige groei van de student. Niet alleen het rapport wordt beoordeeld, maar ook de mondelinge verdediging op basis van het rapport. Leden van het college vertellen aan het panel dat zij tijdens het afsluitend examen ook de beschikking hebben over een lijst met competenties. Docenten, studenten en alumni vertellen aan het panel dat de gehanteerde beoordelingssystematiek naar tevredenheid werkt. Het College van externe deskundigen bevestigt dit. Er is geen duidelijke lijst met beoordelingscriteria voor het afstudeerrapport, de huidige bijlage F is te algemeen. De beoordelingscriteria zijn niet (direct) gekoppeld aan de competenties De opleiding geeft in diverse notities aan dat dit een tekortkoming is en dat dit wordt verbeterd.
© NQA - Fontys Hogeschool, opleiding Bedrijfskundige Informatica
37
38
© NQA – Fontys Hogeschool, opleiding Bedrijfskundige Informatica
Deel C: Bijlagen
© NQA - Fontys Hogeschool, opleiding Bedrijfskundige Informatica
39
40
© NQA – Fontys Hogeschool, opleiding Bedrijfskundige Informatica
Bijlage 1:
Onafhankelijkheidsverklaring panelleden
© NQA - Fontys Hogeschool, opleiding Bedrijfskundige Informatica
41
42
© NQA – Fontys Hogeschool, opleiding Bedrijfskundige Informatica
Bijlage 2:
Beknopte CV panelleden
© NQA - Fontys Hogeschool, opleiding Bedrijfskundige Informatica
43
Voorzitter Naam Initialen Tussenvoegsel(s) Titulatuur M/V Geboortedatum Auditdeskundigheid (Heeft u ervaring als INK- of ISO-auditor?) Oud voorzitter/lid visitatiecommissie (Wilt u aangeven of de hiernaast opgenomen informatie correct is en eventueel aanvullen) Heeft u gefunctioneerd als dagvoorzitter? Onderwijsdeskundigheid (Bent u onderwijskundige of werkzaam geweest in de onderwijssector) Werkvelddeskundigheid (Wilt u hierbij aangeven welke relevante werkervaring u heeft) Internationale deskundigheid (Wilt u hierbij aangeven of u deskundigheid over de internationale ontwikkeling van het vakgebied heeft) Domeindeskundigheid (Wilt u in de hiernaast gelegen kolom aangeven voor welk domein u deskundigheid heeft) Opleiding(en) 1957 - 1962 1962 - 1965 1965 - 1968 1970 - 1974 1980 - 1982 Werkervaring 1965 - 1968 1968 - 1973 1973 - 1978 1978 - 1987 1987 - heden
44
Vreven A.A. Ing. Msc. M 13-09-1945 Nee Lid laatste visitatiecommissie Informatica
Ja
Sinds 1967 werkzaam in de ICT in een breed scala van functies. Momenteel afdelingsdirecteur ICT-strategie en kwaliteit Lid (geweest) diverse internationale werkgroepen o.a: X-Open , OSF, voorzitter permanent working group on e-bussiness and retailbanking . Combinatie Studie University of Michigan en werk voor Burroughs Corporation
HBS Economie UVA HTS scheepswerktuigbouwkunde AMBI Computer Science, Univ. of Michigan Marineofficier ABN, systeemontwerper Rijks computercentrum, project leider politie informatiesystemen RAET ( hfd . Systeemontwikkeling Landbouw Administratie en RekenCentrum) en consultant Rabobank Nederland (hoofd Hulpmiddelen en Methoden, adviseur Strategie)
© NQA – Fontys Hogeschool, opleiding Bedrijfskundige Informatica
Panellid Naam Initialen Tussenvoegsel(s) Titulatuur M/V Geboortedatum Auditdeskundigheid (Heeft u ervaring als INK- of ISO-auditor?) Oud voorzitter/lid visitatiecommissie (Wilt u aangeven of de hiernaast opgenomen informatie correct is en eventueel aanvullen) Heeft u gefunctioneerd als dagvoorzitter? Onderwijsdeskundigheid (Bent u onderwijskundige of werkzaam geweest in de onderwijssector) Werkvelddeskundigheid (Wilt u hierbij aangeven welke relevante werkervaring u heeft) Internationale deskundigheid (Wilt u hierbij aangeven of u deskundigheid over de internationale ontwikkeling van het vakgebied heeft)
Domeindeskundigheid (Wilt u in de hiernaast gelegen kolom aangeven voor welk domein u deskundigheid heeft) Opleiding(en) 1965-1970 1970-1975 1977 1978 1981 1982 1983 1986 1987 1992 Werkervaring 1970-1971 1974-1975 1975-1979 1979-1982 1982-1987 1985-1999 1987-1988 1988-1991 1991-1993 1993-1995 1995-1997 1997-heden
Wagter H. ir. de heer 9-9-1946 Ervaring via vele project audits, niet als INK- of ISO- auditor Lid visitatiecie HBO Informatica 1998-1999
Ja, diverse malen Deeltijd hoogleraar TU Eindhoven (BouwkundeCAD) Lid en voorzitter Raad van Advies EXIN OC&W Cie Flexibele productieaut. Geen relevante ervaring
Diverse internationale projecten. Onderwijs: Erasmus en Comett (EC), congressen ECAADE, ACADIA, CAADFutures (allemaal in bestuurlijke rol) Beroepspraktijk, vele projecten Europa, USA, Verre Oosten
HTS Den Bosch TU Eindhoven, Bouwkunde Eindige Elementen Methode Modulair Programmeren Tekenkamer automatisering (VDI-Duitsland) Numerieke besturing (VDI-Duitsland) Siggraph GKS seminar, USA Klantgericht denken (Door) Expert Systems, Universiteit Sydney Exec. Program, Cambridge, USA Militaire dienst Student assistent TUE, computer afdeling Adviesbureau Arnhem, Heidemij CIAD Zoetermeer I3P Raadgevend Ingenieursbureau Maarheeze Deeltijdhoogleraar TUE, Bouwkunde CAD KPMG Utrecht, industriële automatisering BSO-AT Eindhoven, principal consultant Directeur BSO Advies Utrecht Partner BSO Management Consultants, Utrecht Group vice President Origin, IPS, Int, projects Co-founder and partner BrightHouse Man. BV
© NQA - Fontys Hogeschool, opleiding Bedrijfskundige Informatica
45
Student-lid Naam Initialen Tussenvoegsel(s) Titulatuur M/V Geboortedatum Opleiding Welke opleiding volgt u thans? Wat is de naam van het opleidingsinstituut? In welk studiejaar studeert u? Volgt u een voltijd, deeltijd, duale of afstandsstudie of wellicht anderszins? Bij welke activiteiten bent u binnen de opleiding betrokken? Auditdeskundigheid (Heeft u ervaring als INK- of ISO-auditor?)
Eyffinger F.M.
V 18-04-1981 HBO Bedrijfskundige Informatica Hogeschool Rotterdam 4 Duale leerroute Opleidingscommissie, voorlichting Nee
Bent u eerder lid geweest van een visitatiecommissie?
Nee
Onderwijsdeskundigheid (Bent u onderwijskundige of werkzaam geweest in de onderwijssector) Werkvelddeskundigheid (Wilt u hierbij aangeven welke relevante werkervaring u heeft)
Nee
Internationale deskundigheid (Wilt u hierbij aangeven of u deskundigheid over de internationale ontwikkeling van het vakgebied heeft) Domeindeskundigheid (Wilt u in de hiernaast gelegen kolom aangeven voor welk van onderstaande opleidingen u deskundigheid heeft) Opleiding(en) 2004 – 2001 2002 2000 – 2001 1999 – 2000 1997 – 1999 1993 – 1997 Werkervaring 2003 – heden 2002 – heden 2001 – 2002 1996 – 2001 1993 – 1999
46
Nee, wel cursus operationeel auditin bij Geeve Consultancy en deelname kwaliteitsproject Informatica opleidingen op Hogeschool Rotterdam Nee
Ja
Bedrijfskundige Informatica ITIL-foundation Hogere Informatica MBO niveau 4 Facilitaire Dienstverlening Havo Gynmasium Asta discotheek, bar Koninklijke Luchtmacht, service management Bakerstreet Benelux BV, catering Konmar BV, diverse werkzaamhden St-Maartenscollege, catering
© NQA – Fontys Hogeschool, opleiding Bedrijfskundige Informatica
Panelsecretaris Naam Initialen Tussenvoegsel(s) Titulatuur M/V Geboortedatum Auditdeskundigheid (Heeft u ervaring als INK- of ISO-auditor?) Oud voorzitter/lid visitatiecommissie (Wilt u aangeven of de hiernaast opgenomen informatie correct is en eventueel aanvullen) Heeft u gefunctioneerd als dagvoorzitter? Onderwijsdeskundigheid (Bent u onderwijskundige of werkzaam geweest in de onderwijssector) Werkvelddeskundigheid (Wilt u hierbij aangeven welke relevante werkervaring u heeft)
Ravestein L. Drs. V 30-08-1959 3,5 jaar auditervaring (HBO-raad /NQA) Nee
Nee Zowel door opleiding als door werkervaring (zie hieronder) onderwijskundige deskundigheid • •
Docent Maatschappijleer (MEAO) Docent Sociologie/Organisatiekunde (HEAO) • Stafmedewerker Kwaliteitszorg en Onderwijsontwikkeling (Faculteit Economie) • Adviseur Onderwijs en Kwaliteitszorg (Triam-kennismanagement) • Auditor HBO (HBO-raad/NQA) Internationale deskundigheid Deelname aan het TEMPUS-project (Wilt u hierbij aangeven of u deskundigheid over (internationale uitwisseling van de internationale ontwikkeling van het vakgebied kwaliteitszorgsystemen) heeft) Domeindeskundigheid sociaal agogische werkvelden, door opleiding en (Wilt u in de hiernaast gelegen kolom aangeven nevenwerkzaamheden; (beleids-)ondersteuning, Stichting Argus, Stichting Begeleide Huisvesting, voor welk domein u deskundigheid heeft) scholing bij FNV Opleiding(en) Atheneum (B) 1978 Doctoraal Sociale Pedagogiek, inclusief 1985 kopstudie Sociologie (eerstegraads opleiding Maatschappijleer), participerend onderzoek Jeugd- en Zedenpolitie (Gemeente Utrecht) Projectmanagement (T&G) 1992 Leergang Onderwijs (T&G) 1994 Individuele consultancy (leertraject), 1998 Onderwijskundig Centrum, UT Werkervaring Beleidsmedewerker kwaliteitszorg HBO-raad, 2001-heden Vereniging van Hogescholen Advieswerkzaamheden Hogeschool de Horst 2000 (freelance) Adviseur kwaliteitszorg en opleidingskunde bij 1998-2000 TRIAM-kennismanagement B.V. Staffunctionaris Bureau Kwaliteitszorg en 1990-1998 Onderwijsontwikkeling, HEAO-Arnhem Docent Organisatiekunde, HEAO-Arnhem 1988-1993 Docent Maatschappijleer bij een MEAO, 1987-1988 Catharijne College, Utrecht
© NQA - Fontys Hogeschool, opleiding Bedrijfskundige Informatica
47
48
© NQA – Fontys Hogeschool, opleiding Bedrijfskundige Informatica
Bijlage 3
De zelfevaluatie in verband met NVAO-accreditatie Vragen en aanwijzingen
Basiskwaliteit HBO-bachelor
Maart 2003
© NQA - Fontys Hogeschool, opleiding Bedrijfskundige Informatica
49
Onderwerp Facet Preambule ..........................................................................................................................51 1. Doelstellingen van de opleiding (beoogde eindkwalificaties) .............................................54 1.1 Niveau bachelor............................................................................................................54 1.2 Domeinspecifieke eisen................................................................................................54 1.3 Oriëntatie hbo bachelor ................................................................................................54 2. Programma.........................................................................................................................56 2.1 Eisen hbo......................................................................................................................56 2.2 Relatie doelstellingen en inhoud programma ...............................................................57 2.3 Samenhang in opleidingsprogramma ...........................................................................58 2.4 Studielast ......................................................................................................................58 2.5 Instroom........................................................................................................................59 2.6 Duur ..............................................................................................................................59 2.7 Afstemming tussen vormgeving en inhoud...................................................................60 2.8 Beoordeling en toetsing ................................................................................................60 3. Inzet van personeel ............................................................................................................61 3.1 Eisen hbo......................................................................................................................61 3.2 Kwantiteit personeel .....................................................................................................61 3.3 Kwaliteit personeel........................................................................................................61 4. Voorzieningen ....................................................................................................................62 4.1 Materiële voorzieningen................................................................................................62 4.2 Studiebegeleiding. ........................................................................................................62 5. Interne kwaliteitszorg..........................................................................................................63 5.1 Evaluatie resultaten ......................................................................................................63 5.2 Maatregelen tot verbetering..........................................................................................63 5.3 Betrekken van medewerkers, studenten, alumni en beroepenveld. .............................63 6. Resultaten ..........................................................................................................................64 6.1 Onderwijsrendement.....................................................................................................64 6.2 Gerealiseerde niveau....................................................................................................64 7. Bijzondere kwaliteitskenmerken (facultatief) ......................................................................65 7.1 Differentiatie en profilering............................................................................................65 7.2 Kwaliteit ........................................................................................................................65 7.3 Concretisering...............................................................................................................65 7.4 Onderscheidend karakter .............................................................................................65 Bijlage1. Kengetallen.........................................................................................................................66
50
© NQA – Fontys Hogeschool, opleiding Bedrijfskundige Informatica
Preambule
Uitgangspunt Een zelfevaluatie kan meerdere functies hebben en vele doelen dienen. De waarde ligt in eerste instantie in de mate waarin de opleiding de zelfevaluatie benut voor de eigen beleidsvoering, in het bijzonder wat betreft de interne kwaliteitszorg. In deze brochure ligt echter de nadruk op de zelfevaluatie in dienst van de accreditatieaanvraag bij de NVAO. Er wordt in die zin dus ingezoomd op de verantwoordingsfunctie en op basiskwaliteit. De onderwijsinstelling dient met een extern onafhankelijk visitatierapport aan te tonen dat haar opleiding aan de kwaliteitscriteria van de NVAO voldoet. De zelfevaluatie vormt het vertrekpunt voor de objectieve oordeelsvorming door een extern visitatiepanel. De mate waarin de zelfevaluatie op overtuigende wijze aantoont dat aan de kwaliteitscriteria wordt voldaan, bepaalt voorts de intensiteit van nadere materiaalbestudering en gespreksvoering door het visitatiepanel.
Kwaliteitscriteria NVAO Voor het beoordelen van basiskwaliteit zijn door de NVAO in totaal 30 kwaliteitscriteria geformuleerd, die zijn ondergebracht bij 21 facetten. Per facet moet uiteindelijk door een visitatiepanel worden bepaald of de opleiding hierop een: - onvoldoende - voldoende - goed of - excellent scoort. De 21 facetten zijn op hun beurt ingedeeld naar 6 onderwerpen. Het oordeel dat een visitatiepanel velt per onderwerp komt tot stand op basis van weging van oordelen over de afzonderlijke facetten van dat onderwerp. Voor een positief totaaloordeel moet het oordeel over elk onderwerp tenminste voldoende zijn. 30 criteria
21 facetten
6 onderwerpen
totaaloordeel
Centrale vragen bij oordeelsvorming (visitatiepanel) Om te bepalen of aan de kwaliteitscriteria wordt voldaan, zijn voor de externe kwaliteitsbeoordelaars van NQA de volgende vragen van belang: Doelen: welke ambitie heeft de opleiding ten aanzien van een bepaald onderwerp: welke kwaliteit wordt nagestreefd; welke resultaten worden beoogd, kortom; wat zijn de eigen doelen? Borging: hoe borgt de opleiding dat deze doelen kunnen worden bereikt; zijn beleid, management en processen logisch op die eigen doelen afgestemd?
© NQA - Fontys Hogeschool, opleiding Bedrijfskundige Informatica
51
-
Resultaten: hoe verhouden de resultaten zich tot de eigen doelen (mede in vergelijking met andere opleidingen)? Verbetering: indien het borgen en bereiken van de doelen te wensen overlaat, zijn er dan verbeteringen in het vooruitzicht?
Informatiegehalte zelfevaluatie Om de bovenstaande vragen te kunnen beantwoorden, zal de zelfevaluatie hierover voldoende informatie moeten bevatten. Het gaat dan om de volgende vier typen van informatie: 1.
Richtinggevende informatie: eigen visie en doelstellingen, eigen kwaliteitsopvattingen, waar mag de opleiding op worden afgerekend?
2.
Beschrijvende informatie: hoe reilt en zeilt de opleiding, hoe zijn processen ingericht, welke afspraken zijn gemaakt, etcetera?
3.
Evaluatieve informatie: worden de doelen bereikt, hoe waarderen betrokkenen (met name studenten, afnemers en personeel) de verschillende facetten (evaluatieuitkomsten), en welke kwantitatieve resultaten worden bereikt (kengetallen)?
4.
Analytische informatie: gezien 1 t/m 3: hoe is het met de kwaliteit gesteld, welke conclusies kunnen hierover worden getrokken, worden de eigen doelen waargemaakt, zijn er discrepanties tussen doelstelling en doelbereiking, welke oorzaken zijn er voor aan te wijzen en welke verbeteringen zijn (of worden) hierop ingezet?
Om te bewaken dat het informatiegehalte voldoende is voor de oordeelsvorming zijn per facet relevante vragen ter beantwoording door de opleiding gegeven. Deze vragen zijn dus rechtstreeks ontleend aan de NVAO-facetten en -criteria. Als hulpmiddel voor de beantwoording van die vragen zijn per vraag aanwijzingen voor die beantwoording gegeven.
Opbouw zelfevaluatie Het is van belang dat de visitatiepanels de benodigde informatie voor elk van de 21 facetten op een efficiënte wijze tot zich kunnen nemen. Dit zou kunnen door de opbouw van de zelfevaluatie (de hoofdstukindeling) het NVAO-kader te laten volgen: I. Doelstellingen van de opleiding (beoogde eindkwalificaties) II. Programma III. Inzet van personeel IV. Voorzieningen V. Interne kwaliteitszorg VI. Resultaten VII. Indien van toepassing: Bijzonder kwaliteitskenmerk
52
© NQA – Fontys Hogeschool, opleiding Bedrijfskundige Informatica
Een andere ordening is mogelijk, mits de benodigde informatie per facet snel toegankelijk is voor de panels. Hierover kunt u desgewenst afspraken maken met NQA. Zoals hierboven reeds is aangegeven, stelt NQA ten aanzien van elk facet een of meerdere vragen waarop in de zelfevaluatie een antwoord wordt gegeven. Deze vragen hebben betrekking op het betreffende facet en de daarbij behorende criteria. Voor de beantwoording van die vragen zijn aanwijzingen gegeven over zaken die beschreven en documenten waarnaar verwezen kan worden. Deze aanwijzingen zijn indicatief en niet voorschrijvend bedoeld.
Omvang Het zelfevaluatierapport zal als zelfstandig document gelezen moeten kunnen worden; het zal dus voldoende informatie moeten bevatten. Bijlagen dienen als naslagwerk. Gevraagd wordt om de volgende bijlagen mee te sturen: - overzicht van beoogde eindkwalificaties; - het beroepsprofiel; - studiegids; - overzicht van programma/curriculum (voor elke variant en locatie); - overzicht van personeel (kwalificaties docenten); - kengetallen. In het zelfevaluatierapport kan daarnaast belangrijke informatie uit andere documenten worden opgenomen, onder verwijzing naar deze documenten (die tijdens het bezoek ter inzage worden gelegd). In de aanwijzingen is te vinden om welke documenten het kan gaan. Indien dat nodig is voor de oordeelsvorming door de panels, kan de opleiding (zowel vóór, tijdens, als na het bezoek) om aanvullende informatie gevraagd worden. NQA zal zich echter inspannen om de informatielast zo beperkt mogelijk te houden. Door het duidelijk verwijzen naar andere documenten kan het zelfevaluatierapport beperkt blijven tot ten hoogste 40 pagina’s per opleiding, in uitzonderlijke gevallen van grote complexiteit (veel locaties en varianten) tot maximaal 80 pagina’s.
© NQA - Fontys Hogeschool, opleiding Bedrijfskundige Informatica
53
1. Doelstellingen van de opleiding (beoogde eindkwalificaties)
1.1 Niveau bachelor - De eindkwalificaties van de opleiding sluiten aan bij algemene, internationaal geaccepteerde beschrijvingen van de kwalificaties van een bachelor. 1.2 Domeinspecifieke eisen - De eindkwalificaties van de opleiding sluiten aan bij de eisen die door (buitenlandse) vakgenoten en de beroepspraktijk gesteld worden aan een opleiding in het betreffende domein (vakgebied/discipline en/of beroepspraktijk). 1.3 Oriëntatie hbo bachelor - De eindkwalificaties zijn mede ontleend aan de door (of in samenspraak met) het relevante beroepenveld opgestelde beroepsprofielen en/of beroepscompetenties. - De eindkwalificaties weerspiegelen het niveau van beginnend beroepsbeoefenaar in een specifiek beroep of samenhangend spectrum van beroepen waarvoor een hbo-opleiding vereist is of dienstig is.
54
© NQA – Fontys Hogeschool, opleiding Bedrijfskundige Informatica
Vragen Welke eindkwalificaties worden beoogd?
Facet 1.1 1.2 1.3
Bij welke algemene, internationaal 1.1 geaccepteerde beschrijving van het bachelorniveau sluiten de beoogde eindkwalificaties aan?
Op welk specifiek beroep of 1.3 samenhangend spectrum van beroepen hebben de beoogde eindkwalificaties betrekking? Bij welke eisen van (buitenlandse) 1.2 vakgenoten en de (buitenlandse) beroepspraktijk sluiten de beoogde eindkwalificaties aan? Aan welke door het beoogde 1.2 beroepenveld opgestelde beroepsprofielen en/of beroepscompetenties zijn de beoogde eindkwalficaties ontleend? Waaruit blijkt dat de beoogde eindkwalificaties betrekking hebben op (ten minste) het niveau van een beginnend beroepsbeoefenaar?
1.3
Aanwijzing Verwijs naar een document waarin expliciet is beschreven voor welke specifieke competenties of specifieke kennis, houding, inzicht en vaardigheden de opleiding studenten beoogt op te leiden. Voeg dit document bij als bijlage. Geef aan wat voor de instelling het ‘bachelorniveau’ van een (beroepsgerichte) opleiding bepaalt. Welk internationaal referentiekader heeft de instelling hiervoor? Beschrijf hoe dit referentiekader in de beoogde eindkwalificaties tot uitdrukking komt. U zou hiervoor de Dublin-descriptoren (zie bijlage 2 in het NVAOaccreditatiekader) kunnen gebruiken. Deze beschrijven het bachelorniveau op een generiek abstractieniveau. De opleiding zou daarbij per descriptor kunnen aangeven voor welke beoogde eindkwalificaties de descriptor relevantie heeft. Indien u hierbij ondersteuning nodig heeft, of als u wilt weten hoe de Dublin-descriptoren zich verhouden tot de generieke kernkwalificaties van de Commissie Franssen/ proefaccreditering, neemt u dan contact op met NQA. Beschrijf het beroepenveld waarvoor de opleiding beoogt op te leiden.
Verwijs naar het document waarin de wensen en behoeften van het beoogde beroepenveld tot uitdrukking komen. Voeg dit document als bijlage bij het zelfevaluatierapport. Het gaat hierbij om een actueel, door (of in samenspraak met) het werkveld opgesteld beroepsprofiel. Geef aan of er internationale standaarden voor het beroep (en daarmee voor de opleiding) bestaan. Denk daarbij ook aan buitenlandse beroeps- of opleidingsprofielen of specifieke gegevens over buitenlandse opleidingen. Beschrijf hoe dit referentiekader zich verhoudt tot de beoogde eindkwalificaties. Wat moet de afgestudeerde ten minste kunnen en kennen om een goede start te kunnen maken in het beoogde beroepenveld? Beschrijf hoe dit in de beoogde eindkwalificaties tot uitdrukking komt.
© NQA - Fontys Hogeschool, opleiding Bedrijfskundige Informatica
55
2. Programma
2.1 Eisen hbo - Kennisontwikkeling door studenten vindt plaats via vakliteratuur, aan de beroepspraktijk ontleend studiemateriaal en via interactie met de beroepspraktijk en/of (toegepast) onderzoek. - Het programma heeft aantoonbare verbanden met actuele ontwikkelingen in het vakgebied / de discipline. - Het programma waarborgt de ontwikkeling van beroepsvaardigheden en heeft aantoonbare verbanden met de actuele beroepspraktijk. Vragen Op welke wijze beoogt de opleiding kennisontwikkeling door studenten plaats te laten vinden? Welke rol heeft vakliteratuur daarbij?
Hoe ontleent de opleiding studiemateriaal aan de beroepspraktijk? Hoe komen studenten in aanraking met de actuele beroepspraktijk?
Hoe wordt de ontwikkeling van beroepsvaardigheden vormgegeven? Op welke wijze is sprake van interactie met (toegepast) onderzoek?
Hoe wordt geborgd dat studenten de actuele ontwikkelingen in het vakgebied/de discipline meekrijgen? Welke aantoonbare verbanden met de actuele beroepspraktijk heeft de opleiding? Ervaren studenten, afgestudeerden en afnemend werkveld dat sprake is van een actueel en praktijkgericht programma?
56
Aanwijzingen Beschrijf hoe u de kennisontwikkeling door studenten programmeert. Voeg de studiegids bij als bijlage bij het zelfevaluatierapport. Beschrijf hoe gebruik gemaakt wordt van vakliteratuur over de opleiding als geheel. Stel (via de studiegids of via het materiaal dat ter inzage wordt gelegd) een lijst beschikbaar van vakliteratuur die wordt gebruikt. Beschrijf hoe de opleiding gebruik maakt van aan de praktijk ontleend studiemateriaal. Hoe wordt dat studiemateriaal ingezet in het programma? Geef aan hoe studenten in aanraking komen met de actuele beroepspraktijk: welke werkveldbezoeken, stages / praktijkperioden zijn in het programma opgenomen? Welke doelen zijn aan die programmadelen gekoppeld? Bij welke (buitenlandse) instellingen kunnen studenten stage lopen? Worden er gastcolleges gegeven door mensen uit het werkveld? Beschrijf hoe de ontwikkeling van beroepsvaardigheden binnen het programma vorm krijgt (bijvoorbeeld via ‘vaardighedenlijn’, praktijklessen, praktijkopdrachten, stages). Beschrijf hoe studenten in aanraking komen met (toegepast) onderzoek. Geef aan hoe relevante onderzoeksresultaten ingebracht worden in het programma. Zijn docenten betrokken bij de opzet / uitvoering van onderzoek? Is er een lectoraat of kenniskring dat specifieke betekenis heeft voor de opleiding? Moeten studenten zelf onderzoeksopdrachten uitvoeren, of moeten zij met onderzoeksresultaten werken? Geef aan hoe u waarborgt dat de actuele ontwikkelingen in het vakgebied/discipline binnen het programma aan bod komen. Denk bijvoorbeeld aan het gebruik van recente artikelen uit vaktijdschriften, afspraken / beleid rond de actualisering van de inhoud van modulen en daarbij horende readers. Beschrijf de structurele contacten met de beroepspraktijk. Is er bijvoorbeeld een werkveldcommissie? Zijn er andere verbanden met de actuele beroepspraktijk? Wat is de invloed hiervan op het programma? Geef aan welke evaluatieresultaten beschikbaar zijn (oordelen studenten, afgestudeerden, werkveld) over actualiteit en praktijkgerichtheid van het opleidingsprogramma (geef samenvattend de belangrijkste conclusies weer, stel complete resultaten ter inzage beschikbaar). Heeft dit geleid tot verbeteractiviteiten?
© NQA – Fontys Hogeschool, opleiding Bedrijfskundige Informatica
2.2 Relatie doelstellingen en inhoud programma - Het programma is een adequate concretisering van de eindkwalificaties, qua niveau, oriëntatie en domeinspecifieke eisen. - De eindkwalificaties van de doelstellingen zijn adequaat vertaald in leerdoelen van (onderdelen van) het programma. - De inhoud van het programma biedt studenten de mogelijkheid om de geformuleerde eindkwalificaties te bereiken. Vragen Wat is het programma van de opleiding?
Aanwijzingen Beschrijf kort het programma van de opleiding, inclusief (voornaamste verschillen tussen) eventuele varianten en locaties. Voeg een overzicht van het programma (curriculum) bij Hoe worden de beoogde als bijlage bij het zelfevaluatierapport. Geef daarbij aan eindkwalificaties qua niveau (zie 1.1) hoe de eindkwalificaties qua niveau, oriëntatie en geconcretiseerd in het programma? domeinspecifieke eisen worden geconcretiseerd in het Hoe worden de beoogde eindkwalificaties qua oriëntatie (zie 1.3) curriculum. Beschrijf hoe binnen de opleiding geborgd wordt dat alle kwalificaties binnen het programma geconcretiseerd in het programma? ‘gedekt’ zijn. Hoe worden de beoogde eindkwalificaties qua domeinspecifieke eisen (zie 1.2) geconcretiseerd in het programma? Hoe vindt de vertaling van Beschrijf hoe de koppeling van de beoogde eindkwalificaties in leerdoelen in het eindkwalificaties aan leerdoelen van programma plaats? programmaonderdelen tot stand is gekomen. Geef in het programmaoverzicht aan welke leerdoelen bij welke eindkwalificaties horen. Ervaren studenten dat door middel van Geef aan welke evaluatieresultaten beschikbaar zijn het programma de eindkwalificaties (oordelen afgestudeerden, studenten) over de aansluiting van het opleidingsprogramma op de kunnen worden bereikt? beoogde eindkwalificaties (geef samenvattend de belangrijkste conclusies weer, stel complete resultaten ter inzage beschikbaar). Heeft dit geleid tot verbeteractiviteiten?
© NQA - Fontys Hogeschool, opleiding Bedrijfskundige Informatica
57
2.3 Samenhang in opleidingsprogramma - Studenten volgen een inhoudelijk samenhangend opleidingsprogramma. Vragen Aanwijzingen Hoe wordt geborgd dat studenten een Geef aan welke samenhang naar uw opvatting in inhoudelijk samenhangend programma volgen? het programma bestaat. Is er een logische relatie tussen programmaonderdelen en tussen studiefases; hoe worden deze op elkaar afgestemd? Besteed ook aandacht aan eventuele internationale programmaonderdelen en hoe deze passen binnen de visie op internationalisering. Geef aan op welke manier de samenhang in de opleiding gewaarborgd wordt. Welke rol speelt het opleidingsmanagement daarin, hoe vindt afstemming tussen (groepen) docenten plaats? Ervaren studenten die samenhang ook? Geef aan welke evaluatieresultaten beschikbaar zijn (oordelen studenten, afgestudeerden) over de inhoudelijke samenhang binnen het opleidingsprogramma (geef samenvattend de belangrijkste conclusies weer, stel complete resultaten ter inzage beschikbaar). Heeft dit geleid tot verbeteractiviteiten?
2.4 Studielast - Het programma is studeerbaar doordat factoren, die betrekking hebben op dat programma en die de studievoortgang belemmeren zoveel mogelijk worden weggenomen. Vragen Hoe worden factoren die de studievoortgang belemmeren weggenomen?
Ervaren studenten een studeerbaar programma?
58
Aanwijzingen Geef aan wat de opleiding doet om een efficiënte studievoortgang mogelijk te maken. Hoe houdt de opleiding zicht op de vraag of zich belemmerende factoren voordoen? Welke stappen zet de opleiding wanneer zich problemen voordoen? Geef aan welke evaluatieresultaten beschikbaar zijn (oordelen studenten, afgestudeerden) over de studeerbaarheid van het opleidingsprogramma (geef samenvattend de belangrijkste conclusies weer, stel complete resultaten ter inzage beschikbaar). Heeft dit geleid tot verbeteractiviteiten?
© NQA – Fontys Hogeschool, opleiding Bedrijfskundige Informatica
2.5 Instroom - Het programma sluit qua vorm en inhoud aan bij de kwalificaties van de instromende studenten: vwo, havo, middenkaderopleiding of specialistenopleiding (WEB) of daarmee vergelijkbare kwalificaties, blijkend uit toelatingsonderzoek. Vraag Hoe wordt geborgd dat er aansluiting is qua vorm?
Hoe wordt geborgd dat er is aansluiting is qua inhoud?
Hoe wordt gedifferentieerd tussen instromende vwo-studenten, havostudenten en andere instromende studenten?
Ervaren studenten de aansluiting ook?
Aanwijzing Geef aan welke werkvormen de opleiding hanteert aan de start van de opleiding. Hoe sluiten die werkvormen aan op de vooropleiding van studenten? Beschrijf eventuele activiteiten die de opleiding aanbiedt om studenten te introduceren in de verwachte studiehouding c.q. de gehanteerde werkvormen. Geef aan welke toelatingseisen de opleiding stelt, welke deficiëntieprogramma’s worden aangeboden voor studenten die bepaalde vakken niet voldoende beheersen, en/of welke mogelijkheden er zijn voor bijscholing dan wel extra begeleiding. Beschrijf welke verkorte leerroutes worden aangeboden, en hoe en wanneer studenten in aanmerking komen voor vrijstellingen. Geef aan hoe de opleiding nagaat of sprake is van voldoende inhoudelijke aansluiting. Wordt bijvoorbeeld een assessment gehanteerd voor instromende studenten? Geef aan op welke manier gedifferentieerd wordt tussen vwo-instroom, havo-instroom en anderen. Beschrijf of en hoe de opleiding studieresultaten van verschillende groepen monitort, en hoe wordt ingespeeld op voorkomende aansluitingsproblemen. Welke activiteiten worden ondernomen om de aansluiting van (buitenlandse) studenten met een buitenlandse vooropleiding te bevorderen? Geef aan welke evaluatieresultaten beschikbaar zijn (oordelen studenten) over de aansluiting van de opleiding op de vooropleiding (geef samenvattend de belangrijkste conclusies weer, stel complete resultaten ter inzage beschikbaar). Heeft dit geleid tot verbeteractiviteiten?
2.6 Duur - De opleiding voldoet aan formele eisen met betrekking tot de omvang van het curriculum: hbo-bachelor: 240 studiepunten. Vragen Voldoet de opleiding aan de formele eis van 240 studiepunten? Waaruit blijkt dat?
Aanwijzingen Geef aan hoe uit de opbouw van het opleidingsprogramma en de omvang van modulen blijkt dat de totale studiebelasting van de opleiding aan de formele eis voldoet.
© NQA - Fontys Hogeschool, opleiding Bedrijfskundige Informatica
59
2.7 Afstemming tussen vormgeving en inhoud - Het didactisch concept is in lijn met de doelstellingen. - De werkvormen sluiten aan bij het didactisch concept. Vragen Wat is het didactisch concept van de opleiding? Hoe verhoudt dat didactisch concept zich tot de beoogde eindkwalicaties (doelstellingen)?
Aanwijzingen Beschrijf het didactisch concept van de opleiding. Beschrijf kort hoe het didactisch concept zich verhoudt tot (afgestemd is op) de doelstellingen van de opleiding. Ervaren studenten dat de gehanteerde Beschrijf de uitwerking van het didactisch werkvormen adequaat zijn en aansluiten bij het concept naar het gebruik van verschillende didactisch concept? werkvormen binnen de opleiding. Geef aan welke evaluatieresultaten beschikbaar zijn (oordelen studenten, afgestudeerden) over het didactisch concept en de gehanteerde werkvormen binnen de opleiding (geef samenvattend de belangrijkste conclusies weer, stel complete resultaten ter inzage beschikbaar). Heeft dit geleid tot verbeteractiviteiten?
2.8 Beoordeling en toetsing - Door de beoordelingen, toetsingen en examens wordt adequaat getoetst of de studenten de leerdoelen van (onderdelen van) het programma hebben gerealiseerd. Vragen Op welke wijze worden studenten beoordeeld, getoetst en geëxamineerd?
Ervaren studenten dat zij adequaat getoetst worden op het behalen van de beoogde leerdoelen?
60
Aanwijzingen Beschrijf het toetsbeleid en de verschillende toetsvormen van de opleiding. Betrek hierbij ook de stage- en afstudeeropdrachten. Geef aan hoe de toetsvormen zich verhouden tot de doelstellingen van de opleiding en de leerdoelen. Beschrijf welke afspraken bestaan ten aanzien van de formulering en toepassing van beoordelingscriteria en de verzorging van feedback aan studenten. Geef aan hoe de kwaliteit van de toetsen binnen de opleiding wordt geborgd. Als studenten toetsing bij een buitenlandse instelling of bij een instelling in het werkveld ondergaan, hoe vergewist zich de opleiding dan van de kwaliteit van deze toetsing? Geef aan welke evaluatieresultaten beschikbaar zijn (oordelen studenten, afgestudeerden) over de gehanteerde toetsvormen, het niveau van de toetsen en de feedback die studenten over resultaten krijgen (geef samenvattend de belangrijkste conclusies weer, stel complete resultaten ter inzage beschikbaar). Heeft dit geleid tot verbeteractiviteiten?
© NQA – Fontys Hogeschool, opleiding Bedrijfskundige Informatica
3. Inzet van personeel
3.1 Eisen hbo - Het onderwijs wordt voor een belangrijk deel verzorgd door personeel dat een verbinding legt tussen de opleiding en de beroepspraktijk. 3.2 Kwantiteit personeel - Er wordt voldoende personeel ingezet om de opleiding met de gewenste kwaliteit te verzorgen. 3.3 Kwaliteit personeel - Het personeel is gekwalificeerd voor de inhoudelijke, onderwijskundige en organisatorische realisatie van het programma. Vragen Welk deel van de opleiders legt een verbinding met de beroepspraktijk?
Facet Aanwijzingen 3.1 Geef aan welk deel van de opleiders beschikt over recente ervaring met en/of kennis van de beroepspraktijk. Voeg een overzicht van het personeel als bijlage bij het zelfevaluatierapport. Neem in dit overzicht de leeftijd, het geslacht en de kwalificaties van docenten/opleiders op, met name de gevolgde opleidingen, cursussen en trainingen, huidige en vorige werkkringen en functies, eventuele docentstages en andere relevante informatie over de interactie met de beroepspraktijk.
Waaruit blijkt dat sprake is van voldoende personeel om de gewenste kwaliteit te verzorgen?
3.2
Hoe wordt geborgd dat de 3.3 opleiders gekwalificeerd zijn voor de inhoudelijke, onderwijskundige en organisatorische realisatie van het programma?
Ervaren studenten en opleiders zelf dat opleiders gekwalificeerd zijn?
3.3
Beschrijf de visie van de opleiding op de verhouding tussen de omvang van het personeel en de gewenste kwaliteit. Reflecteer op de actuele en gewenste student/docent ratio. Hoe hoog is het ziekteverzuim? Wat zijn de streefcijfers voor de werkbelasting van docenten en hoe verhoudt zich dit tot de ervaren werkbelasting? Als er personeelstekorten zijn, hoe gaat de opleiding dan hiermee om? Beschrijf de visie van de opleiding op de inhoudelijke, onderwijskundige en organisatorische kwalificaties van docenten/opleiders. Geef aan hoe gebruik wordt gemaakt van scholing en professionalisering om deze kwalificaties te verbeteren c.q. op peil te houden. Welke rol hebben functionerings- en beoordelingsgesprekken (frequentie, inhoud) hierbij? Hoe worden docenten/opleiders in de gelegenheid gesteld om actuele (internationale) ontwikkelingen in het beroepenveld en vakgebied te volgen? Als er onderwijs in een vreemde taal wordt verzorgd, hoe borgt de opleiding dan de kwaliteit daarvan (vreemde taalbeheersing van docenten)? Geef aan welke evaluatieresultaten beschikbaar zijn (oordelen studenten en opleiders) over de inhoudelijke (inclusief beroepspraktijkkennis/ervaring), onderwijskundige en organisatorische kwalificaties (geef samenvattend de belangrijkste conclusies weer, stel complete resultaten ter inzage beschikbaar). Heeft dit geleid tot verbeteractiviteiten?
© NQA - Fontys Hogeschool, opleiding Bedrijfskundige Informatica
61
4. Voorzieningen
4.1 Materiële voorzieningen - De huisvesting en materiële voorzieningen zijn toereikend om het programma te realiseren. Vragen Waaruit blijkt dat huisvesting en materiële voorzieningen toereikend zijn om het programma te realiseren?
Ervaren studenten en docenten dat de huisvesting en materiële voorzieningen toereikend zijn?
Aanwijzingen Beschrijf de locatie, de bibliotheek- of mediatheek, de ict-voorzieningen, en de onderwijs-, praktijk-, studieen werkruimten. Geef daarbij aan hoe wordt getoetst of met de bestaande huisvesting en materiële voorzieningen het programma gerealiseerd kan worden. Zijn deze afgestemd op de behoeften van eventuele buitenlandse, deeltijd- en duaal studenten? Welke verbeteringen zijn gepland, op welke termijn, en welke middelen zijn daarvoor gereserveerd? Verwijs naar opinies over huisvesting en materiële voorzieningen in studenten- en docentenevaluaties (geef samenvattend de belangrijkste conclusies weer, stel complete resultaten ter inzage beschikbaar). Wat is er met de uitkomsten gedaan?
4.2 Studiebegeleiding Vragen Hoe dragen de studiebegeleiding en informatievoorziening bij aan de studievoortgang van studenten?
Ervaren studenten dat de studiebegeleiding en informatievoorziening voldoet aan hun behoeften?
62
Aanwijzingen Beschrijf het systeem van studiebegeleiding en studievoortgangsregistratie. Beschrijf ook hoe de informatievoorziening aan studenten plaatsvindt. Geef bij deze beschrijvingen aan, mede aan de hand van rendementscijfers, welke knelpunten er zijn met betrekking tot de studievoortgang. Heeft dit gevolgen voor de studiebegeleiding of de informatievoorziening aan studenten? Als er (veel) buitenlandse studenten zijn, geef dan aan of hier speciale voorzieningen voor zijn getroffen. Verwijs naar opinies over studiebegeleiding en informatievoorziening in studentenevaluaties (geef samenvattend de belangrijkste conclusies weer, stel complete resultaten ter inzage beschikbaar). Besteed daarbij speciale aandacht aan de begeleiding van studenten in de propedeuse en tijdens de (binnenen buitenlandse) stages en in de afstudeerfase. Ga ook in op studenttevredenheid over zaken als roosters, toegankelijkheid van en informatieverstrekking door docenten. Geef aan wat met de uitkomsten van deze studentenevaluaties is gedaan.
© NQA – Fontys Hogeschool, opleiding Bedrijfskundige Informatica
5. Interne kwaliteitszorg
5.1 Evaluatie resultaten - De opleiding wordt periodiek geëvalueerd, mede aan de hand van toetsbare streefdoelen. 5.2 Maatregelen tot verbetering - De uitkomsten van deze evaluatie vormen de basis voor aantoonbare verbetermaatregelen die bijdragen aan de realisatie van de streefdoelen. 5.3 Betrekken van medewerkers, studenten, alumni en beroepenveld. - Bij de interne kwaliteitszorg zijn medewerkers, studenten, alumni en het afnemend beroepenveld van de opleiding actief betrokken. Vragen Welke aspecten worden geëvalueerd, hoe en met welke frequentie?
Facet Aanwijzing 5.1 Beschrijf de evaluaties die plaatsvinden en de frequentie daarvan, de onderwerpen (aspecten) waarop de evaluaties betrekking hebben, en de methoden die gebruikt worden. Verwijs naar het kwaliteitszorgplan of andere relevante kwaliteitszorgdocumenten. Geef voor elk van de aspecten die geëvalueerd worden aan Wat zijn daarbij de streefdoelen en 5.1 welke streefdoelen zijn geformuleerd. Hoe wordt getoetst of de hoe wordt getoetst of deze zijn streefdoelen zijn bereikt? Hoe zorgt de opleiding ervoor dat bereikt? deze toetsing gebeurt op basis van betrouwbare en valide informatie? 5.2 Beschrijf wat er met de uitkomsten van evaluaties gebeurt. Waaruit blijkt dat uitkomsten van Geef aan of (en voor welke aspecten) er sprake is van een evaluaties tot verbeteringen verbetercyclus (plan, do check, act). Geef zo mogelijk een hebben geleid? aantal praktijkvoorbeelden. Heeft de opleiding nader onderzoek gedaan naar verschillen tussen nagestreefde en behaalde resultaten? Zijn er maatregelen tot verbetering genomen? Zo ja, wie is verantwoordelijk voor het doorvoeren van verbeteringen? Op welke termijn en met welke prioriteit worden verbeteringen doorgevoerd? Hoe wordt nagegaan of de beoogde verbeteringen worden gerealiseerd? 5.3 Beschrijf bij welke evaluaties medewerkers, studenten, alumni Op welke wijze worden: en het afnemend beroepenveld worden betrokken. Hoe vaak -medewerkers, gebeurt dit? Hoe wordt ervoor gezorgd dat deze evaluaties -studenten, representatief zijn voor deze groepen? Worden de resultaten -alumni van evaluaties teruggekoppeld naar betrokkenen? Kunnen -afnemend beroepenveld genoemde groepen ook ongevraagd zaken die voor hen van bij de interne kwaliteitszorg belang zijn doorgeven aan de opleiding en wat doet de betrokken? opleiding hiermee? Geef aan hoe de inspraak van studenten en medewerkers is geregeld. Als de opleiding intensief samenwerkt met buitenlandse partnerinstellingen (uitwisselingen, dubbeldiplomering, etc.) of met instellingen in het beroepenveld (met name bij duale trajecten) geef dan aan hoe de kwaliteit van de samenwerking wordt bewaakt.
© NQA - Fontys Hogeschool, opleiding Bedrijfskundige Informatica
63
6. Resultaten
6.1 Onderwijsrendement - Voor het onderwijsrendement zijn streefcijfers geformuleerd in vergelijking met relevante andere opleidingen. - Het onderwijsrendement voldoet aan deze streefcijfers. Vragen Hoe wordt het onderwijsrendement bepaald?
Wat zijn daarbij de streefcijfers? Hoe verhouden deze zich tot relevante andere opleidingen? Voldoet het rendement aan de eigen streefcijfers?
Aanwijzingen Vul het overzicht met kengetallen in (zie bijlage 1) en voeg dit als bijlage bij het zelfevaluatierapport. Geef aan wat de opleiding zelf als de belangrijkste kengetallen ziet. Wat bepaalt voor de opleiding het onderwijsrendement? Geef aan welke streefcijfers voor het rendement de opleiding hanteert. Beargumenteer de keuze van de streefcijfers, met name hoe deze zich verhouden tot die van relevante andere opleidingen. Verwijs naar het overzicht met kengetallen voor een beoordeling van de mate waarin het rendement voldoet aan de streefcijfers. Hoe verhoudt zich dit tot het rendement van relevante andere opleidingen? Wat zijn de oorzaken voor tekortschietende rendementen? Wat heeft de opleiding gedaan om het rendement te verbeteren?
6.2 Gerealiseerde niveau - De gerealiseerde eindkwalificaties zijn in overeenstemming met de nagestreefde eindkwalificaties qua niveau, oriëntatie en domeinspecifieke eisen. Vragen Hoe wordt bepaald of beoogde eindkwalificaties zijn gerealiseerd? - qua niveau (zie 1.1)? - qua oriëntatie (zie 1.3)? - qua domeinspecifieke eisen (zie 1.2)?
Aanwijzingen Geef aan hoe de opleiding toetst of de beoogde eindkwalificaties zijn gerealiseerd (dit geldt ook voor in het buitenland gevolgde programmaonderdelen). Maak daarbij een onderscheid naar niveau, oriëntatie en domeinspecifieke eisen. Besteed ook aandacht aan de toetsing van afstudeeropdrachten, de examinering en de eventuele betrokkenheid van het werkveld of andere externe (mede)beoordelaars.
Bestaat er tevredenheid in het werkveld over de gerealiseerde kwalificaties?
Geef aan welke evaluatieresultaten beschikbaar zijn (oordelen afgestudeerden, afnemend werkveld) over de gerealiseerde kwalificaties (geef samenvattend de belangrijkste conclusies weer, stel complete resultaten ter inzage beschikbaar). Heeft dit geleid tot verbeteractiviteiten?
64
© NQA – Fontys Hogeschool, opleiding Bedrijfskundige Informatica
7. Bijzondere kwaliteitskenmerken (facultatief)
7.1 Differentiatie en profilering - Het kenmerk levert een betekenisvolle bijdrage aan de differentiatie en profilering in het hoger onderwijs. 7.2 Kwaliteit - Het kenmerk leidt tot een bijzondere kwaliteit van het onderwijs. 7.3 Concretisering - De gevolgen van het kenmerk voor de kwaliteit van het onderwijs (instroom, onderwijsprogramma, onderwijsproces, output, voorzieningen, kwaliteit staf) zijn geoperationaliseerd. 7.4 Onderscheidend karakter - Het kenmerk is onderscheidend voor de opleiding in relatie tot relevante opleidingen in het Nederlands hoger onderwijs. N.B. In de NVAO toelichting wordt expliciet gesteld, dat de bewijslast voor de bijzondere kwaliteit bij de instelling ligt. De opleiding moet de VBI overtuigen van het bijzondere karakter van het kenmerk van de opleiding. Vragen Is het bijzondere kenmerk gedefinieerd in doelen en concrete operationaliseerbare termen? Is het kenmerk betekenisvol?
Facet Aanwijzingen 7.2 Beschrijf welke bijzondere kwaliteit de opleiding 7.3 nastreeft, met daarbij de doelen en te verwachten resultaten. 7.1
Is het kenmerk geoperationaliseerd en aantoonbaar aanwezig in de opleiding?
7.3
Is de opleiding onderscheidend ten opzichte van andere (verwante) opleidingen in Nederland?
7.4
Dit kan onder andere blijken uit de waardering van het kenmerk door studenten, alumni, werkveld, docenten, maatschappelijke organisaties. Geef aan hoe het kenmerk expliciet terug te vinden is in programmaonderdelen, in opdrachten, eindresultaat (inhoud en indien relevant rendement), voorzieningen, kwaliteit staf). Hier is ook de waardering door stakeholders van belang. De opleiding heeft een vergelijkend onderzoek uitgevoerd of laten uitvoeren (kan ook door NQA) onder verwante opleidingen in Nederland. Uit dit vergelijkende onderzoek blijkt dat de opleiding zich op dit kenmerk onderscheidt van andere (verwante) opleidingen.
© NQA - Fontys Hogeschool, opleiding Bedrijfskundige Informatica
65
Bijlage 1.
Kengetallen
Instroom, uitstroom, ingeschreven, personeel Opleiding X Totaal aantal ingeschreven studenten Totaal aantal docenten* Omvang docerend personeel in fte Student / fte ratio Instroom propedeuse, eerste keer hbo Totaal aantal instromende studenten: ‘instroom opleiding’ Totaal aantal geslaagden Aantal geslaagden uit propedeuse instroom ‘eerste keer hbo’ Gemiddelde studieduur geslaagden, in jaren Aantal studiestakers Gemiddelde studieduur studiestakers, in jaren
1997
1998
1999
2000
2001
Opleidingsrendement, in percentage van instroom propedeuse, eerste keer hbo (instroomcohorten) 1997 1998 1999 2000 2001 Diploma behaald na 1 jaar Diploma behaald na 2 jaar. Diploma behaald na 3 jaar Diploma behaald na 4 jaar Diploma behaald na 5 jaar Diploma behaald na 6 jaar
Uitvalpercentage van instroom propedeuse, eerste keer hbo (instroomcohorten) 1997 1998 1999 2000 2001 Percentage uitval na 1 jaar Percentage uitval na 2 jaar Percentage uitval na 3 jaar Percentage uitval na 4 jaar Percentage uitval na 5 jaar Percentage uitval na 6 jaar
66
2002
2002
2001
© NQA – Fontys Hogeschool, opleiding Bedrijfskundige Informatica
Bijlage 4
Beoordelingsprotocol van Netherlands Quality Agency (NQA)
© NQA - Fontys Hogeschool, opleiding Bedrijfskundige Informatica
67
68
© NQA – Fontys Hogeschool, opleiding Bedrijfskundige Informatica
Beoordelingsprotocol: operationalisering criteria accreditatiekader
De operationalisering geschiedt in de werkwijze van NQA door middel van richtlijnen voor de zelfevaluatie. Deze richtlijnen vormen een vertaling van het NVAO-kader naar aandachtspunten voor de zelfevaluatie. In de richtlijnen zijn naast algemene eisen (bijvoorbeeld ten aanzien van omvang en bijlagen) die aan een zelfevaluatierapport gesteld worden ook vragen en aanwijzingen voor de opleiding opgenomen. De vragen zijn rechtstreeks afgeleid van de facetten en criteria in het NVAO-kader. De vragen zouden daarom beantwoord moeten worden in het zelfevaluatierapport. De aanwijzingen zijn bedoeld als hulpmiddel bij het schrijven van het zelfevaluatierapport en zijn daarom meer indicatief van aard. De richtlijnen hebben als titel ‘De zelfevaluatie in verband met NVAO-accreditatie: vragen en aanwijzingen’ en zijn als bijlage opgenomen. Het betreft een concept dat verder verbeterd wordt naar aanleiding van opmerkingen van betrokkenen en eventuele wijzigingen als gevolg van de definitieve goedkeuring van het accreditatiekader.
© NQA - Fontys Hogeschool, opleiding Bedrijfskundige Informatica
69
Beoordelingsprotocol: operationalisering beslisregels Inleiding De NVAO beschrijft in het accreditatiekader (hfst. 4) beslisregels voor de accreditatie. Een beslisregel is heel expliciet: de opleiding komt alleen voor een positief eindoordeel in aanmerking als op alle onderwerpen (6x) een voldoende wordt gescoord. Aan de VBI wordt overgelaten om voor het oordeel per onderwerp beslisregels te formuleren teneinde te komen tot een weging van oordelen over de afzonderlijke facetten van dat onderwerp. Er wordt hier dus niet gesteld dat er ook beslisregels moeten zijn die leiden tot een oordeel over een facet. In de toelichting (pag. 17) staat echter, dat ‘afwegingen op alle niveaus -facetten, onderwerpen en eindoordeel- inzichtelijk’ gemaakt moeten worden. Dit houdt in dat er ook aangegeven zou moeten worden hoe je van criteria tot een facetoordeel komt. Alleen de beoordeling per criterium is ‘vrij’. Een belangrijke aanwijzing in de toelichting is, dat de waardering ‘goed’ of ‘excellent’ gebruikt kan worden als compensatie voor een ‘onvoldoende’ op een facet binnen hetzelfde onderwerp. Daarmee mag echter ‘niet louter instrumenteel worden omgegaan’; inhoudelijke afweging blijft noodzakelijk. Samenvattend zijn er volgens NVAO dus 3 afwegingen noodzakelijk: - betreffende het eindoordeel; - betreffende het onderwerp (van facet naar onderwerp); - betreffende het facet. Bovendien dienen afwegingen niet ‘louter instrumenteel’ (compensatieregeling), maar ook inhoudelijk gemotiveerd te zijn.
Eindoordeel Het eindoordeel over de opleiding is positief indien het oordeel over elk van de 6 onderwerpen tenminste voldoende is. NVAO heeft bepaald dat voor elke opleidingsvariant afzonderlijk de basiskwaliteit gewaarborgd moet zijn. Ook heeft NVAO bepaald dat de opleiding alleen in aanmerking komt voor accreditatie als elke locatie voldoet aan de in het kader genoemde criteria voor basiskwaliteit. Dit zou inhouden dat een positief eindoordeel alleen mogelijk is als elke variant en elke locatie op elk onderwerp tenminste als voldoende is beoordeeld. De consequentie hiervan zou zijn dat accreditatie wordt onthouden indien de grote voltijdvariant en de hoofdlocatie als voldoende worden beoordeeld, maar een kleine deeltijd- of duale variant of een kleinere nevenvestiging als onvoldoende wordt beoordeeld. Omdat dit tot onevenredige schade zou leiden, heeft NVAO de weg geopend om tot nadere afspraken met de instelling te komen over verbeteren of stoppen met de betreffende variant (zie brief NVAO d.d. 13-3-2003).
70
© NQA – Fontys Hogeschool, opleiding Bedrijfskundige Informatica
Om het instelling en NVAO mogelijk te maken hieromtrent transparante beslissingen te nemen, wordt bij de vermelding van het eindoordeel een samenvattende tabel geplaatst met daarin de oordelen per onderwerp, facet, variant en locatie.
Oordeel per onderwerp Het uitgangspunt voor de oordeelsvorming per onderwerp is dat het panel, rekening houdend met de context van de opleiding, de weging van facetten maakt. Dit betekent dat het panel bepaalt voor welke facetten binnen een bepaald onderwerp een compensatieregeling, zoals aangegeven door NVAO, kan worden toegepast. Dit wil zeggen dat een onvoldoende op een facet gecompenseerd kan worden door een goed of excellent op een ander facet binnen hetzelfde onderwerp. Deze afweging dient door het panel steeds inhoudelijk beargumenteerd te worden. Ten behoeve van consistentie in de afweging binnen en tussen panels zal NQA een handreiking voor panelleden verschaffen. In deze handreiking wordt onder meer ingegaan op de wijze waarop oordelen onderbouwd kunnen worden 2 . Daarbij wordt speciale aandacht gevraagd voor de facetten die, gegeven het NVAO-kader, bij accreditatie van bijzonder belang geacht kunnen worden. Dit betreft binnen het onderwerp doelstellingen de facetten niveau, oriëntatie en domeinspecifieke eisen. Voorts binnen de onderwerpen programma en inzet van personeel de facetten eisen hbo/wo. Tenslotte binnen het onderwerp intern kwaliteitszorgsysteem het facet maatregelen tot verbetering, waarin de kwaliteitsverbetercyclus primair tot uiting komt, en binnen het onderwerp resultaten het facet gerealiseerd niveau. Hiermee wordt aangesloten bij de toelichting op het accreditatiekader waarin NVAO duidelijk aangeeft dat de onderwerpen intern kwaliteitszorgsysteem en resultaten van bijzonder belang worden geacht. Verder zal NQA een structuur creëren waarbinnen consistentie van paneloordelen wordt bevorderd. Binnen deze structuur is een belangrijke rol weggelegd voor de secretaris, die op methodologische aspecten en consistentie van paneloordelen moet letten. Om de consistentie tussen panels te bevorderen zal NQA een permanent overleg tussen panelsecretarissen inrichten. Ook zullen beoordelingsrapporten altijd worden tegengelezen door 1 of meer andere NQA medewerkers, waarbij speciaal op consistentie en overige methodologische aspecten gelet zal worden. Indien dit tot een negatieve conclusie op het punt van methodologie of consistentie leidt, kan de directie van NQA passende maatregelen nemen, waaronder terugzending van het rapport naar het panel.
2
De handreiking zal ook andere aandachtspunten bevatten, bijvoorbeeld met betrekking tot de zelfevaluatie. Zo mag een zelfkritische zelfevaluatie er niet toe leiden dat een opleiding door het panel ‘gestraft’ wordt door zelfkritiek van de opleiding over te nemen in de beoordeling en op basis hiervan tot een negatief oordeel op het betreffende facet te komen. Veeleer is het zo dat zelfkritiek een aanwijzing kan zijn voor een goed functionerend kwaliteitszorgsysteem, dat vertrouwen kan geven in snelle verbeteringen van geconstateerde tekortkomingen. Een zelfkritische zelfevaluatie zal daarom in positieve zin moeten worden meegewogen bij de oordeelsvorming door de panels.
© NQA - Fontys Hogeschool, opleiding Bedrijfskundige Informatica
71
Eventueel optredende verschillen tussen varianten en locaties met betrekking tot het paneloordeel op een bepaald onderwerp zullen expliciet vermeld worden.
Oordeel per facet Om tot een oordeel op een facet te komen, is er vaak één en zijn er soms meerdere criteria die beoordeeld moeten worden. In het geval van één criterium is de situatie in principe duidelijk; dit moet voldoende zijn om tot een ‘voldoende’ op het facet te komen. Daar waar er meerdere criteria zijn (soms drie) ligt dat moeilijker. Om te bepalen of aan de criteria wordt voldaan, zijn voor de externe kwaliteitsbeoordelaars van NQA de volgende vragen van belang: Doelen: welke ambitie heeft de opleiding ten aanzien van een bepaald facet: welke kwaliteit wordt nagestreefd; welke resultaten worden beoogd, kortom; wat zijn de eigen doelen? Borging: hoe borgt de opleiding dat deze doelen kunnen worden bereikt; zijn beleid, management en processen logisch op die eigen doelen afgestemd? Resultaten 3 : hoe verhouden de bereikte resultaten zich tot de eigen doelen (mede in vergelijking met andere opleidingen); zijn direct betrokkenen (stakeholders) tevreden over de bereikte resultaten? Verbetering: indien het borgen en bereiken van de doelen te wensen overlaat, zijn er dan verbeteringen in het vooruitzicht? De vragen die in de richtlijnen van NQA voor de zelfevaluatie aan opleidingen worden gesteld, houden verband met de doelen 4 , borging, resultaten en verbetering. De kern vormen de resultaten en de borging; dus datgene wat bereikt is en de borging daarvan in de toekomst (accreditatie wordt immers voor zes jaar verleend). Het ligt dan ook voor de hand dat panels bij de oordeelsvorming een belangrijke plaats inruimen voor de resultaten en de borging. Toch kan het niet zo zijn dat een tekortschietende borging of nog uitblijvende resultaten ‘automatisch’ tot een onvoldoende op het betreffende facet leidt. Zo zal er bijvoorbeeld begrip moeten zijn voor het feit dat veel opleidingen zich op sommige facetten, die nieuw zijn ten opzichte van visitaties (bijvoorbeeld de Dublin-descriptoren bij de niveaubepaling), zich nog in een ontwikkelingsstadium bevinden. In dergelijke gevallen kunnen onvoldoende resultaten of borging gecompenseerd worden door concrete en aantoonbare verbeteracties. Zijn de resultaten boven verwachting en de doelen ook in orde, dan kan het panel een oordeel ‘goed’ overwegen. Is de situatie zodanig dat zelfs geen verbeteringen meer nodig zijn, dan kan een oordeel ‘excellent’ gegeven worden. In een dergelijk geval fungeert de opleiding als voorbeeld van een ‘best practice’ op het betreffende facet. Eventueel optredende verschillen tussen varianten en locaties met betrekking tot het paneloordeel op een bepaald facet zullen expliciet vermeld worden.
3
Hiermee is niet het onderwerp ‘resultaten’ bedoeld maar de bereikte resultaten ten aanzien van elk facet. Echter niet bij elk aspect, bijvoorbeeld bij duur van programma is er sprake van een wettelijke verplichting waar de opleiding geen afwijkende doelstellingen tegenover kan stellen.
4
72
© NQA – Fontys Hogeschool, opleiding Bedrijfskundige Informatica
Beoordelingsprotocol: werkwijze bij visitaties
Inleiding De beschrijving van de werkwijze gaat in eerste instantie uit van een ‘enkelvoudige’ beoordeling: een beoordeling die gericht is op één opleiding, met één (vt/dt/duaal) variant, op één locatie. Na die kernbeschrijving zal worden aangegeven op welke manier NQA om wil gaan met een meer complexe beoordeling, dat wil zeggen hoe de werkwijze wordt aangepast wanneer meerdere opleidingen, varianten en/of locaties gelijktijdig beoordeeld worden. Procedureel en in de tijd onderscheidt NQA de volgende fasen:
Intake De intake is erop gericht vast te stellen wat de bepalende randvoorwaarden zijn binnen een beoordelingsproject: • op welke en hoeveel opleidingen is de beoordeling gericht; • welke varianten (voltijd, deeltijd, duaal) van de opleidingen worden aangeboden; • op hoeveel locaties worden opleidingen aangeboden; • eventuele bijzondere kwaliteitskenmerken; • eventuele additionele behoeften, zoals de wijze waarop (internationale) vergelijkingen tussen opleidingen worden uitgevoerd, of het aanbieden van een vertrouwelijke management letter gericht op kwaliteitsverbetering. In gevallen waar het gaat om meerdere opleidingen, wordt eveneens bezien in hoeverre opleidingen aan elkaar verwant zijn, en in welke mate het beoordelingsproces als gevolg daarvan geïntegreerd kan worden. NQA heeft hiertoe een intakeformulier ontwikkeld, dat in overleg met de betreffende hogeschool wordt ingevuld en vastgesteld.
Inhoudelijke voorbereiding op de zelfevaluatie en het beoordelingsbezoek In de voorbereiding op zelfevaluatie en bezoek worden de volgende stappen gezet. Opleiding • Alvorens de zelfevaluatie wordt gestart treedt de opleiding in overleg met NQA over de opzet van de zelfevaluatie (NQA heeft richtlijnen voor het zelfevaluatierapport opgesteld).
© NQA - Fontys Hogeschool, opleiding Bedrijfskundige Informatica
73
•
•
Bij de start van het zelfevaluatieproces geeft de opleiding aan welk domeinspecifiek referentiekader men wenst te hanteren en communiceert hierover met NQA ten behoeve van de vaststelling van het domeinspecifieke kader. De opleiding schrijft het zelfevaluatierapport inclusief bijlagen en stelt dit ter beschikking aan NQA binnen een vantevoren aangegeven termijn.
Panelsecretaris (medewerker NQA 5 ) • Naar aanleiding van de opgave van het domeinspecifieke referentiekader door de opleiding: de secretaris checkt met domeindeskundige(n) in het panel aan de hand van ankerpunten (beroepsprofielen, competentiecatalogi, in eerdere visitaties gebruikte beoordelingskaders) of sprake is van adequate domeinspecifieke doelstellingen, of dat nadere aanvulling dan wel specificatie van domeinspecifieke doelstellingen nodig is. • Check op kwaliteit en compleetheid zelfevaluatierapport. • Vastleggen / communiceren voorbereidende werkzaamheden panel. • Inhoudelijke voorbereiding op bezoek: lezen zelfevaluatierapport, formuleren voorlopige oordelen en vraagpunten. • Opstellen overzicht / aggregatie van voorlopige oordelen en vraagpunten van panelleden. Dit kan worden besproken tijdens de voorbereidende vergadering (die voorafgaande aan de gesprekken plaatsvindt). Panel als geheel • Inhoudelijke voorbereiding op bezoek: lezen zelfevaluatierapport en formuleren voorlopige oordelen en vraagpunten. • Doorgeven voorlopige oordelen en vraagpunten naar panelsecretaris. • Op basis van het overzicht van voorlopige oordelen inventariseren kernpunten en prioriteiten voor materialenonderzoek en gesprekken (dit kan geschieden tijdens de voorbereidende vergadering).
Beoordeling materiaal en faciliteiten (tijdens beoordelingsbezoek) NQA stelt een lijst van ter inzage gevraagd materiaal op. Naar aanleiding van de bestudering van het zelfevaluatierapport en de door het panel geformuleerde vraagpunten kan aanvullend specifiek materiaal gevraagd worden. Het panel beoordeelt ter inzage gelegde materialen. Waar nodig en mogelijk vraagt NQA de opleiding ook toegang tot digitaal materiaal, zoals bijvoorbeeld een digitale studiegids of een digitale leeromgeving. Interviews / gesprekken 5
Conform de bepalingen van NVAO bestaat het panel uit drie leden (voorzitter, secretaris en lid) plus, voorzover vereist, een studentlid. De panelsecretaris maakt deel uit van het panel; in de persoon van de panelsecretaris is in principe audit- en onderwijsdeskundigheid verenigd. De voorzitter en het andere panellid maken deel uit van een ‘pool’ van panelleden. In deze personen is domeinspecifieke deskundigheid in discipline en afnemend veld, alsmede deskundigheid over de internationale ontwikkeling van de discipline, vertegenwoordigd. Zij hebben de algemene training op het vlak van auditvaardigheden en het werken met het NQA protocol doorlopen.
74
© NQA – Fontys Hogeschool, opleiding Bedrijfskundige Informatica
Tijdens de site visit spreekt het panel in ieder geval met (representatieve vertegenwoordigingen van) de volgende groepen: • management (dagelijkse leiding) van de opleiding (operationeel management); • docenten; • studenten; • werkveld 6 ; • afgestudeerden; • College van Bestuur en/of Faculteits/Instituuts/Schooldirectie (strategisch management); dit gesprek kan ook plaats vinden voor een cluster van bij de betreffende instelling beoordeelde opleidingen.
Bezoekprogramma NQA heeft een raamprogramma ontwikkeld voor de (dag)indeling van het beoordelingsbezoek, dat kan worden aangepast aan de specifieke situatie bij de betreffende opleiding. Het raamprogramma heeft betrekking op een ‘enkelvoudige’ beoordeling: een beoordeling die gericht is op één opleiding, met één (voltijd/deeltijd/duaal) variant, op één locatie. Wanneer sprake is van een beoordeling van een opleiding die met meerdere varianten, of op meerdere locaties wordt aangeboden, worden globaal de volgende uitgangspunten gehanteerd: 1. Bij de intake wordt voor elke variant en locatie nagegaan in hoeverre sprake is van een overeenkomst in programma’s en docententeams. 2. Bij varianten (vt/dt/duaal) waar sprake is van een duidelijke overeenkomst in het programma en het docententeam wordt het beoordelingsbezoek geïntegreerd uitgevoerd. Dit houdt in dat elk van de gespreksgroepen representatief samengesteld moet zijn, dat wil zeggen dat studenten, docenten en afgestudeerden van elke variant bevraagd kunnen worden. Indien tussen de programma’s of de docententeams van varianten significante verschillen bestaan, kunnen aan het raamprogramma worden toegevoegd: - een extra gesprek met studenten; - een extra gesprek met docenten. In de extra gesprekken wordt separaat gesproken met studenten resp. docenten die verbonden zijn aan de variant. 3. Wanneer een opleiding op meerdere locaties wordt aangeboden: a Wordt bij grote overeenkomst in programma’s en docententeams het beoordelingsbezoek afgelegd op de hoofdvestiging, waarbij de samenstelling van de gespreksgroepen representatief moet zijn naar de verschillende vestigingen. Tevens worden dan aanvullende eisen gesteld aan het materiaal dat ter inzage beschikbaar is (tevredenheidsmetingen studenten / docenten, waarin o.a. inzicht over kwaliteit van materiële voorzieningen). Voor zover het 6
Bij het gesprek met vertegenwoordigers van het werkveld gaat het om twee groepen: enerzijds een selectie van werkgevers van afgestudeerden en anderzijds leden van een werkveldcommissie of andere structurele overlegverbanden met werkgevers.
© NQA - Fontys Hogeschool, opleiding Bedrijfskundige Informatica
75
panel dit nodig acht, wordt aanvullend aan het beoordelingsbezoek op de hoofdvestiging een kort bezoek aan de nevenvestiging gebracht ter verificatie van de aanwezige materiële voorzieningen. b Wanneer er in geringe mate sprake is van overeenkomst in programma’s in docententeams wordt elke locatie afzonderlijk bezocht. In de opzet van het beoordelingsbezoek kunnen ook aanpassingen worden aangebracht wanneer gelijktijdig meerdere (al of niet verwante) opleidingen binnen een hogeschool of faculteit/instituut/school worden beoordeeld.
Instrumenten en formats Gedurende en voorafgaande aan het beoordelingsbezoek maakt het panel gebruik van formats en instrumenten die zijn gericht op het verzamelen van informatie en het formuleren van oordelen en conclusies.
Rapportage De panelsecretaris stelt een conceptrapportage op en legt die voor aan de panelleden. Het panel stelt vervolgens het definitieve concept vast. In de rapportage wordt - voorzover van toepassing - expliciet ingegaan op de verschillende varianten en/of locaties.
Hoor en wederhoor Het definitieve concept wordt aan opleiding voorgelegd ter correctie van feitelijke onjuistheden. Naar aanleiding van de reactie van de opleiding worden door de panelsecretaris zonodig wijzigingen aangebracht en wordt het definitieve rapport door het panel vastgesteld. Het rapport wordt daarna ter beschikking gesteld aan de opleiding, die het samen met de accreditatieaanvraag kan indienen bij de NVAO. Indien zich tijdens het beoordelingsproces, ondanks de verschillende procedures die NQA hanteert ter voorkoming daarvan, conflicten voordoen binnen panels, tussen panel en NQA, of tussen panel en opleiding, zal een vooraf ontworpen conflictprocedure ter oplossing worden toegepast.
76
© NQA – Fontys Hogeschool, opleiding Bedrijfskundige Informatica
Klachtenprocedure NQA hanteert een klachtenprocedure waarin is vastgelegd op welke wijze opleidingen hun beklag kunnen doen wanneer zij zich in de beoordelingsprocedure op enigerlei wijze tekort gedaan voelen.
© NQA - Fontys Hogeschool, opleiding Bedrijfskundige Informatica
77
Beoordelingsprotocol: wijze waarop vergelijkingen tussen opleidingen worden gemaakt
NVAO heeft voorgeschreven dat in de beoordeling een vergelijking met minimaal 1 andere verwante opleiding wordt betrokken. NQA kan aan dit voorschrift op verschillende manieren voldoen: 1. Indien NQA meer opleidingen in hetzelfde domein beoordeelt, kan een vergelijking met verwante opleidingen vrij gemakkelijk door NQA worden gemaakt. Doordat NQA voor een groot aantal instellingen actief is, ligt deze mogelijkheid voor de hand. NQA werkt momenteel aan een database met beoordelingen, waarin vergelijkingsmateriaal wordt opgeslagen. 2. Bij de samenstelling van de panels zal erop gelet worden dat panelleden zo mogelijk bij verwante opleidingen worden ingeschakeld. Vergelijkingen tussen verwante opleidingen kunnen dan door de betreffende panelleden worden uitgevoerd. 3. NQA heeft voor een aantal facetten aangegeven waar gebruik kan worden gemaakt van openbare, vergelijkende informatie. Het betreft onder andere kengetallen (afdeling BIV van HBO-raad), gegevens uit de HBO- en WO-Monitor, en studentenoordelen (Keuzegids Hoger Onderwijs en Elsevier). 4. NQA onderhoudt een groot netwerk, zowel nationaal en internationaal. Samenwerking met andere VBI’s en internationale kwaliteitszorgorganisaties ten behoeve van het maken van vergelijkingen ligt daarom voor de hand. Ook internationale vergelijkingen behoren daarom tot de mogelijkheden. Het profiel (doelstellingen programma) en de behoeften van de opleiding vormen echter steeds het uitgangspunt bij het maken van vergelijkingen. De wijze waarop vergelijkingen worden gemaakt komt in dialoog met de opleiding tot stand. In de visie van NQA is het maken van vergelijkingen pas waardevol als dit goed aansluit bij de context van de opleiding. NQA zal in het beoordelingsrapport verantwoorden hoe vergelijkingen zijn gemaakt en de redenen daarvoor.
78
© NQA – Fontys Hogeschool, opleiding Bedrijfskundige Informatica
Beoordelingsprotocol: wijze waarop bijzondere kwaliteitskenmerken worden getoetst
Inleiding Naast accreditatie, gericht op basiskwaliteit, bestaat er de wettelijke mogelijkheid voor hoinstellingen om een aantekening te verkrijgen voor bijzondere kenmerken van de opleiding (WHW art. 5a.10). Een instelling voor ho kan een VBI verzoeken bijzondere kwaliteitskenmerken (verder BK genoemd) te toetsen. Als een BK positief is beoordeeld door de VBI en dit oordeel door de NVAO is gevalideerd, levert dit een aantekening op bij de accreditatie.
Kader voor beoordeling van het bijzonder kwaliteitskenmerk Het door de NVAO ontwikkelde accreditatiekader bestaande opleidingen verlangt van de VBI dat het bijzondere kwaliteitskenmerk op de volgende facetten en criteria wordt getoetst. 7.1 Differentiatie en profilering - Het kenmerk levert een betekenisvolle bijdrage aan de differentiatie en profilering in het hoger onderwijs. 7.2 Kwaliteit - Het kenmerk leidt tot een bijzondere kwaliteit van het onderwijs. 7.3 Concretisering - De gevolgen van het kenmerk voor de kwaliteit van het onderwijs (instroom, onderwijsprogramma, onderwijsproces, output, voorzieningen, kwaliteit staf) zijn geoperationaliseerd. 7.4 Onderscheidend karakter Het kenmerk is onderscheidend voor de opleiding in relatie tot relevante opleidingen in het Nederlands hoger onderwijs.
© NQA - Fontys Hogeschool, opleiding Bedrijfskundige Informatica
79
Operationalisering bijzondere kwaliteit door NQA NQA heeft de criteria als volgt geoperationaliseerd in het NQA beoordelingskader. Vragen Is het bijzondere kenmerk gedefinieerd in doelen en concrete operationaliseerbare termen? Het kenmerk is betekenisvol.
Op welke wijze is het kenmerk geoperationaliseerd en aantoonbaar aanwezig in de opleiding?
Opleiding positioneert zich ten opzichte van andere (verwante) opleidingen in Nederland (het kenmerk hoeft niet noodzakelijkerwijs uniek te zijn)
Aanwijzingen Van belang is dat de opleiding beschikt over een document waarin ze expliciet heeft beschreven welk bijzondere kwaliteit ze nastreeft met daarbij de doelen en te verwachten resultaten. Dit kan onder andere blijken uit de waardering van het kenmerk (de doelen en het thema als zodanig) door studenten, alumni, werkveld, docenten, maatschappelijke organisaties. Geef aan hoe het kenmerk expliciet terug te vinden is in programmaonderdelen, in opdrachten, eindresultaat (inhoud en indien relevant rendement), voorzieningen, kwaliteit staf. Hier is ook de waardering door stakeholders van het resultaat van belang. De opleiding heeft vergelijkend onderzoek uitgevoerd of laten uitvoeren onder verwante opleidingen in Nederland waaruit blijkt dat het kenmerk onderscheidend is. Onderzoek kan de toets der kritiek doorstaan (valide).
Wijze van rapportage door de opleiding (zelfevaluatierapport) en NQA De opleiding en de VBI maken een afspraak over de wijze waarop het BK in de rapportage verwerkt wordt. Dit kan op twee manieren gebeuren: • Als expliciet onderdeel in het zelfevaluatierapport en in het rapport van de NQA. • Als geïntegreerd onderdeel van de zelfevaluatierapport en in het rapport van de NQA. Bij elk aspect dient het BK wel herkenbaar beoordeeld te worden. Opleiding en NQA geven in een samenvattende paragraaf van het zelfevaluatierapport respectievelijk het visitatierapport weer wat het totaaloordeel is over het BK. In de rapportage dient de VBI haar werkwijze te verantwoorden. De conclusies dienen beargumenteerd te worden aan de hand van het referentiekader van de VBI en de analyse van de feiten. Een vergelijking van de opleiding met andere opleidingen maakt nadrukkelijk onderdeel uit van de rapportage.
Beoordelen van het bijzondere kwaliteitskenmerk In de toelichting bij het NVAO beoordelingskader wordt expliciet gesteld, dat de bewijslast voor de bijzondere kwaliteit bij de instelling ligt. De opleiding moet de VBI overtuigen van het bijzondere karakter van het kenmerk van de opleiding. Dat betekent dat de opleiding inzicht moet verschaffen in de wijze waarop de kwaliteit van het bijzondere kenmerk is gemeten. De kwaliteit van de bewijsvoering door de opleiding is 80
© NQA – Fontys Hogeschool, opleiding Bedrijfskundige Informatica
hierbij van belang. De onderzoeksmethode die de opleiding gebruikt om het BK te evalueren moet naar het oordeel van het panel solide zijn. Dat betekent dat er systematisch kwalitatief en kwantitatief onderzoek aan ten grondslag moet liggen. Ook het vergelijkend onderzoek van het kenmerk onder verwante opleidingen dient valide te zijn. De resultaten van het onderzoek moeten uitwijzen dat er inderdaad sprake is van een bijzonder kenmerk en een bijzondere kwaliteit.
Samenstelling panel in verband met het bijzondere kwaliteitskenmerk In het panel is voldoende expertise aanwezig om het bijzondere kwaliteitskenmerk te kunnen beoordelen. Dit moet blijken uit opleiding en/of ervaring van de panelleden (CV).
© NQA - Fontys Hogeschool, opleiding Bedrijfskundige Informatica
81
Beoordelingsprotocol: wijze waarop de rapportage plaatsvindt
Inleiding Het rapport staat in dienst van het verkrijgen van een accreditatie voor een opleiding van een hogeschool. In het rapport doet het panel verslag van het onderzoek dat het panel heeft gedaan naar de kwaliteit van de opleiding. Het verslag volgt het NVAO accreditatiekader en de richtlijnen van NQA. Het verslag is feitelijk, ‘to the point’ en geeft beargumenteerde en goed onderbouwde oordelen. Het verslag bevat geen aanbevelingen, uitgebreide analyses of andere uitweidingen die afleiden van de beoordeling en de onderbouwing daarvan.
NQA richtlijnen voor het beoordelingsrapport I
Beoordeling per facet
Elk facet van het accreditatiekader bestaande opleidingen wordt beoordeeld door het panel conform het hierboven beschreven beoordelingsprotocol. Per opleidingsvariant (voltijd, deeltijd, duaal) wordt een oordeel gegeven over het facet (zonodig onderverdeeld naar opleidinglocatie). Het oordeel bij de facetten wordt gevolgd door een samenhangende onderbouwing van het oordeel aan de hand van een logisch opgebouwd betoog. Bij een positief oordeel (‘voldoende’, ‘goed’ of ‘excellent’) begint de paragraaf met het geven van een toelichting op dit oordeel, dat wil zeggen dat wordt aangegeven welke positieve aspecten bepalen dat er sprake is van voldoende basiskwaliteit dan wel van goede of excellente kwaliteit. Vervolgens kunnen eventuele kritische kanttekeningen worden geplaatst. Indien het oordeel negatief is (‘onvoldoende’), begint de paragraaf met het geven van een toelichting op dit oordeel, dat wil zeggen dat wordt aangeven waarom geen sprake is van basiskwaliteit. Aan het eind kunnen opbouwende en positieve kanttekeningen worden geplaatst. De criteria uit het accreditatiekader geven richting aan de onderbouwing van het oordeel. II
Beoordeling per onderwerp
Per opleidingsvariant (voltijd, deeltijd, duaal) wordt een oordeel gegeven over het onderwerp (zonodig onderverdeeld naar opleidinglocatie). Het panel geeft voor elk van de zes te beoordelen onderwerpen van het beoordelingskader een oordeel conform het hierboven beschreven beoordelingsprotocol. Daarbij worden de oordelen over de onderliggende facetten betrokken. In het verslag verantwoordt het panel welke afwegingen zij heeft gemaakt om tot een positief dan wel negatief oordeel te komen. Indien de opleiding heeft verzocht om beoordeling van een bijzonder kwaliteitskenmerk dan wordt het samenvattend oordeel hierover afzonderlijk in het rapport behandeld. Voor 82
© NQA – Fontys Hogeschool, opleiding Bedrijfskundige Informatica
de wijze van rapportage verwijzen we naar het onderdeel uit het beoordelingsprotocol ‘wijze waarop bijzondere kwaliteitskenmerken worden getoetst’. Voor het overige zijn voor bijzondere kwaliteitskenmerken de rapportagerichtlijnen voor de oordelen per facet en onderwerp van toepassing. III
Eindoordeel
Het hoofdstuk met het eindoordeel start met een overzichtstabel waarin duidelijk wordt gemaakt welke oordelen zijn gegeven per facet, per onderwerp en per opleidingsvariant (en zonodig per opleidinglocatie). Het eindoordeel volgt uit de oordelen per onderwerp; voor een positief eindoordeel dienen immers alle zes onderwerpen als voldoende te zijn beoordeeld. Bij optredende verschillen tussen varianten en locaties zal het eindoordeel beargumenteerd worden. IV
Bijlagen
In de bijlagen verantwoordt het panel de werkwijze, dit bevat in ieder geval: • Ondertekende verklaringen van elk panellid waaruit blijkt dat het oordeel van het panel in volstrekte onafhankelijkheid tot stand is gekomen. Panelleden mogen geen bindingen hebben met de beoordeelde opleiding. • Verklaring van het panel over de zelfevaluatie; of deze een voldoende basis bood voor de visitatie. • Een overzicht van de samenstelling van het panel (inclusief kort curriculum vitae van de panelleden). Hieruit moet blijken dat er voldoende onderwijsdeskundigheid, domeindeskundigheid, auditdeskundigheid en deskundigheid op het gebied van internationale ontwikkelingen van de discipline in het panel aanwezig is. • Een verantwoording van het gehanteerde beoordelingsprotocol en de gevolgde werkwijze, waarbij afwijkende keuzen en gehanteerde procedures worden toegelicht en beargumenteerd. Daarbij wordt speciale aandacht besteed aan de beoordelingswijze van eventuele bijzondere kwaliteitskenmerken, en de wijze van vergelijking met andere, vergelijkbare opleidingen. Eventuele afwijkingen van het beoordelingsprotocol worden gerapporteerd en beargumenteerd. • Het domeinspecifieke referentiekader met een verklaring van het panel over de wijze waarop dit tot stand is gekomen en de wijze waarop domeinspecificiteit is betrokken in de oordelen.
Interne kwaliteitstoets beoordelingsrapport Het conceptrapport wordt door minimaal 1 ervaren medewerker van NQA, niet zijnde de panelsecretaris, onderworpen aan vooraf vastgestelde kwaliteitseisen met betrekking tot methodologie en consistentie van paneloordelen. Er zal een procedure ontwikkeld worden voor de verdere behandeling indien er gebreken met betrekking tot methodologie of consistentie zijn geconstateerd.
© NQA - Fontys Hogeschool, opleiding Bedrijfskundige Informatica
83
Managementletter Opleidingen kunnen NQA verzoeken een management letter te schrijven met adviezen over kwaliteitsverbetering. Deze management letter is de verantwoordelijkheid van NQA (waarbij panelleden om advies kunnen worden gevraagd), volgt na het beoordelingsrapport, behoort niet tot de accreditatieprocedure en wordt daarom vertrouwelijk aan de opdrachtgever ter beschikking gesteld. Een management letter kan een waardevolle bijdrage leveren aan het nader invullen van de verbeteringsfunctie. Adviezen over kwaliteitsverbetering hebben echter slechts zin als daarvoor een draagvlak is; vandaar dat management letters alleen worden aangeboden als de opdrachtgever kenbaar heeft gemaakt dat daaraan behoefte is.
84
© NQA – Fontys Hogeschool, opleiding Bedrijfskundige Informatica
Bijlage 5
HANDREIKING VOOR OORDEELSVORMING 7
Introductie Een van de belangrijkste en ingewikkeldste aspecten van het visitatieproces is de oordeelsvorming. Op verschillende niveaus zijn er oordelen nodig. Het eindoordeel is gebaseerd op het oordeel op zes onderwerpen. Daaronder ligt weer het oordeel op 21 facetten. Per onderwerp dienen, na weging, de facetten te leiden tot een oordeel over het onderwerp. Inhoudelijk richtinggevend voor de oordelen is het NVAO-kader dat bepaalt wat de objecten van onderzoek zijn. Het diepst in het kader liggen de door de NVAO geformuleerde 31 criteria. Informatie over die criteria moet inzicht geven of basiskwaliteit al dan niet door de beoordeelde opleiding wordt gerealiseerd. De criteria in het accreditatiekader geven tevens richting aan de onderbouwing van het oordeel. Het NVAO-kader is zo opgezet dat er ruimte wordt gelaten voor het timmermansoog van de panelleden en de positiebepaling en de eigen doelstellingen van de hogescholen. NQA onderschrijft die uitgangspunten en kiest er bij de oordeelsvorming dan ook niet voor om te werken met mathematische procedures en methodieken. NQA gaat er vanuit dat niet bij voorbaat te zeggen is dat alle facetten overal evenveel waarde hebben. Dat is mede afhankelijk van de keuzes van hogescholen (bijvoorbeeld in de missie geformuleerd). Er is dus ruimte nodig om in de oordeelsvorming aan die diversiteit tegemoet te komen. Dat houdt tevens voor de opleidingen in dat er veel nadruk komt te liggen op de bewijslast. Hoewel dus niet gekozen wordt voor mechanische beslisregels, dient er toch naar gestreefd te worden dat de oordelen van het panel binnen de gehanteerde werkwijze zo objectief en betrouwbaar mogelijk zijn. Bovendien is het van groot belang dat er consistentie is in de afwegingen van de verschillende panels. Tevens zal NQA een structuur creëren waarbinnen consistentie van paneloordelen wordt bevorderd. Binnen deze structuur is een belangrijke rol weggelegd voor de secretaris, die op methodologische aspecten en consistentie van paneloordelen moet letten. Om de consistentie tussen panels te bevorderen zal NQA een permanent overleg tussen panelsecretarissen inrichten. Ook zullen beoordelingsrapporten worden ‘tegengelezen’ door één of meer andere NQA medewerkers, waarbij speciaal op consistentie en overige methodologische aspecten gelet zal worden. Indien dit tot een negatieve conclusie op het punt van methodologie of consistentie leidt, kan NQA actie ondernemen zoals het terugzending van het rapport naar het panel.
7
Versie 7, 10 maart 2004
© NQA - Fontys Hogeschool, opleiding Bedrijfskundige Informatica
85
Beslisregels Inleiding De NVAO beschrijft in het accreditatiekader (hfst. 4) beslisregels voor de accreditatie. Eén beslisregel is heel expliciet: de opleiding komt alleen voor een positief eindoordeel in aanmerking als op alle onderwerpen (6x) een voldoende wordt gescoord. Aan de VBI wordt overgelaten om voor het oordeel per onderwerp beslisregels te formuleren teneinde te komen tot een weging van oordelen over de afzonderlijke facetten van dat onderwerp. Er wordt hier dus niet gesteld dat er ook beslisregels moeten zijn die leiden tot een oordeel over een facet. In de toelichting (pag. 17) staat echter, dat ‘afwegingen op alle niveaus - facetten, onderwerpen en eindoordeel - inzichtelijk’ gemaakt moeten worden. Dit houdt in dat er ook aangegeven zou moeten worden hoe je van criteria tot een facetoordeel komt. Alleen de beoordeling per criterium is ‘vrij’. Een belangrijke aanwijzing in de toelichting is, dat de waardering ‘goed’ of ‘excellent’ gebruikt kan worden als compensatie voor een ‘onvoldoende’ op een facet binnen hetzelfde onderwerp. Daarmee mag echter ‘niet louter instrumenteel worden omgegaan’; inhoudelijke afweging blijft noodzakelijk. Samenvattend zijn er volgens NVAO dus 3 afwegingen noodzakelijk: betreffende het facet betreffende het onderwerp (van facet naar onderwerp) betreffende het eindoordeel Bovendien dienen afwegingen niet ‘louter instrumenteel’ (compensatieregeling), maar ook inhoudelijk gemotiveerd te zijn. Oordeel per facet Om tot een oordeel op een facet te komen, is er vaak één en zijn er soms meerdere criteria die beoordeeld moeten worden. In het geval van één criterium is de situatie in principe duidelijk; dit moet voldoende zijn om tot een ‘voldoende’ op het facet te komen. Daar waar er meerdere criteria zijn (soms drie) ligt dat moeilijker. Om te bepalen of aan de criteria wordt voldaan, zijn voor de externe kwaliteitsbeoordelaars van NQA de volgende vragen van belang: Doelen: welke ambitie heeft de opleiding ten aanzien van een bepaald facet: welke kwaliteit wordt nagestreefd; welke resultaten worden beoogd, kortom; wat zijn de eigen doelen? Borging: hoe borgt de opleiding dat deze doelen kunnen worden bereikt; zijn beleid, management en processen logisch op die eigen doelen afgestemd? Resultaten 8 : hoe verhouden de bereikte resultaten zich tot de eigen doelen (mede in vergelijking met andere opleidingen); zijn direct betrokkenen (stakeholders) tevreden over de bereikte resultaten? 8
Hiermee is niet het onderwerp ‘resultaten’ bedoeld maar de bereikte resultaten ten aanzien van elk facet.
86
© NQA – Fontys Hogeschool, opleiding Bedrijfskundige Informatica
Verbetering: indien het borgen en bereiken van de doelen te wensen overlaat, zijn er dan verbeteringen in het vooruitzicht? De vragen die in de richtlijnen van NQA voor de zelfevaluatie aan opleidingen worden gesteld, houden verband met de doelen 9 , borging, resultaten en verbetering. Bij de beoordeling komt centraal te staan dat aanvaardbaar wordt gemaakt dat de opleiding resultaten heeft behaald overeenkomstig de door haar nagestreefde doelen. Vanuit dat perspectief spreekt het vanzelf dat de kern gevormd wordt door de resultaten en de borging; dus datgene wat bereikt is en de borging daarvan in de toekomst (accreditatie wordt immers voor zes jaar verleend). In feite houdt dit in dat bij afweging de uitvoering zwaarder weegt dan het beleid. Toch kan het niet zo zijn dat een tekortschietende borging of nog uitblijvende resultaten ‘automatisch’ tot een onvoldoende op het betreffende facet leidt. Zo zal er bijvoorbeeld begrip moeten zijn voor het feit dat veel opleidingen zich op sommige facetten, die nieuw zijn ten opzichte van visitaties (bijvoorbeeld de Dublindescriptoren bij de niveaubepaling), zich nog in een ontwikkelingsstadium bevinden. In dergelijke gevallen kunnen onvoldoende resultaten of borging gecompenseerd worden door concrete en aantoonbare verbeteracties. Zijn de resultaten boven verwachting en de doelen ook in orde, dan kan het panel een oordeel ‘goed’ overwegen. Is de situatie zodanig dat zelfs geen verbeteringen meer nodig zijn, dan kan een oordeel ‘excellent’ gegeven worden. In een dergelijk geval fungeert de opleiding als voorbeeld van een ‘best practice’ op het betreffende facet. Eventueel optredende verschillen tussen varianten en locaties met betrekking tot het paneloordeel op een bepaald facet zullen expliciet vermeld worden. Oordeel per onderwerp Het uitgangspunt voor de oordeelsvorming per onderwerp is dat het panel, rekening houdend met de context van de opleiding, de weging van facetten maakt. Dit betekent dat het panel bepaalt voor welke facetten binnen een bepaald onderwerp een compensatieregeling, zoals aangegeven door de NVAO, kan worden toegepast. Dit wil zeggen dat een onvoldoende op een facet gecompenseerd kan worden door een goed of excellent op een ander facet binnen hetzelfde onderwerp. Deze afweging dient door het panel steeds inhoudelijk beargumenteerd te worden. NQA vindt, gegeven het NVAO-kader, dat een aantal facetten bij accreditatie van bijzonder belang geacht kan worden. Dat wil overigens niet zeggen dat deze weging absoluut is en noodzakelijkerwijs tot onvoldoendes op onderwerpniveau moet leiden. Steeds dient gekeken te worden naar specifieke keuzes die de opleiding maakt of de concrete situatie waarin zij zich bevindt. De context speelt dus steeds een belangrijke rol. Uiteraard komt daarbij wel een (extra) zware druk op de bewijslast te liggen.
9
Echter niet bij elk aspect, bijvoorbeeld bij duur van programma is er sprake van een wettelijke verplichting waar de opleiding geen afwijkende doelstellingen tegenover kan stellen.
© NQA - Fontys Hogeschool, opleiding Bedrijfskundige Informatica
87
De accenten die NQA legt betreffen binnen het onderwerp doelstellingen de facetten niveau, oriëntatie en domeinspecifieke eisen. Het gaat hier om facetten die de status als hbo-opleiding in een bepaald domein beschrijven. Voorts binnen de onderwerpen programma en inzet van personeel de facetten eisen hbo/wo. Deze facetten hebben betrekking op de praktijk- en beroepsgerichtheid van de opleidingen. Tenslotte binnen het onderwerp intern kwaliteitszorgsysteem het facet maatregelen tot verbetering, waarin de kwaliteitsverbetercyclus primair tot uiting komt, en binnen het onderwerp resultaten het facet gerealiseerd niveau. Hiermee wordt aangesloten bij de toelichting op het accreditatiekader waarin de NVAO duidelijk aangeeft dat de onderwerpen intern kwaliteitszorgsysteem en resultaten van bijzonder belang worden geacht. Het oordeel op onderwerpniveau dient weergegeven te worden als voldoende of onvoldoende. Dit houdt echter niet in dat er in de onderbouwing geen sprake zou kunnen zijn van nuancering. Als er binnen een onderwerp op basis van de facetoordelen sprake is van een ‘goede’ of zelfs ‘excellente’ situatie dan moet dat in de formulering tot uitdrukking kunnen komen. Een bijzondere situatie doet zich voor bij opleidingen in opbouw die in de visitatie meegenomen moeten worden. Deze opleidingen bevinden zich in een bepaalde fase van ontwikkeling en hebben nog geen afgestudeerden. Op bepaalde onderwerpen (resultaten bijvoorbeeld) kan geen oordeel geven worden. In die situaties zal het oordeel gebaseerd zijn op wat gerealiseerd is, de verdere plannen en het vertrouwen dat is ontstaan in een succesvolle verdere realisering van de opleiding. Anders gezegd; daar waar resultaten afwezig zijn, is een scherp zicht op de borging van groot belang. Eindoordeel Het eindoordeel over de opleiding is positief indien het oordeel over elk van de 6 onderwerpen tenminste voldoende is. De NVAO heeft bepaald dat voor elke opleidingsvariant afzonderlijk de basiskwaliteit gewaarborgd moet zijn. Ook heeft de NVAO bepaald dat de opleiding alleen in aanmerking komt voor accreditatie als elke locatie voldoet aan de in het kader genoemde criteria voor basiskwaliteit. Dit zou inhouden dat een positief eindoordeel alleen mogelijk is als elke variant en elke locatie op elk onderwerp tenminste als voldoende is beoordeeld. De consequentie hiervan zou zijn dat accreditatie wordt onthouden indien, bijvoorbeeld, de grote voltijdvariant en de hoofdlocatie als voldoende worden beoordeeld, maar een kleine deeltijd- of duale variant of een kleinere nevenvestiging als onvoldoende wordt beoordeeld. Omdat dit tot onevenredige schade zou leiden, heeft de NVAO de weg geopend om tot nadere afspraken met de instelling te komen over verbeteren of stoppen met de betreffende variant. Om het de gevisiteerde opleiding en de NVAO mogelijk te maken hieromtrent transparante beslissingen te nemen, wordt bij de vermelding van het eindoordeel een
88
© NQA – Fontys Hogeschool, opleiding Bedrijfskundige Informatica
samenvattende tabel geplaatst met daarin de oordelen per onderwerp, facet, variant en locatie. Samenvattend: - de beslisregels op facetniveau zijn kwalitatief (gebaseerd op duidelijke argumenten); - de beslisregels op onderwerpniveau zijn kwalitatief en rekenkundig (compensatiemogelijkheid); - beslisregels op het niveau van het eindoordeel zijn rekenkundig (alles voldoende).
© NQA - Fontys Hogeschool, opleiding Bedrijfskundige Informatica
89