Rapport van bevindingen NVAO-commissie Onderzoek alternatief toetstraject Hogeschool Leiden

Rapport van bevindingen NVAO-commissie Onderzoek alternatief toetstraject Hogeschool Leiden

24 november 2011

Inhoud

pagina 2

1

Samenvatting

3

2

Verantwoording 2.1 Aanleiding onderzoek 2.2 Onderzoeksvragen 2.3 Samenstelling commissie 2.4 Werkwijze commissie 2.5 Opbouw rapport

5 5 5 6 6 7

3

De opleiding en het alternatieve toetstraject 3.1 Cluster Management en Bedrijf 3.2 Opleiding Communicatie 3.3 Alternatief toetstraject

8 8 8 8

4

Onderzoeksresultaten 4.1 Eindniveau studenten alternatief traject 4.2 Eindniveau studenten regulier traject 4.3 Oordeel opleiding versus oordeel commissie 4.4 Eisen aan pilotweek 4.5 Eisen aan toetsing en beoordeling eindniveau

10 10 11 12 14 16

5

Conclusies

18

Bijlage 1 – Samenstelling commissie

19

Bijlage 2 – Programma locatiebezoek

21

Bijlage 3 – Documenten

22

Bijlage 4 – Begrippenkader

24

Bijlage 5 – Beoordelingsformulier

25

NVAO | Rapport | Onderzoek alternatief toetstraject Hogeschool Leiden | 24 november 2011 |

1

Samenvatting Van de 19 afgestudeerden Communicatie die hebben deelgenomen aan een alternatief toetstraject, hebben 18 terecht een hbo-bachelordiploma ontvangen in de periode 20092011. Alle 17 studenten regulier afgestudeerd in 2010-2011 bereikten het vereiste eindniveau. Dit zijn de belangrijkste conclusies van de commissie-Dunnewijk die op verzoek van de Nederlands-Vlaamse Accreditatieorganisatie (NVAO) onderzoek heeft verricht naar het niveau van afgestudeerden van de opleiding hbo-bachelor Communicatie aan de Hogeschool Leiden. Onderzoek Aanleiding tot het onderzoek was onder meer de vaststelling van de Inspectie van het Onderwijs in april 2011 dat er tekortkomingen waren in de borging van het eindniveau van afgestudeerden via alternatieve trajecten bij hogescholen. De inspectie kenmerkte de situatie als „zorgelijk‟ voor de hbo-bacheloropleiding Communicatie van de Hogeschool Leiden. Deze vaststelling had betrekking op het alternatieve toetstraject (de zogenoemde pilotweek) voor langstudeerders en niet op het reguliere afstudeertraject aan de opleiding Communicatie van de instelling. Het onderzoek van de commissie-Dunnewijk bestond uit het vaststellen van het eindniveau van 19 afgestudeerden uit de pilotweek en 17 regulier afgestudeerden. Verder is onderzoek gedaan naar de kwaliteit van de toetsing en beoordeling in de pilotweek en van het eindniveau. Pilotweek Alle 34 studenten die in januari 2010 langer dan vier jaar stonden ingeschreven bij de opleiding Communicatie, zijn uitgenodigd voor deelname aan het alternatieve toetstraject in april 2010. In deze pilotweek konden studenten vakken afronden en vakken die zij al eerder hadden behaald, laten registreren. Aan de pilotweek hebben 24 studenten deelgenomen. Gemiddeld hadden deze studenten nog 22,5 EC openstaan, variërend van 3 tot ruim 41 EC. In de pilotweek zijn de al behaalde cijfers gecontroleerd en konden de studenten voor de nog openstaande vakken met inhoudelijke vragen bij de vakdocenten terecht. Vervolgens zijn toetsen gemaakt. Het afstudeeronderzoek vormde geen onderdeel van de pilotweek. 19 van de 24 studenten uit de pilotweek zijn inmiddels afgestudeerd. Eindniveau studenten pilotweek Om het eindniveau van de 19 afgestudeerde studenten uit de pilotweek te bepalen, heeft de commissie-Dunnewijk de afstudeerscripties, stageverslagen (indien aanwezig) en opdrachten uit de pilotweek (indien aanwezig) van deze studenten bestudeerd. Het eindoordeel van de opleiding over het eindniveau van 18 geslaagden neemt de commissie over. Deze studenten voldoen aan het hbo-bachelorniveau. Van één van de studenten is het gerealiseerde eindniveau onder het niveau dat van een hbo-bachelor mag worden verwacht. Eindniveau reguliere studenten Om het eindniveau van alle 17 studenten die regulier zijn afgestudeerd in 2010-2011 te bepalen, heeft de commissie de bachelorscripties en stageverslagen of andere vierdejaarsonderdelen van deze studenten beoordeeld. De commissie neemt het eindoordeel van de opleiding over het eindniveau van de 17 geslaagden over. Zij voldoen allen aan het hbo-bachelorniveau.

pagina 3


Toetsing en beoordeling pilotweek Het speciale toetstraject biedt volgens de commissie een goede basis voor het doorvoeren van administratieve correcties en het beoordelen van een aantal openstaande programmaonderdelen. De pilotweek heeft langstudeerders de kans geboden om de misgelopen studiepunten alsnog te laten registeren. Gebleken is namelijk dat met het afronden van bepaalde programmaonderdelen en het vertalen daarvan naar studiepunten fouten zijn gemaakt. Verder heeft het speciale toetstraject het mogelijk gemaakt voor langstudeerders om de noodzakelijke toetsen af te leggen met het oog op afstuderen. De commissie is echter ook kritisch met name over de uitvoering van de toetsing in de pilotweek. Uit een intern onderzoek van de instelling bleek al eerder dat aan een aantal noodzakelijke voorwaarden voor het zorgvuldig toetsen van studenten niet is voldaan. Toetsing en beoordeling eindniveau De commissie stelt vast dat de opleiding niet voldoende inzichtelijk heeft gemaakt in welke programmaonderdelen welke eindkwalificaties op eindniveau worden getoetst. Verder kan de relatie tussen de aard en het niveau van de toetsen enerzijds en de te toetsen eindkwalificaties helderder. Voorts is vastgesteld dat de opleiding geen eenduidige beoordelingscriteria heeft gehanteerd voor de bachelorscriptie. Hoewel 35 van de 36 schriftelijke eindproducten voldoen aan de eisen van een hbo-bachelor, is onduidelijk gebleven hoe de mondelinge presentatie is meegewogen in het oordeel van de opleiding over het afstudeerwerkstuk. Bij gebrek aan vergelijkend materiaal heeft de commissie niet kunnen vaststellen in welke mate de ingezette verbeteracties effect hebben op de kwaliteit van de toetsing en beoordeling. Wel ondersteunt de commissie de noodzaak van verbeteracties. Tot slot wenst de commissie haar waardering uit te spreken voor het initiatief en de creatieve opzet van de pilotweek ondanks de kritische kanttekeningen bij de uitvoering ervan. Dankzij het speciale, alternatieve traject hebben inmiddels 18 langstudeerders alsnog terecht hun hbo-bachelordiploma behaald.

Den Haag, 24 november 2011

drs. M. Dunnewijk-Budé (voorzitter)

pagina 4

drs. Linda van der Grijspaarde (secretaris)


2

Verantwoording

2.1

Aanleiding onderzoek De Inspectie van het Onderwijs (inspectie) concludeert in haar rapport „Alternatieve 1 afstudeertrajecten en de bewaking van het eindniveau in het hoger onderwijs‟ dat in het bekostigd hoger beroepsonderwijs onvoldoende discipline is in de naleving van de wetgeving rond het afstudeerniveau. Interne en externe kwaliteitszorg van alternatieve afstudeertrajecten vormen geen garantie voor het tijdig signaleren en corrigeren van tekortkomingen. Aanleiding voor deze conclusies was het onderzoek van de inspectie naar de examinering en niveaubewaking van vijftien opleidingen bij tien bekostigde hogescholen. Bij acht van deze vijftien opleidingen had de inspectie ernstige twijfels over de praktijk van de examinering of de niveaubewaking of vond de inspectie hier essentiële gebreken. Vier van de acht opleidingen noemt de inspectie zeer zwak. Van de vier andere opleidingen noemt de inspectie de situatie zorgelijk. Daar rezen bij de inspectie belangrijke vragen over de borging van het eindniveau. Eén situatie door de inspectie als zorgelijk omschreven betreft het alternatieve toetstraject van de opleiding hbo-bachelor Communicatie bij de Hogeschool Leiden. Enkele passages over dit toetstraject uit het rapport van de inspectie zijn de volgende: „De inspectie constateert tekortkomingen die vragen oproepen over de toetsing in het alternatieve toetstraject en daarmee over de borging van het eindniveau. Ook de naleving van de Wet op het hoger onderwijs [en wetenschappelijk onderzoek] is op enkele gerelateerde onderdelen voor verbetering vatbaar. Al met al is de situatie zorgelijk‟. „In de pilot voorzag de kwaliteitszorg onvoldoende in waarborgen dat examinatoren de regels inzake toetsing en beoordeling naleven.‟ Naar aanleiding van bovenstaande heeft de staatssecretaris van OCW de NVAO gevraagd om de toetsing in het afstudeertraject en het eindniveau van afgestudeerden via het alternatieve en het reguliere traject te beoordelen. Hiertoe heeft de NVAO de commissieDunnewijk ingesteld.

2.2

Onderzoeksvragen De commissie-Dunnewijk voert een onderzoeksopdracht uit zoals omschreven in het rapport van de inspectie (pagina 45): “De inspectie heeft de NVAO gevraagd onderzoek te doen naar de standaard Toetsing en gerealiseerde eindkwalificaties die deel uitmaakt van het accreditatiekader. Aan het alternatieve toetstraject deden 24 studenten mee. De omvang (in gerealiseerde studiepunten) verschilt sterk per student en niet alle studenten zijn nog afgestudeerd. Van de opleiding wordt van alle studenten die aan het traject meededen en die zijn afgestudeerd het niveau beoordeeld. In aanvulling daarop wordt een zodanig aantal afgestudeerden die niet aan het traject deelnamen onderzocht zodat het totaal op 30 komt.”

1

Inspectie van het Onderwijs, ministerie van Onderwijs, Cultuur en Wetenschap, Alternatieve

afstudeertrajecten en de bewaking van het eindniveau in het hoger onderwijs, Utrecht, april 2011 (Bijlage 9a, Hogeschool Leiden)

pagina 5


Van de 24 studenten die hebben deelgenomen aan het alternatieve toetstraject, zijn op het moment van het onderzoek 19 studenten afgestudeerd. Aanvullend zijn (op verzoek van de hogeschool) alle 17 regulier afgestudeerde studenten van het studiejaar 2010-2011 meegenomen in het onderzoek. In totaal heeft de commissie dus 36 studenten beoordeeld, dus 6 meer dan voorzien in de opdracht. De commissie heeft de onderzoeksopdracht van de inspectie vertaald in de volgende vijf onderzoeksvragen: 1. Wat is volgens de commissie het eindniveau van ieder van de in totaal 19 studenten die hebben deelgenomen aan het alternatieve toetstraject en die inmiddels zijn afgestudeerd, op een vierpuntsschaal (onvoldoende, voldoende, goed of excellent)? 2. Wat is volgens de commissie het eindniveau van ieder van de in totaal 17 in het studiejaar 2010-2011 regulier afgestudeerde studenten, op een vierpuntsschaal (onvoldoende, voldoende, goed of excellent)? 3. Is het oordeel van de commissie over het eindniveau van de 36 studenten in overeenstemming met het oordeel dat de opleiding heeft gegeven? 4. Heeft de toekenning van studiepunten, en de toetsing en beoordeling in het alternatieve toetstraject plaatsgevonden volgens daarvoor in het hoger beroepsonderwijs geldende eisen? 5. Hebben de toetsing en beoordeling van het gerealiseerde eindniveau van de reguliere studenten en pilotweekstudenten plaatsgevonden volgens daarvoor in het hoger beroepsonderwijs geldende eisen?

2.3

Samenstelling commissie De commissie-Dunnewijk bestaat uit dezelfde leden die de opleidingen Communicatie van de Hanzehogeschool Groningen hebben beoordeeld naar aanleiding van het eerder genoemde rapport van de inspectie over alternatieve afstudeertrajecten. Drie van de vier commissieleden maakten ook deel uit van de commissie die het alternatieve traject van de opleiding Media en Entertainment Management van de Hogeschool Inholland heeft beoordeeld naar aanleiding van datzelfde inspectierapport. De commissie is ondersteund door een procescoördinator van de NVAO en een secretaris.

2.4

Werkwijze commissie Tijdens een vooroverleg met de instelling zijn afspraken gemaakt over de voorbereiding op het bij de opleiding Communicatie af te leggen locatiebezoek, de toezending van documenten vooraf aan de commissie en de werkwijze tijdens het locatiebezoek. De commissie heeft voorafgaand aan het locatiebezoek een beoordelingsformulier ontworpen (bijlage 5). Dit formulier is samengesteld na bestudering van vijf al toegestuurde afstudeerdossiers en op basis van algemene eisen aan het hbo-bachelorniveau en de opleidingsspecifieke eindkwalificaties gedefinieerd door de opleiding. De basis van het formulier is gelijk aan dat wat de commissie gehanteerd heeft bij de beoordeling van de afgestudeerden binnen de alternatieve trajecten van de Hogeschool Inholland en de Hanzehogeschool Groningen, dit met het oog op consistentie in de beoordeling. Het locatiebezoek heeft plaatsgevonden te Leiden van 26 tot 28 september 2011. Dit bezoek is gestart met een kort vooroverleg van de commissie, gevolgd door een beknopte presentatie van de instelling over de opleiding en ingezette verbetermaatregelen. Daarna heeft de commissie de 36 afstudeerscripties beoordeeld. Ook heeft de commissie het niveau bepaald van het stageverslag, indien aanwezig. Van de alternatieve studenten is de

pagina 6


kwaliteit beoordeeld van de opdrachten die zijn gemaakt tijdens het alternatieve toetstraject (de pilotweek), voor zover deze nog zijn bewaard. Het blind beoordelen van de afstudeerscripties (alternatief versus regulier) bleek niet mogelijk gezien de vormgeving en samenstelling van de aangereikte scripties. Wel heeft de commissie alle scripties beoordeeld zonder van tevoren kennis te hebben genomen van het oordeel van de opleiding. De commissie heeft na de bestudering van de afstudeerscripties en werkstukken gesprekken gevoerd met examinatoren en aanvullende relevante documenten bestudeerd, zoals studiegidsen, onderwijsregelingen en evaluatierapporten. De commissie heeft zich zo tijdens het locatiebezoek ook een goed beeld kunnen vormen van de uitgangspunten voor en uitvoering van de pilotweek. Aan het eind van het locatiebezoek hebben de commissieleden hun uiteindelijke bevindingen met elkaar besproken en hebben zij de antwoorden op de onderzoeksvragen geformuleerd. De belangrijkste uitkomsten zijn ook mondeling teruggekoppeld naar de instelling. De secretaris van de commissie heeft aan de hand van de bevindingen een conceptrapport opgesteld dat, na verwerking van de daarop binnengekomen commentaren van de commissieleden, is geworden tot het rapport zoals dat hier voorligt. De voorzitter heeft het rapport vastgesteld op 31 oktober 2011. De oordelen van de commissie over de afstudeerscripties en aanvullend werk van de individuele studenten zijn in een aparte rapportage opgenomen en aan de instelling verstrekt. De NVAO maakt deze gegevens niet openbaar. Op 24 november 2011 heeft de voorzitter van de commissie de definitieve versie van het rapport vastgesteld. De reactie van de instelling van 17 november 2011 naar aanleiding van de ontwerpversie van 31 oktober 2011 is daarin verwerkt. De commissie heeft alle opmerkingen van de instelling onverkort overgenomen.

2.5

Opbouw rapport Na de samenvatting geeft de commissie in hoofdstuk 2 de verantwoording voor het uitgevoerde onderzoek. Hoofdstuk 3 geeft informatie over de opleiding Communicatie en over de pilotweek. De laatste twee hoofdstukken beschrijven de onderzoeksresultaten en de conclusies van de commissie. Aan het rapport is een aantal bijlagen toegevoegd, met onder meer informatie over de samenstelling van de commissie, het programma van het locatiebezoek en een overzicht van geraadpleegde stukken.

pagina 7


3

De opleiding en het alternatieve toetstraject

3.1

Cluster Management en Bedrijf Eén van de vijf onderwijsclusters van de Hogeschool Leiden is het cluster Management en Bedrijf (M&B). Het cluster bestaat uit de volgende zes hbo-bacheloropleidingen: Rechten, Sociaal Juridische Dienstverlening, Management in de Zorg, Personeel & Arbeid, Commerciële Economie en Communicatie. Het cluster M&B telt ongeveer 1850 studenten en 103 medewerkers. Het gemeenschappelijke kenmerk van de genoemde opleidingen is dat deze de studenten voorbereiden op functies die ondersteunend zijn aan de corebusiness van bedrijven en organisaties.

3.2

Opleiding Communicatie De hbo-bacheloropleiding Communicatie was tot oktober 2009 een onderdeel van De Haagse Hogeschool. Studenten schreven zich in bij De Haagse Hogeschool en volgden de opleiding in Leiden. Vanaf oktober 2009 wordt de opleiding verzorgd als zelfstandige opleiding van de Hogeschool Leiden. De opleiding Communicatie baseert het studieprogramma op het beroepsprofiel zoals dit is vastgesteld door de landelijke beroepsvereniging voor communicatieprofessionals (Logeion). Het Landelijk Overleg Communicatieopleidingen (LOCO) heeft dit profiel bestaande uit zes kerntaken vertaald naar een competentieprofiel met zes eindkwalificaties. Daarbij zijn ook de Body of Knowledge en Skills (BoKS) beschreven en is de relatie gelegd met hbo-kwalificaties en Dublin-descriptoren. LOCO heeft dit profiel in september 2010 vastgesteld. Vanaf het cohort 2010 is een nieuw curriculum ingevoerd, gebaseerd op dit nieuwe competentieprofiel. Voor de ouderejaars studenten geldt nog het competentieprofiel uit 2004 en het bijbehorende onderwijsprogramma.

3.3

Alternatief toetstraject De onderwijsmanager van de opleiding Communicatie heeft in januari 2010 ingestemd met 2 het voorstel van de voorzitter van de examencommissie om een alternatief toetstraject te 3 organiseren voor langstudeerders . Dit alternatieve traject zou moeten bestaan uit een pilotweek waarin studenten extra begeleiding en onderwijs kregen. Ook zouden deze studenten in deze pilotweek de mogelijkheid krijgen om toetsen te maken voor de nog openstaande vakken. Concentratie in één week werd door de voorzitter van de examencommissie gezien als een belangrijke voorwaarde om de pilotweek te laten slagen. Veel van de langstudeerders hadden immers al een baan en waren slechts beperkt beschikbaar. In een teamoverleg in februari 2010 is bij de docenten geïnventariseerd wie van de vakdocenten tijdens deze week beschikbaar zouden zijn. Vier docenten hebben zich hiervoor aangemeld, onder wie de initiatiefnemer zelf. Deze docenten hadden expertise in Nederlands, Engels, de sociologische en methodologische vakken en communicatievakken. 2

De voorzitter van de examencommissie was op dat moment ook afstudeercoördinator en voorzitter

van de curriculumcommissie. 3 Vijfdejaars studenten en ouder.

pagina 8


In de examencommissie is geen formeel voorstel ingediend voor de uitvoering van deze pilotweek. Formele besluitvorming heeft dan ook niet plaatsgevonden. Alle 34 studenten die in januari 2010 langer dan vier jaar stonden ingeschreven bij de opleiding Communicatie, zijn per e-mail uitgenodigd voor deelname aan de pilotweek. Inhoudelijke eisen voor deelname zijn niet gesteld. 24 studenten hebben zich aangemeld voor deelname. Gemiddeld hadden deze studenten nog 22,5 EC openstaan, variërend van 3 tot 41 EC. Twee studenten hadden hun afstudeeropdracht al afgerond voor ze aan de pilotweek deelnamen. De pilotweek heeft plaatsgevonden van 12 tot en met 16 april 2010. De 24 deelnemende studenten zijn van maandag tot en met vrijdag van 9.00 uur tot 21.00 uur beschikbaar geweest. De pilotweek kende een gezamenlijke start op maandag met een toelichting over de werkwijze. Verder zijn de reeds behaalde cijfers gecontroleerd. Voor de nog openstaande vakken konden de studenten met inhoudelijke vragen bij de vakdocenten terecht. Vervolgens maakten zij toetsen. Het afstudeeronderzoek was geen onderdeel van deze pilotweek. De 24 studenten hebben tijdens de pilotweek diverse vakken afgerond, bijvoorbeeld door het verbeteren of afmaken van portfolioproducten (voornamelijk Nederlands en Engels) en het afleggen van mondelinge en schriftelijke toetsen voor diverse (communicatie)vakken. De toetsomvang en de toetsduur waren in een groot aantal gevallen afwijkend van de toetsing in de reguliere periode. Tijdens de pilotweek zijn mondelinge en schriftelijke tentamens afgenomen. De studenten hebben gemiddeld aan vier toetsen deelgenomen. Daarnaast hebben studenten portfolioproducten, essays, artikelen en dergelijke ingeleverd en hebben zij mondelinge presentaties verzorgd voor de docent en de groep medestudenten. In tabel 1 is zichtbaar hoe vaak een bepaalde toetsvorm is toegepast in de pilotweek. toetsvorm

aantal

portfolio-opdrachten aangevuld

38

artikel, product of essay ingeleverd en beoordeeld

31

mondeling tentamen

32

mondelinge presentatie

22

schriftelijk tentamen totaal

23 146

Tabel 1: afgenomen toetsen in pilotweek Van de studenten uit de pilotweek zijn 14 studenten aan het einde van het studiejaar 20092010 afgestudeerd en twee in 2010-2011. Drie studenten zijn in augustus 2011 via een herkansingsmogelijkheid afgestudeerd. Op het moment van het onderzoek van de commissie zijn dus 19 van de 24 studenten afgestudeerd. In de tweede helft van 2010 is intern onderzoek gedaan naar de kwaliteit van de voorbereiding en de uitvoering van de pilotweek. De conclusies van dit interne onderzoek zijn als volgt samen te vatten: – de pilot is onvoldoende conform de regels van de onderwijs- en examenregeling (OER) georganiseerd; – de kwaliteit van de uitgevoerde toetsing bleek niet in alle gevallen aantoonbaar; – het interne toezicht op de (leden van de) examencommissie is niet toereikend geweest.

pagina 9


4

Onderzoeksresultaten

4.1

Eindniveau studenten alternatief traject In deze paragraaf presenteert de commissie haar bevindingen op onderzoeksvraag 1: Wat is volgens de commissie het eindniveau van ieder van de in totaal 19 studenten die hebben deelgenomen aan het alternatieve toetstraject en die inmiddels zijn afgestudeerd, op een vierpuntsschaal (onvoldoende, voldoende, goed of excellent)? De werkwijze van de commissie wordt hieronder toegelicht waarna de resultaten worden gepresenteerd. De commissie heeft van alle studenten die hebben deelgenomen aan de pilotweek en die inmiddels zijn afgestudeerd de afstudeerscriptie, het stageverslag (indien aanwezig) en opdrachten uit de pilotweek (indien aanwezig) beoordeeld. Van alle studenten was de afstudeerscriptie beschikbaar. Van slechts twee van de studenten was het stageverslag beschikbaar. Van één van deze twee studenten was daarnaast een extra tentamen en een in de pilotweek gemaakte opdracht beschikbaar. Van twaalf studenten was, naast de afstudeerscriptie, een in de pilotweek gemaakte opdracht beschikbaar. Van zes studenten was alleen de afstudeerscriptie beschikbaar. De commissie heeft van deze zes studenten geen stageverslag of een ander vierdejaarsonderdeel kunnen inzien. De commissie heeft ieder van de afstudeerscripties, verslagen en opdrachten bestudeerd zonder vooraf op de hoogte te zijn van het eindoordeel van de examinatoren. Afgesproken was dat een derde commissielid het dossier zou beoordelen bij verschillen in beoordeling tussen de eerste twee commissieleden. Aangezien de oordelen van de commissieleden in voldoende mate met elkaar overeenkwamen, is dit niet nodig gebleken. Na de voorlopige beoordeling door tweetallen zijn alle oordelen met de hele commissie volledig doorgesproken en op elkaar afgestemd. Hierna hebben de commissieleden hun oordelen vergeleken met de oorspronkelijke oordelen van de examinatoren. De commissie heeft het niveau van de afstudeerscripties van de studenten vastgesteld op een vierpuntsschaal (onvoldoende, voldoende, goed en excellent). Bij de stageverslagen en ander werk gaf de commissie het oordeel voldoende of onvoldoende. Naar aanleiding van haar voorlopige oordelen over de afstudeerscripties en overig werk heeft de commissie gesprekken gevoerd met één examinator. Eén beoordeling die significant afweek tussen deze examinator en de commissie is doorgesproken. Ook is ingegaan op de beoordeling waar naar het oordeel van de commissie sprake was van een onvoldoende. Verder is met de examinator, die tevens de initiatiefnemer voor de pilotweek was, gesproken over de inrichting van de pilotweek. De commissie heeft haar oordeel op de afstudeerscriptie als indicatie genomen voor het bepalen van het gerealiseerde eindniveau van de 19 afgestudeerden. De oordelen op eventueel aanwezige stageverslagen en overig werk hebben dit oordeel bevestigd. In tabel 2 zijn de oordelen van de commissie weergegeven over het eindniveau van de 19 afgestudeerde studenten die hebben deelgenomen aan het alternatieve toetstraject.

pagina 10


Excellent

Goed

Voldoende

Onvoldoende

Totaal

eindniveau alternatieve studenten

1

5

12

1

19

Tabel 2: Eindniveau volgens commissie Het gerealiseerde eindniveau van 18 van de 19 studenten is op of boven het niveau dat van een hbo-bachelor mag worden verwacht. 18 van de 19 studenten hebben dan ook volgens de commissie terecht het hbo-diploma ontvangen. Het gerealiseerde eindniveau van 1 van de 19 studenten is onder het niveau dat van een hbo-bachelor mag worden verwacht. De opleiding heeft bij de beoordeling van deze afstudeerscriptie de richtlijnen en beoordelingscriteria toegepast die geldig waren op het moment dat deze student startte met het afstudeertraject. De commissie heeft deze afstudeerscriptie beoordeeld met inachtneming van de voor deze student geldende beoordelingscriteria en heeft geconcludeerd dat, ook bij het toepassen van deze criteria, het niveau onvoldoende was.

4.2

Eindniveau studenten regulier traject De tweede onderzoeksvraag luidt als volgt: Wat is volgens de commissie het eindniveau van ieder van de in totaal 17 in het studiejaar 2010-2011 regulier afgestudeerde studenten, op een vierpuntsschaal (onvoldoende, voldoende, goed of excellent )? De werkwijze van de commissie wordt hieronder toegelicht waarna de resultaten worden gepresenteerd. De commissie heeft van alle studenten die in het studiejaar 2010-2011 regulier zijn afgestudeerd de afstudeerscriptie en het stageverslag (indien aanwezig) beoordeeld. Van zes studenten was het stageverslag niet beschikbaar. Van vijf van deze studenten zijn andere vierdejaarswerken beoordeeld. Van één student was geen ander werk beschikbaar. De commissie heeft ieder van de afstudeerscripties en stageverslagen bestudeerd zonder vooraf op de hoogte te zijn van het eindoordeel van de examinatoren. Afgesproken was dat een derde commissielid het dossier zou beoordelen bij verschillen in beoordeling tussen de eerste twee commissieleden. Aangezien de oordelen van de commissieleden in voldoende mate met elkaar overeenkwamen, is dit niet nodig gebleken. Na de voorlopige beoordeling door tweetallen, zijn alle oordelen met de hele commissie volledig doorgesproken en op elkaar afgestemd. Hierna hebben de commissieleden hun oordelen vergeleken met de oorspronkelijke oordelen van de examinatoren. De commissie heeft het niveau van de afstudeerscripties van de studenten vastgesteld op een vierpuntsschaal (onvoldoende, voldoende, goed en excellent). Bij de stageverslagen en ander werk gaf de commissie het oordeel voldoende of onvoldoende.

pagina 11


Naar aanleiding van haar voorlopige oordelen over de afstudeerscripties en stageverslagen heeft de commissie gesprekken gevoerd met twee examinatoren. Drie significant afwijkende beoordelingen tussen de examinatoren en de commissie zijn doorgesproken. Verder is met de examinatoren gesproken over de procedures rond het afstuderen en over de gehanteerde beoordelingscriteria.

Goed

Voldoende

Onvoldoende

Totaal

Eindniveau reguliere studenten

Excellent

De commissie heeft haar oordeel op de afstudeerscriptie als indicatie genomen voor het bepalen van het gerealiseerde eindniveau van de 17 studenten die in het studiejaar 20102011 regulier zijn afgestudeerd. De oordelen op stageverslagen en overig werk hebben het dit oordeel bevestigd. In tabel 3 zijn de oordelen van de commissie weergegeven over het eindniveau van de studenten.

2

8

7

0

17

Tabel 3: Niveau afstudeerscriptie volgens commissie Het gerealiseerde eindniveau van alle 17 studenten is op of boven het niveau dat van een hbo-bachelor mag worden verwacht. Deze studenten hebben dan ook volgens de commissie terecht het hbo-diploma ontvangen.

4.3

Oordeel opleiding versus oordeel commissie In deze paragraaf presenteert de commissie haar bevindingen op de derde onderzoeksvraag: Is het oordeel van de commissie over het eindniveau van de 36 studenten in overeenstemming met het oordeel dat de opleiding heeft gegeven? De commissie heeft haar oordelen over het eindniveau van de studenten gegeven op een vierpuntsschaal. Om de oordelen van de opleidingen te kunnen vergelijken met de oordelen van de commissie, zijn de cijfers van de opleidingen als volgt vertaald naar de vierpuntsschaal van de commissie: onvoldoende: lager dan 5,5; voldoende: 5,5 t/m 7,0; goed: 7,1 t/m 8,5; excellent: 8,6 t/m 10. In het eindoordeel van de opleiding is ook het oordeel van de afstudeerbegeleiders over de mondelinge verdediging van de afstudeerscriptie meegenomen. De commissie heeft geen zicht op de invloed van deze verdediging op het eindcijfer. Verschillen tussen de oordelen van de commissie en de oordelen van de opleiding zijn hier mogelijk deels door te verklaren.

pagina 12


commissie

Geslaagden

opleiding

In tabellen 4 en 5 zijn de aantallen oordelen per categorie vergeleken tussen de commissie en de opleiding. Tabel 4 geeft een overzicht van de studenten die de pilotweek hebben doorlopen en tabel 5 geeft een overzicht van de reguliere studenten. Zichtbaar is bijvoorbeeld dat zowel de opleiding als de commissie acht reguliere studenten het oordeel goed hebben gegeven.

excellent

2

1

goed

3

5

voldoende

14

12

onvoldoende

0

1

totaal

19

19

commissie

Geslaagden

opleiding

Tabel 4: Aantallen oordelen studenten pilotweek

excellent

0

2

goed

8

8

voldoende

9

7

onvoldoende

0

0

totaal

17

17

Tabel 5: Aantallen oordelen reguliere studenten

pagina 13


cie - onvoldoende

cie - voldoende

cie - goed

cie - excellent

opleiding

In tabellen 6 en 7 zijn de oordelen van de opleiding over het eindniveau van de studenten afgezet tegen de oordelen van de commissie. Zichtbaar is bijvoorbeeld dat de negen reguliere studenten die van de opleiding het oordeel voldoende ontvingen, van de commissie in zes gevallen het oordeel voldoende en in drie gevallen het oordeel goed ontvingen.

Geslaagden excellent

2

1

goed

3

1

2

voldoende

14

3

10

1

totaal

19

5

12

1

1

1

cie - onvoldoende

cie - voldoende

cie - goed

cie - excellent

opleiding

Tabel 6: Oordeel eindniveau studenten alternatief traject commissie versus opleiding

Geslaagden excellent

0

goed

8

voldoende

9

totaal

17

2

2

5

1

3

6

8

7

Tabel 7: Oordeel eindniveau reguliere studenten commissie versus opleiding Opvallend is dat de oordelen van de commissie over het eindniveau van de reguliere studenten gemiddeld hoger zijn dan de oordelen van de opleiding. Bij de studenten die de pilotweek hebben gevolgd, liggen de oordelen van de commissie en de opleiding dichter bij elkaar. Een mogelijke reden voor dit verschil is dat de opleiding in het afgelopen jaar waarin de reguliere studenten zijn afgestudeerd, strenger is gaan beoordelen.

4.4

Eisen aan pilotweek In deze paragraaf presenteert de commissie haar bevindingen op de vierde onderzoeksvraag: Heeft de toekenning van studiepunten, en de toetsing en beoordeling in het alternatieve toetstraject plaatsgevonden volgens daarvoor in het hoger beroepsonderwijs geldende eisen?

pagina 14


De in de pilotweek gebruikte toetsvormen en de toekenning van eerder behaalde studiepunten worden hieronder besproken. Vervolgens worden conclusies gegeven. Mondelinge tentamens Bij de mondelinge tentamens zijn in de meeste gevallen twee docenten als beoordelaar aanwezig geweest. Er zijn geen score- of beoordelingsformulieren gebruikt. De docenten hebben de studenten op hoofdlijnen ondervraagd en hebben daarbij de nadruk gelegd op eindkwalificaties. Vooraf zijn geen expliciete criteria vastgesteld, anders dan dat gebruik is gemaakt van het bestaande competentieprofiel uit de modulehandleiding. Aangezien van de mondelinge tentamens niets is vastgelegd, heeft de commissie zich geen oordeel kunnen vormen over de inhoud en het niveau van de toetsen en de resultaten van de studenten. De commissie stelt echter dat bij deze vorm van toetsing zonder vooraf geformuleerde beoordelingscriteria het reële risico bestaat dat de toetsing onvoldoende valide en betrouwbaar was. Schriftelijke tentamens Voor een beperkt aantal vakken of vakonderdelen zijn schriftelijke tentamens gegeven. In de pilotweek is veelal gekozen voor een gecomprimeerde vorm van toetsing om de duur van het tentamen in te korten. Eenzelfde toets is op meerdere momenten in deze week bij verschillende studenten afgenomen. De commissie heeft slechts enkele van de schriftelijke tentamens uit de pilotweek kunnen inzien. Daarbij zij aangetekend dat instellingen voor hoger onderwijs geen wettelijke verplichting hebben om het afstudeerwerk van studenten te bewaren. De commissie beoordeelt de kwaliteit van de toetsen als voldoende. Door het inkorten van toetsen is het echter mogelijk dat de validiteit en betrouwbaarheid van deze toetsen in het geding komen. Mondelinge presentaties De commissie heeft geen producten aangetroffen van de afgenomen mondelinge presentaties. De commissie kan dan ook de kwaliteit van deze toetsen niet beoordelen. Toekenning eerder behaalde studiepunten Tijdens de pilotweek zijn studiepunten toegekend die ten onrechte nog niet in het administratiesysteem stonden. De studenten hebben hiertoe bewijs geleverd in de vorm van eerder beoordeelde producten en e-mails van de betrokken docent met het cijfer. Volgens het interne onderzoek van de instelling is het niet meer mogelijk aantoonbaar te maken of toekenning van studiepunten terecht heeft plaatsgevonden aangezien de bewaartermijn van de producten is verstreken. Formele besluitvorming in de examencommissie over de wijze van toetsing heeft volgens dit interne onderzoek in elk geval niet plaatsgevonden. Ook de commissie stelt vast dat geen formele besluitvorming heeft plaatsgevonden. Daarmee heeft de toekenning van eerder behaalde studiepunten ten dele niet volgens de regels plaatsgevonden. Wel erkent de commissie de noodzaak van deze exercitie gezien het feit dat de instelling eerder in gebreke was gebleven en daardoor studiepunten onterecht niet waren toegekend. Conclusies De pilotweek biedt volgens de commissie een goede basis voor het doorvoeren van administratieve correcties en het beoordelen van een aantal openstaande programmaonderdelen. De pilotweek heeft langstudeerders de kans geboden om onterecht niet geregistreerde studiepunten alsnog te laten registeren. Gebleken is namelijk dat met het afronden van bepaalde programmaonderdelen en het vertalen daarvan naar studiepunten fouten zijn gemaakt. Verder heeft het speciale toetstraject het mogelijk

pagina 15


gemaakt voor langstudeerders om de noodzakelijke toetsen af te leggen met het oog op afstuderen. De commissie is echter ook kritisch, met name over de uitvoering van de toetsing in de pilotweek. Uit een intern onderzoek bleek al eerder dat aan een aantal noodzakelijke voorwaarden voor het zorgvuldig toetsen van studenten niet is voldaan. De uitvoering van de pilotweek heeft niet volgens de OER plaatsgevonden en de kwaliteit van de uitvoering van de toetsing was niet in alle gevallen inzichtelijk. De commissie heeft een te beperkt aantal toetsen uit de pilotweek kunnen inzien om een uitspraak te kunnen doen over de kwaliteit van de toetsen zoals deze zijn afgenomen. De commissie ondersteunt echter de uitspraken in de evaluatie over de mogelijk te lage betrouwbaarheid en validiteit van de toetsen, door de gekozen inrichting van de toetsen (zoals ingekorte toetsen en mondelinge toetsen zonder beoordelingscriteria). De studenten hebben in de pilotweek gemiddeld vier mondelinge en/of schriftelijke tentamens gedaan. De commissie vindt dit gemiddelde aantal tentamens passend bij de omvang van één beoordelingsweek. Het is niet mogelijk gebleken om per student vast te stellen hoeveel werk deze in de pilotweek heeft moeten verrichten. De studenten hebben toetsen gemaakt voor onderdelen van onderwijseenheden. Een student ontvangt na het afronden van het laatste onderdeel van een onderwijseenheid de totale hoeveelheid studiepunten voor deze onderwijseenheid, waarbij niet bekend is uit hoeveel EC dit laatste onderdeel heeft bestaan. De commissie kan er dan ook geen uitspraak over doen of iedere student een passende hoeveelheid EC heeft afgerond in de pilotweek. De commissie vindt het onvoldoende aangetoond dat studenten vooraf zijn aangezet tot het voorbereiden van de toetsen voor de ontbrekende vakken. De commissie vraagt zich dan ook af in hoeverre een grondige voorbereiding door studenten daadwerkelijk heeft plaatsgevonden.

4.5

Eisen aan toetsing en beoordeling eindniveau In deze paragraaf presenteert de commissie haar bevindingen op de laatste onderzoeksvraag: Hebben de toetsing en beoordeling van het gerealiseerde eindniveau van de reguliere studenten en pilotweekstudenten plaatsgevonden volgens daarvoor in het hoger beroepsonderwijs geldende eisen? De commissie heeft de kwaliteit van de toetsing en beoordeling van het eindniveau van de studenten Communicatie beoordeeld. Hiertoe zijn de afstudeerwerkstukken, stageverslagen en andere producten en toetsen van studenten uit de pilotweek en reguliere studenten (afgestudeerd in 2010-2011) bekeken, indien aanwezig. Ook heeft de commissie de richtlijnen en beoordelingscriteria rond de beoordeling van het afstudeerwerk en de stage bestudeerd. De commissie concludeert dat de opleiding niet voldoende inzichtelijk heeft gemaakt in welke programmaonderdelen welke eindkwalificaties op eindniveau worden getoetst. De relatie tussen de aard en het niveau van de toetsen enerzijds en de te toetsen eindkwalificaties kan daarnaast helderder. Voorts stelt de commissie vast dat de opleiding geen eenduidige beoordelingscriteria heeft gehanteerd voor de afstudeerscriptie. Hoewel 35 van de 36 schriftelijke eindproducten voldoen aan de eisen van een hbo-bachelor, is onduidelijk gebleven hoe de mondelinge presentatie is meegewogen in het oordeel van de opleiding over het afstudeerwerkstuk.

pagina 16


De commissie constateert dat het cluster M&B diverse intensieve verbeteracties met betrekking tot toetsing en beoordeling in gang heeft gezet. Het is de commissie duidelijk geworden dat het cluster op dit moment een sterke focus legt op (het verbeteren van) de kwaliteit van toetsing in het algemeen en van de toetsing van het eindniveau van de studenten in het bijzonder. De commissie ondersteunt de noodzaak van de verbeteracties. De commissie adviseert wel om binnen de verbeteracties de focus op het vakinhoudelijke communicatievak niet uit het oog te verliezen. Aandacht voor bijvoorbeeld de onderzoeksmethodiek in de afstudeerprojecten is weliswaar belangrijk, maar deze kan nooit los worden gezien van de vakinhoudelijke component. Op dit moment kan de commissie niet vaststellen in welke mate de ingezette verbeteracties effect hebben op de kwaliteit van de toetsing en beoordeling. De commissie heeft geen afstudeerwerkstukken kunnen bekijken van voorgaande cohorten en kan dan ook geen vergelijking maken met het reguliere afstuderen in voorgaande jaren. Wel is het de commissie zichtbaar geworden dat de maatregelen effect hebben op de mate van strengheid van beoordelen van afstudeerscripties (zie ook paragraaf 4.2).

pagina 17


5

Conclusies Van de 19 afgestudeerden Communicatie die hebben deelgenomen aan een alternatief toetstraject, hebben 18 terecht een hbo-bachelordiploma ontvangen in de periode 20092011. Alle 17 studenten regulier afgestudeerd in 2010-2011 bereikten het vereiste eindniveau. Onderzoeksvraag 1 – Wat is volgens de commissie het eindniveau van ieder van de in totaal 19 studenten die hebben deelgenomen aan het alternatieve toetstraject en die inmiddels zijn afgestudeerd, op een vierpuntsschaal (onvoldoende, voldoende, goed of excellent)? De commissie volgt voor het bepalen van het eindniveau van de 19 afgestudeerden haar oordelen over het niveau van de afstudeerscriptie en overig werk voor zover beschikbaar. De oordelen van de commissie over het eindniveau van de afgestudeerden zijn als volgt: één afgestudeerde krijgt het oordeel excellent, vijf afgestudeerden krijgen het oordeel goed, twaalf het oordeel voldoende en één het oordeel onvoldoende. Onderzoeksvraag 2 – Wat is volgens de commissie het eindniveau van ieder van de in totaal 17 in het studiejaar 2010-2011 regulier afgestudeerde studenten, op een vierpuntsschaal (onvoldoende, voldoende, goed of excellent )? De commissie volgt voor het bepalen van het eindniveau van de 17 afgestudeerden haar oordelen over het niveau van de afstudeerscriptie, het stageverslag of een ander vierdejaarsonderdeel. De oordelen van de commissie over het eindniveau van de afgestudeerden zijn als volgt: twee afgestudeerden krijgen het oordeel excellent, acht afgestudeerden krijgen het oordeel goed en zeven het oordeel voldoende. Onderzoeksvraag 3 – Is het oordeel van de commissie over het eindniveau van de 36 studenten in overeenstemming met het oordeel dat de opleiding heeft gegeven? De commissie heeft de oordelen van de opleiding op de afstudeerscripties vertaald naar haar vierpuntsschaal en met elkaar vergeleken. Bij de studenten uit de pilotweek is het merendeel van de oordelen van de commissie in overeenstemming met de oordelen van de opleiding. Bij de reguliere studenten valt op dat bij vijf studenten het oordeel van de commissie hoger is dan het oordeel van de opleiding. Bij één student is het oordeel van de commissie lager. Onderzoeksvraag 4 – Heeft de toekenning van studiepunten, en de toetsing en beoordeling in het alternatieve toetstraject plaatsgevonden volgens daarvoor in het hoger beroepsonderwijs geldende eisen? De commissie constateert dat de uitvoering van het alternatieve toetstraject niet volgens de OER heeft plaatsgevonden en dat de kwaliteit van de uitvoering van de toetsing niet in alle gevallen inzichtelijk is. Onderzoeksvraag 5 – Hebben de toetsing en beoordeling van het gerealiseerde eindniveau van de reguliere studenten en pilotweekstudenten plaatsgevonden volgens daarvoor in het hoger beroepsonderwijs geldende eisen? De opleiding heeft niet voldoende inzichtelijk gemaakt waar in de opleiding iedere eindkwalificatie op eindniveau wordt getoetst. De relatie tussen de aard en het niveau van de toetsen enerzijds en de te toetsen eindkwalificaties kan daarnaast helderder. Voorts heeft de commissie vastgesteld dat de opleiding geen eenduidige beoordelingscriteria heeft gehanteerd voor de afstudeerscriptie. De commissie heeft niet kunnen vaststellen in welke mate de ingezette verbeteracties effect hebben op de kwaliteit van de toetsing en beoordeling bij gebrek aan vergelijkend materiaal. Wel ondersteunt de commissie de noodzaak van verbeteracties.

pagina 18


Bijlage 1 – Samenstelling commissie Voorzitter drs. M. Dunnewijk-Budé, voormalig voorzitter Hogeschool Zuyd en voormalig lid HBO-raad Marianne Dunnewijk is vanaf 1981 werkzaam in het hbo. Aanvankelijk als docent en vanaf 1988 als directeur van verschillende faculteiten van Fontys Hogescholen en haar voorganger de Katholieke Leergangen. Vanaf 1996 werkte zij in de Economische Sector en was zij voorzitter van de sectorraad. Haar bestuurlijke ervaring in het hbo deed zij op als voorzitter van de Hogeschool Zuyd (2000-2010) en als lid van de HBO-raad (2002-2006).

Commissielid drs. J. Ossewold, directeur van The Creative Media Consultancy, lector Media/Interactie & Narratie, Fontys Hogescholen, en hoofd FutureMediaLab. Jurriënne Ossewold studeerde moderne letterkunde en filosofie aan de Radboud Universiteit Nijmegen. Na haar studie combineerde zij onderzoek en onderwijs in diverse functies met een creatieve, professionele praktijk. Op dit moment combineert zij beide als directeur van the Creative Media Consultancy en als hoofd van het FutureMediaLab en lector Media/Interactie & Narratie aan Fontys Hogescholen. Ossewold maakte experimentele films, documentaires en vele digitale mediaproducten en specialiseerde zich in media, design en productinnovatie. Zij ontwikkelt kennisintensieve producten op het snijvlak van media, design, ICT en communicatie. Zij werkt(e) voor de profit en non-profit sector. Op grond van haar expertise wordt zij regelmatig gevraagd voor lezingen en om plaats te nemen in fora of jury‟s (o.a. Dutch Design Awards). Zij heeft ruime ervaring met visitaties van bestaande en nieuwe opleidingen. Commissielid lic. E. Goubin, lector en research manager, Groep Bedrijf en Communicatie, Lessius Hogeschool, Mechelen Eric Goubin studeerde Communicatiewetenschappen en Internationale Betrekkingen aan de Vrije Universiteit Brussel. Hij startte zijn loopbaan als journalist en coördinator van een communicatieadviesbureau. Begin jaren negentig ging hij deeltijds, later voltijds aan de slag als lector in de opleidingen Communicatiemanagement en Journalistiek te Mechelen. In 1994 werd hij opleidingshoofd van beide richtingen evenals van de dan startende voortgezette opleiding Multimedia. Zowel als lector, als in zijn functie van opleidingshoofd was hij jarenlang belast met de begeleiding van problematische (eind)werken stagestudenten. Sinds 2000 leidt hij aan de Lessius Hogeschool het onderzoekscentrum Memori dat zich specialiseert in innovatieve marketing en communicatie in de overheid- en socialprofitsector. In 2007 werd hij covoorzitter van de onderzoeksraad van de Associatie Katholieke Universiteit Leuven. Als vaklector overheidscommunicatie blijft hij actief in de opleidingen Communicatiemanagement en Journalistiek. Hij verzorgde tientallen publicaties en honderden lezingen op het vlak van communicatie, innovatie en sociale inclusie.

pagina 19


Commissielid dr. R. Bruijns, voormalig coördinator EU-projecten en voormalig docent Media Informatie Management, Hogeschool van Amsterdam Ruud Bruijns studeerde sociologie/sociale psychologie en promoveerde in Nijmegen op het proefschrift “De invloed van werk en milieu op arbeidsmotivatie”. Ondertussen werkte hij bij de staatsmijnen (DSM) op de afdeling psychologische dienst. Hij werd docent en hoofd opleiding bij de Frederik Muller Academie. Later werd hij docent Media Informatie Management en doceerde hij aan de Hogeschool van Amsterdam diverse management- en onderzoeksvakken. Van 1994 tot 2002 was hij coördinator van de ESF projecten New Book Economy en New Book economy BIS. Verder was hij transnationaal coördinator ESF projecten in het EQUAL programma: United Projects Access Economy (UPAE). Ruud Bruijns was als NQA-panellid betrokken bij de visitatie van de reguliere opleidingen hbo-bachelor Communicatie en Informatiedienstverlening en –Management van de Hanzehogeschool Groningen (NQA-rapport september 2010).

Secretaris drs. L. van der Grijspaarde, zelfstandig onderwijsadviseur

Procescoördinator lic. M. Wera, beleidsmedewerker NVAO

pagina 20


Bijlage 2 – Programma locatiebezoek Het panel heeft een bezoek gebracht aan de Hogeschool Leiden van maandag 26 september 2011 tot woensdag 28 september 2011. Maandag 26 september 14.00 – 16.00 Voorbereidend overleg commissie 16.00 – 16.45

Presentatie instelling

Anne Marie Verhagen, interim voorzitter examencommissie in het studiejaar 20102011 Anke K. van Vuuren, directeur cluster M&B Cilia Born, onderwijskundige cluster M&B Pollyan A. van Swigchem, kwaliteitscoördinator cluster M&B

16.45 – 18.30

Onderzoek commissie

Dinsdag 27 september 8.45 – 19.00 Onderzoek commissie

Woensdag 28 september 9.00 – 16.00 Onderzoek commissie Gesprekken met examinatoren

Arjan Schellinkhout Wies Edam Lukas Brandts

Terugkoppeling commissie aan instelling

Anke K. van Vuuren, directeur cluster M&B Paul van Maanen, voorzitter college van bestuur Lisette van de Weijer, secretaris college van bestuur

pagina 21


Bijlage 3 – Documenten Voorafgaand aan locatiebezoek ontvangen 1. Genummerd overzicht 36 afstudeerstudenten (met beoordeling) 2. Genummerd overzicht 36 afstudeerstudenten (zonder beoordeling) 3. Organogram Hogeschool Leiden 4. Organogram cluster Management en Bedrijf 5. Achtergrondinformatie opleiding Communicatie Hogeschool Leiden en de pilot voor langstudeerders 6. Overzicht eindkwalificaties/modules studiejaar 2006-2007 7. Competentieprofiel Hogeschool Leiden/Haagse Hogeschool 2006 8. Te behalen eindniveau eindkwalificaties Hogeschool Leiden 9. Studiegids communicatie 2009-2010 10. OER 2009-2010 11. OER 2010-2011 12. Afstudeerhandleiding 2009-2010 (incl. criteria en beoordelingsformulier) 13. Afstudeerhandleiding 2010-2011 (incl. criteria en beoordelingsformulier) 14. Memo voor opdrachtgevers afstuderen Communicatie 2010-2011 15. Memo aandachtspunten afstudeeronderzoek voor studenten, mei 2011 16. Stage/afstudeerovereenkomst M&B 17. Stand van zaken beleidsontwikkeling en verbetermaatregelen 18. Rapport met uitkomsten van het onderzoek naar de pilot voor langstuderende studenten communicatie die van 12 t/m 16 april 2010 heeft plaatsgevonden (november 2010) Ter inzage tijdens locatiebezoek 1. Beoordelingen deelnemers alternatief afstudeertraject 2. Beoordeling deelnemers regulier toetstraject 3. Overzichten EC getoetst per student pilotweek 4. Cv‟s van beoordelaars 5. Functiebeschrijvingen docenten en beoordelaars 6. Documenten m.b.t. plagiaatpreventie 7. Documenten m.b.t. werving en selectie beoordelaars Documenten m.b.t. verbetermaatregelen toetsing & beoordeling: 8. Besluiten versterking examen- en toetscommissies (oktober 2010) 9. Examencommissie: taken, verantwoordelijkheden, benoemingen toezicht binnen het cluster M&B (april 2011) 10. Kwaliteitsborging Toetsing en beoordeling (juni 2011) 11. Reglement Examencommissie Hogeschool Leiden (augustus 2011) 12. Werkwijze beoordeling afstudeeropdrachten en de bijbehorende formulieren (september 2011) 13. Offerte Project monitoring Toetskwaliteit Hogeschool Leiden (augustus 2010) 14. Offerte Begeleiding Toets- en examencommissies cluster M&B (augustus 2011) 15. Inventarisatie Implementatie Toetsbeleid HL (april 2011) 16. Notitie Systematische feedback toetsen (mei 2011) 17. Professionalisering docenten cluster M&B 2010-2011 (juni 2010) 18. Onderwijsprogramma praktijkgericht onderzoek, Cluster M&B (mei 2010) e 19. Memo: Afstudeertraject verlengde 4 jaars in september 2011 (juli 2011) 20. Memo; Verkenning traject langstudeerders Cluster M&B (maart 2011)

pagina 22


Documenten m.b.t. de opleiding: 21. Koersdocument opleiding communicatie 2011-2013 (juni 2011) 22. Opleidingsplan opleiding communicatie 2011-2015 (september 2011) 23. Strategisch HRM-beleid opleiding Communicatie (september 2011) 24. Jaarplan 2011-2012 opleiding Communicatie cluster Management en Bedrijf (september 2011) 25. Kritische reflectie opleiding Communicatie studiejaar 2010-2011 (juni 2011) 26. Strategisch toetsplan opleiding Communicatie cohort 2008 t/m 2011 (september 2011) Documenten m.b.t. de examencommissie: 27. Jaarverslag examencommissie afdeling COMCE, studiejaar 2010-2011 (augustus 2011) Documenten m.b.t. toetsing (in de afstudeerfase: 28. Overzicht eindkwalificaties 29. Bijlage B: Examenprogramma propedeutische fase 30. Bijlage C: Examenprogramma postpropedeutische fase 31. Bijlage D: Keuzedeel: omvang, eisen voor invulling, aanbod, rol examencommissie 32. Bijlage D: Opleidingsprofiel Bachelor of Communication 33. Bijlage E: Aanvullende regels 34. Onderwijsprogramma opleiding Communicatie studiejaar 2007-2008 35. Onderwijsprogramma opleiding Communicatie studiejaar 2006-2007 36. Onderwijsprogramma opleiding Communicatie studiejaar 2005-2006 37. Studieoverzicht cohort 2005 hoofdfase opleiding Communicatie 38. Studieoverzicht cohort 2004 hoofdfase opleiding Communicatie 39. Studieoverzicht cohort 2003 hoofdfase opleiding Communicatie 40. Toetsen (incl. toetsmatrijzen van a. Filosofie b. Corporate Communicatie Management c. Afstudeer Praktijkopdracht/Themagedeelte d. Communicatie Stage e. Advieskunde / Verandermanagement / Strategisch Management f. Beleidskunde / Interactieve Beleidsvorming g. International Marketing Communications h. Nederlands 8/9 i. Engels 7/8/9/10 j. Studieloopbaanbegeleiding ¾ k. Nieuwe Media (mondeling afgenomen, geen toetsmateriaal aanwezig) l. Minor ¾ 41. Cursistenhandleiding cursus Onderzoeksvaardigheden docenten M&B 42. 25 jaar perspectief: Jubileumboek Hogeschool Leiden

pagina 23


Bijlage 4 – Begrippenkader

pagina 24

ba

bachelor

BoKS

Body of Knowledge en Skills

EC

European Credit

ECTS

European Credit Transfer System

hbo

hoger beroepsonderwijs

inspectie

Inspectie van het Onderwijs

Logeion

landelijke beroepsvereniging voor communicatieprofessionals

LOCO

landelijk overleg communicatie opleidingen

ma

master

M&B

Management en Bedrijf

OER

onderwijs- en examenregeling

NVAO

Nederlands-Vlaamse Accreditatieorganisatie


Bijlage 5 – Beoordelingsformulier

Beoordelingsformulier NVAO Commissie onderzoek Hogeschool Leiden Naam student Hbo-ba Communicatie (CO) – alternatief

Opleiding

X

Beoordelaar

MDU – EGO – JOS -- RBR

Datum Eindoordeel

I Afstudeeropdracht

A. Vraagstelling & verantwoording Zijn deze onderdelen aanwezig (ja/neen)? a. Probleemstelling b. Wat willen we (laten) bereiken met deze afstudeeropdracht: (onderzoeks)doelen? c. Wie willen we (laten) bereiken met deze afstudeeropdracht: publieksafbakening? d. Hoe past dit afstudeerdossier in het geheel van het bedrijf (markt, bedrijfsbeleid, positionering, werking, …)? e. Wat is de context (sociaal, maatschappelijk, cultureel, economisch, internationaal) van deze afstudeeropdracht? f. Wat is de relatie tot het vakgebied, beroep en werkveld: relevantie? Opmerkingen m.b.t. de kwaliteit van deze onderdelen:

Globaal oordeel over de kwaliteit van “Vraagstelling & verantwoording”:

pagina 25


B. Onderzoek, analyse en product (vraag- en aanbodzijde, publiek, omgeving, …) Zijn deze onderdelen aanwezig (ja/neen/nvt)? a. Opzet onderzoek of opzet afstudeeropdracht b. Bronnenonderzoek c. Empirisch onderzoek d. Analyse e. Conclusies (= antwoord op “A. vraagstelling”) f. Output => Afhankelijk van type afstudeeropdracht: i. Vertaalslag naar concreet (implementeerbaar) beleidsdocument ii. Vertaalslag naar een adviesdocument / aandachtspunten voor verdere product/dienstontwikkeling iii. Vertaalslag naar een strategisch communicatieplan g. Terugblik / reflectie over de afstudeeropdracht / zelfevaluatie Opmerkingen m.b.t. de kwaliteit van deze onderdelen: Globaal oordeel over de kwaliteit van “Onderzoek & analyse”:

pagina 26


C. Algemene beoordeling Kunnen we uit de afstudeeropdracht afleiden dat de afstuderende blijk geeft van minstens “voldoende”: a. theoretische vorming / onderbouwing b. overzicht en inzicht, het kunnen plaatsen van problemen in de context c. reflectie (incl. zelfreflectie), kritische en objectiverende ingesteldheid, zin voor nuance d. creativiteit en/of vermogen tot conceptualisering (= bij studenten die op praktijkprojecten afstuderen) e. probleemoplossend vermogen (= bij studenten die op praktijkprojecten afstuderen) f. vermogen om helder te communiceren g. vermogen om efficiënt en resultaatgericht te werken h. professionaliteit i. vermogen om zelfstandig te werken Opmerkingen m.b.t. de kwaliteit van deze aandachtspunten:

II Stage

D. Stage Zijn deze onderdelen aanwezig (ja/neen/nvt)? a. is er een stagerapport beschikbaar b. betreft dit een hbo-waardige stage c. is het stagerapport hbo-waardig Opmerkingen m.b.t. de kwaliteit van deze onderdelen:

Globaal oordeel over de kwaliteit van “Stage”:

pagina 27


III Pilotopdrachten

E. Pilotopdrachten Zijn deze onderdelen aanwezig (ja/neen/nvt)? a. aantal door de student te behalen studiepunten volgens opgave opleiding b. wat is in dossier beschikbaar vak: toetsvorm: studiepunten: Opmerkingen m.b.t. de kwaliteit van deze onderdelen: Geen resultaten aanwezig Globaal oordeel over de kwaliteit van aangetroffen “Pilotopdrachten”:

pagina 28


Het rapport is tot stand gekomen in opdracht van de NVAO met het oog op de beoordeling van het eindniveau van studenten die in de studiejaren 2009-2010 en 2010-2011 bij de opleidingen Communicatie van de Hogeschool Leiden zijn afgestudeerd via het alternatieve toetstraject en in het studiejaar 2010-2011 via het reguliere traject.

Nederlands-Vlaamse Accreditatieorganisatie (NVAO) Parkstraat 28 Postbus 85498 | 2508 CD DEN HAAG T 31 70 312 23 00 F 31 70 312 23 01 E [email protected] W www.nvao.net

Dossiernummer 20110524

pagina 29


Rapport van bevindingen NVAO-commissie Onderzoek alternatief toetstraject Hogeschool Leiden

Recommend Documents