Nationale Studentenenquête. Validatie NSE 2010

Nationale Studentenenquête Validatie NSE 2010

Jessica Pass Anja van den Broek ResearchNed November 2009

Inhoud

1

Managementsamenvatting 3

2

Inleiding 5

3

Inventarisatie bestaande vragenlijsten 7

4

Delphi-onderzoek 9

4.1 4.2 4.3 4.4

Overzicht 9 Resultaten 9 Open vragen 17 Conclusies 17

5

Gebruik van antwoordschalen 19

5.1 5.2 5.3 5.4 5.5

Inleiding 19 Overzicht 19 Resultaten 20 Conclusies 21 Transformaties tussen antwoordschalen 22

6

Kwalitatieve analyse 24

6.1 6.2

Contextgebondenheid en taalgebruik 24 Meetniveau en antwoordcategorieën 25

7

Live pilot onder studenten 26

8

Validatie 29

8.1 8.2 8.3

Procedure 29 Resultaten 29 Conclusie 39

9

Integratie STO-NSE 41

9.1 9.2 9.3

Inleiding 41 Inhoud van de vragenlijst 42 Antwoordcategorieën 42

Bijlage A - Vragenlijst NSE 2010 46 Bijlage B - Commentaar NSE begeleidingsgroep 53 Bijlage C - Vergelijking STO2009-NSE2010 57

2 – Validatie NSE 2010

1 Managementsamenvatting

Door verschillende veranderingen in het hoger onderwijs is de behoefte ontstaan om de Nationale Studentenenquête (NSE) te vernieuwen. De vernieuwing van de NSE is een opdracht van Stichting Studiekeuze123 en is ten eerste gebaseerd op de intentie om tot een gemeenschappelijk landelijk studententevredenheidsonderzoek te komen en zo de bruikbaarheid van de gegevens voor studiekiezers en ook voor de instellingen zelf te verhogen. Ten tweede om met het oog op nationale en internationale ontwikkelingen ervoor te zorgen dat de NSE hierbij beter aansluit. Wat betreft het ontwikkelen van een gemeenschappelijk landelijk studententevredenheidsonderzoek doelt de NSE in eerste instantie op een integratie van het gezamenlijke studententevredenheidsonderzoek van de hogescholen (STO) in de NSE. Daarnaast ligt de nadruk op het ontwikkelen van een vragenlijst die zowel beter aansluit bij de behoefte van de instellingen naar gegevens voor hun kwaliteitszorg als ook bij de behoefte van studiekiezers om een gefundeerde studiekeuze te kunnen maken. Tevens wordt ernaar gestreefd de nieuwe vragenlijst niet langer dan vijftien minuten te laten duren om zo de onderzoekslast van de studenten te verkleinen en een hogere respons te kunnen realiseren. Om tot een nieuwe vragenlijst te komen is allereerst een inventarisatie gedaan van de inhoud van de NSE in relatie tot andere nationale onderzoeken naar studentenoordelen (STO, Haagse Hogeschool, Universiteit Utrecht), en tot internationale studentenenquêtes zoals het onderzoek van het CHE in Duitsland en van HEFCE in Groot-Brittannië en Ierland. Op basis van deze inventarisatie is een groslijst van onderwerpen en deelonderwerpen voor de nieuwe NSE opgezet. Hierbij is rekening gehouden met de behoefte van studiekiezers die uit eerdere onderzoeken naar voren zijn gekomen. Bij de samenstelling van de groslijst is vooral de nadruk gelegd op de integratie van het STO in de NSE. Dit betekent dat alle (hoofd)thema’s van de STO in de nieuwe NSE zijn opgenomen. Daarnaast is gekeken welke onderwerpen in de meeste geïnventariseerde vragenlijsten terugkomen en zijn onderwerpen toegevoegd die, met het oog op recente onderwijskundige ontwikkelingen en behoeften van gebruikers, tot nog toe in de NSE ontbreken. Dit heeft geresulteerd in één referentiebestand waarin baserend op de inventarisatie een groot aantal belangrijke hoofd- en subthema’s voor de nieuwe NSE is opgenomen. Om de nieuwe NSE aan te laten sluiten bij de behoefte van de instellingen naar gegevens voor hun kwaliteitszorg is deze groslijst aan deskundigen en gebruikers van een aantal universiteiten en hogescholen in Nederland voorgelegd. Het ‘delphi-onderzoek’ werd opgezet als een online vragenlijst waarbij aan de deelnemers voor elk hoofdthema en subthema uit de groslijst gevraagd werd aan te geven hoe belangrijk zij dit thema vonden voor de nieuwe NSE. Van de 178 benaderde deskundigen hebben 70 (39%) de vragenlijst volledig ingevuld. Hiervan waren 34 verbonden aan het hbo, tien aan het wo, zestien waren verbonden aan een niet bekostigde instelling (nbi). Verder participeerden vijf studenten en vijf overige deskundigen. Alle thema’s die door een duidelijke meerderheid van de deskundigen (75% of meer) als belangrijk werden beschouwd zijn opgenomen in een eerste conceptvragenlijst voor de nieuwe NSE. Aan de deskundigen is door middel van open vragen tevens de mogelijkheid geboden om belangrijke (sub)thema’s toe te voegen als deze volgens hen nog ontbraken. Er is gekozen om een extra (sub)thema op te nemen als dit door meer dan één deelnemer is genoemd. Dit resulteerde in dertien hoofdthema’s en 62 subthema’s voor de eerste conceptvragenlijst. Om ook rekening te houden met de behoeften van de studiekiezer zijn daarnaast twee hoofd- en negen subthema’s toegevoegd die volgens eerder onderzoek door deze groep als belangrijk worden ervaren.


Aan de hand van de resultaten uit het delphi-onderzoek is vervolgens een eerste conceptvragenlijst ontwikkeld. Alle items uit de lijst zijn op basis van verschillende criteria met betrekking tot contextgebondenheid, taalgebruik, meetniveau en gebruikte antwoordcategorieën geëvalueerd en uitgewerkt. Om tot een gefundeerde keuze voor een geschikte antwoordschaal voor de nieuwe NSE te komen is daarnaast een experimenteel onderzoek uitgevoerd waarin de verschillen tussen mogelijke antwoordschalen in kaart zijn gebracht. In het onderzoek zijn de antwoorden op een aantal algemene vragen uit de NSE 2009 vergeleken op vijf verschillende schalen: 10-puntschaal, 6puntschaal, 5-puntschaal, 5-punt Likertschaal en open rapportcijfer. Uit de resultaten bleek dat de antwoorden op de 5-puntschaal en de Likertschaal het minst scheef verdeeld waren. Ook wordt zowel in het STO als ook in twee internationale vragenlijsten gebruik gemaakt van een 5puntschaal. Daardoor zijn deze antwoordschalen voor de nieuwe NSE het meest geschikt. Omdat de Likertschaal gebaseerd is op het gebruik van stellingen met een normatief karakter en de vragen daardoor niet neutraal zijn geformuleerd, is het advies uitgesproken om voor de nieuwe NSE gebruik te maken van een neutrale 5-puntschaal. Dit onderzoek gaf tevens inzicht in transformatieformules die gebruikt kunnen worden om in de toekomst resultaten van NSE en STO in de tijd te vergelijken ondanks een mogelijke trendbreuk in het gebruik van antwoordschalen. De eerste conceptvragenlijst is vervolgens uitgetest onder studenten. Het primaire doel hiervan was om na te gaan of de gekozen hoofd- en subthema’s ook aansluiten bij de behoefte van de student, of de vragen duidelijk en niet multi-interpretabel zijn, of de vragen qua formulering aansluiten bij de beleveniswereld en terminologie van studenten en of de studenten de vragenlijst interpreteren zoals bedoeld. Daarnaast gaf de test ook een eerste zicht op de gemiddelde invultijd. Voor het testen van de vragenlijst zijn 500 studenten van verschillende universiteiten en hogescholen in Nederland benaderd met de vraag of zij wilden deelnemen aan een groepsgesprek waarin de nieuwe vragenlijst besproken zou worden. In totaal waren zes studenten (van verschillende opleidingen en instellingen) bereid om hieraan mee te doen. Twee studenten waren internationale studenten uit Duitsland, de andere vier waren Nederlandse studenten. Over het algemeen was de indruk van de studenten over de conceptvragenlijst positief. De vragenlijst was volgens hun helder en volledig. Wel hadden zij het gevoel dat sommige onderwerpen dubbel werden gevraagd en dat sommige vragen beter en/of anders geformuleerd konden worden. De invultijd bleek ongeveer tien minuten. De eerste conceptvragenlijst is naar aanleiding van het commentaar van de studenten verder uitgewerkt tot een definitieve conceptvragenlijst. Het voorstel voor de nieuwe basisvragenlijst bevat nu vijftien thema’s en 74 vragen, waarbij het eerste thema algemene oordelen bevat over de thema’s die later in de vragenlijst aan de orde komen. Daarnaast worden twee aanvullende modules aangeboden. Het thema ‘handicap en studie’ werd door deskundigen niet als belangrijk ervaren; vanuit Studiekeuze123 wordt geadviseerd, mede met het oog op afspraken met handicap + studie, dit onderwerp als aanvullend onderwerp te handhaven. Daarnaast is er een verzoek van de HBO-raad om de module ‘betrokkenheid van de instelling’ standaard voor hbo-instellingen toe te voegen. Op deze wijze komen alle hoofdonderwerpen uit het STO ook in de nieuwe NSE aan bod. Zeven subvragen uit het STO zijn niet standaard opgenomen in de basisvragenlijst van de nieuwe NSE, maar zijn uiteraard als aanvulling op de vragenlijst mogelijk. Op deze wijze is het STO inhoudelijk volledig geïntegreerd in de NSE. Voor een kwantitatieve validatie is een grootschalig onderzoek onder HetStudentenpanel uitgevoerd. De kwantitatieve validatie impliceert dat de structuur van de vragenlijst voor het grootste deel overeenkomt met de verwachtingen en blijkt een betrouwbare clustering mogelijk. Verder blijkt de vragenlijst een valide en betrouwbaar meetinstrument dat door de studenten positief is beoordeeld en zelfs nog onder de nagestreefde invultijd van 10 minuten ligt.


2 Inleiding

De Nationale Studentenenquête (NSE) is tien jaar geleden gestart als instrument om studentenoordelen te verzamelen ten behoeve van de Keuzegids Hoger Onderwijs. Omdat de NSE de afgelopen tien jaar nauwelijks is veranderd, maar in de tussentijd wel verschillende veranderingen in het hoger onderwijs zijn opgetreden, is er de behoefte ontstaan om de NSE te vernieuwen. De vernieuwing van de NSE is een opdracht van Stichting Studiekeuze123 en is ten eerste gebaseerd op de intentie om tot een gemeenschappelijk landelijk studententevredenheidsonderzoek te komen en zo de bruikbaarheid van de gegevens voor studiekiezers en ook voor de instellingen zelf te verhogen. Ten tweede om met het oog op nationale en internationale ontwikkelingen ervoor te zorgen dat de NSE hierbij beter aansluit. Wat betreft het ontwikkelen van een gemeenschappelijk landelijk studententevredenheidsonderzoek doelt de NSE in eerste instantie op een integratie van het gezamenlijke studententevredenheidsonderzoek van de hogescholen (STO) in de NSE. Daarnaast ligt de nadruk op het ontwikkelen van een vragenlijst die zowel beter aansluit bij de behoefte van de instellingen naar gegevens voor hun kwaliteitszorg als ook bij de behoefte van studiekiezers om een gefundeerde studiekeuze te kunnen maken. De internationale aansluiting heeft vooral betrekking op veranderingen op grond van Europees beleid (bijvoorbeeld de invoering van het BaMa-systeem) en de geschiktheid van de informatie voor internationale studenten. Omdat de huidige NSE met ongeveer 20 minuten invultijd als te lang wordt beschouwd wordt er bij de ontwikkeling tevens naar gestreefd om de nieuwe vragenlijst niet langer dan 15 minuten te laten duren, om zo de onderzoekslast van de studenten te verkleinen en een hogere respons te kunnen realiseren. Tegen deze achtergrond is een stappenplan opgesteld voor het ontwikkelen van een nieuwe vragenlijst1. Deze houdt het volgende in: 1 Inventarisatie van: - de inhoud van de NSE in relatie tot andere nationale onderzoeken naar studentenoordelen. Dit heeft vooral betrekking op het STO, maar ook op een aantal tevredenheidsonderzoeken van instellingen zelf (bijvoorbeeld van de Haagse Hogeschool en van de Universiteit Utrecht); - de inhoud van de NSE in relatie tot internationale studentenenquêtes zoals het onderzoek van CHE (Duitsland) en de National Student Survey van HEFCE (Groot-Brittannië en Ierland); 2 Het ontwerpen van een nieuwe vragenlijst aan de hand van: - informatie over nationale en internationale aansluiting; - een delphi-onderzoek onder deskundigen; - een kwalitatieve analyse van de vragen en antwoordcategorieën; - een live-pilot onder Nederlandse en internationale studenten; 3 Valideren en structureren van de nieuwe vragenlijst door: - een grootschalige online pilot onder HetStudentenpanel.

1

Vernieuwing NSE 2010.


Daarnaast is een onderzoek uitgevoerd naar het gebruik van verschillende antwoordschalen bij studententevredenheidsvragenlijsten. In dit onderzoek zijn de antwoorden op een aantal algemene vragen uit de NSE 2009 vergeleken. Hierbij zijn antwoorden op vijf verschillende schalen met elkaar vergeleken:  

10-puntschaal (NSE); 6-puntschaal (CHE); 5-puntschaal; 5-punt Likertschaal (STO) en open rapportcijfer. Dit onderzoek wordt gebruikt als basis om te komen tot een gefundeerde keuze voor een passende antwoordschaal voor de nieuwe NSE.


3 Inventarisatie bestaande vragenlijsten

Voor de ontwikkeling van de nieuwe vragenlijst is allereerst een inventarisatie uitgevoerd op de onderwerpen die in de huidige NSE en een aantal andere nationale onderzoeken naar studentenoordelen voorkomen. Hierbij hebben we ons vooral gericht op het gezamenlijke studententevredenheidsonderzoek van de hogescholen (STO), maar zijn ook instellingsinterne vragenlijsten van een hogeschool (De Reflector van de Haagse Hogeschool) en van een universiteit (Master-, Bachelor-, en Eerstejaarsvragenlijst van de Universiteit Utrecht) geïnventariseerd. Om daarnaast inzicht te krijgen in studententevredenheidsonderzoeken in het buitenland, hebben we ook de nationale studentenenquête van het HEFCE in de inventarisatie opgenomen. Deze vragenlijst wordt landelijk afgenomen onder studenten uit Groot-Brittannië en Ierland. Met de vragenlijst van het CHE (Duitsland) is al bij eerdere aanpassingen in de NSE rekening gehouden2. Bij de inventarisatie van de vragenlijsten hebben we gekeken naar: a. De doelgroep en het gebruik van de vragenlijst Alle geïnventariseerde vragenlijsten hebben als doel de tevredenheid van studenten over hun opleiding en instelling in kaart te brengen. De resultaten worden vooral gebruikt voor de kwaliteitszorg van instellingen. Alleen de NSE heeft daarnaast als doel om de verzamelde oordelen te gebruiken als informatiebron voor studiekiezers. b. De omvang/lengte van de vragenlijst Uit deze analyse blijkt dat de NSE met 24 verschillende onderwerpen de omvangrijkste en ook de langste vragenlijst is. Ook de Reflector van de Haagse Hogeschool is met 21 onderwerpen omvangrijk en lang. Het STO is met tien onderwerpen de kortste en minst omvangrijke vragenlijst. Daartussen in liggen de vragenlijsten van de Universiteit Utrecht (Zestien onderwerpen over drie vragenlijsten verdeeld) en van het HEFCE (Zestien onderwerpen). c. De gebruikte antwoordschalen Uit de analyse blijkt dat het gebruik van antwoordschalen voor wat betreft de studentenoordelen in de verschillende geïnventariseerde enquêtes nogal uiteen loopt. De NSE maakt gebruik van een 10-punt schaal in de vorm van een rapportcijfer. Het STO maakt gebruik van een 5punt Likertschaal, waarbij aan studenten stellingen worden voorgelegd waarvan zij moeten aangeven in hoeverre zij het daarmee eens zijn. De Reflector gebruikt voor een deel een 5-punt Likertschaal op basis van stellingen en voor een deel een 10-punt schaal in de vorm van rapportcijfers. In de vragenlijsten van de Universiteit Utrecht wordt vooral gebruik gemaakt van een neutrale 5-punt schaal (zeer ontevreden – zeer tevreden), maar deels ook van een 3-punt schaal (ontevreden – neutraal – tevreden). In de survey van het HEFCE wordt uitsluitend gebruik gemaakt van een 5-punt Likertschaal waarbij studenten moeten aangeven in hoeverre zij het met bepaalde stellingen eens zijn. Het onderzoek van CHE maakt gebruik van een neutrale 6-punt schaal (in Duitsland lopen rapportcijfers van 1-6).

2

Internationalizing the master’s questionnaire. Rapport van ResearchNed in opdracht van Studiekeuze123.


d. Inhoud van de vragenlijst Op basis van de inventarisatie is in overleg met een deskundige vanuit het hbo (Bastiaan van der Wulp) en een deskundige vanuit het wo (Felipe Salve) een groslijst van onderwerpen en deelonderwerpen voor de nieuwe NSE opgezet. Hierbij is tevens rekening gehouden met de behoefte van studiekiezers dat uit eerdere onderzoeken naar voren is gekomen3 4. Bij de samenstelling van de groslijst is vooral de nadruk gelegd op de integratie van het STO in de NSE. Dit betekent dat alle (hoofd)thema’s van het STO in de nieuwe NSE zijn opgenomen. Daarnaast is gekeken welke onderwerpen in de meeste geïnventariseerde vragenlijsten terugkomen en zijn onderwerpen toegevoegd die, met het oog op recente onderwijskundige ontwikkelingen en behoeften van gebruikers, tot nog toe in de NSE ontbreken. Dit heeft geresulteerd in één referentiebestand waarin alle belangrijke hoofd- en subthema’s voor de nieuwe NSE zijn opgenomen. Deze thema’s staan voor de onderwerpen en vragen die op grond van de inventarisatie opgenomen zouden moeten worden in een landelijke studententevredenheidsvragenlijst die is afgestemd op actuele ontwikkelingen in het hoger onderwijs en aansluit bij andere landelijke vragenlijsten in Europa. Deze groslijst bestaat uit 23 hoofd- en 117 subthema’s. Om te komen tot een definitieve selectie van belangrijke hoofd- en subthema’s voor de NSE 2010 is deze groslijst vervolgens aan een groter aantal deskundigen uit het hbo en wo voorgelegd in de vorm van een delphi-onderzoek. Dit onderzoek lichten wij in het volgende hoofdstuk verder toe. Naast de inhoudelijke vragen is het belangrijk ook een aantal achtergrondkenmerken van de deelnemende studenten te verzamelen. Indien deze kenmerken niet te koppelen zijn uit administratieve data adviseren wij de volgende gegevens te verzamelen: a. b. c. d. e. f.

3

4

geslacht (man/vrouw); opleiding; opleidingsvariant (voltijd/deeltijd/duaal); opleidingslocatie; start huidige opleiding; vooropleiding (havo/vwo/mbo/hbo-propedeuse/hbo-einddiploma of hbo-bachelor/universiteit - propedeuse/universiteit - bachelor/universiteit - doctoraal examen/universiteit - master/buitenlandse vooropleiding voortgezet onderwijs/buitenlandse vooropleiding hoger onderwijs/colloquium doctum of toelatingsgesprek/op basis van eerder verworven competenties/werkervaring).

Warps, J. (2007). Kiezen voor hogeschool en universiteit: Voorlichtinggebruik en keuzeproces van instromende hboen wo-studenten in Nederland, studiejaar 2005-2006. Rapportage in opdracht van SURFfoundation op basis van de IOWO-Instroommonitor. Van den Broek, A. & Wermink, I. (2007). Studiekeuze123.nl: Een onderzoek naar de informatiebehoefte van studenten. Rapportage in opdracht van SURFfoundation.


4 Delphi-onderzoek

4.1

Overzicht Als vervolgstap op het opstellen van de groslijst aan de hand van de inventarisatie is een delphi-onderzoek afgenomen. Deze methodiek houdt in dat een groep deskundigen wordt geraadpleegd om via een online vragenlijst hun oordeel te geven over het belang van opname van verschillende hoofd- en subthema’s in de NSE 2010. De conceptlijst (groslijst) is aan een representatief aantal deskundigen en gebruikers van een aantal universiteiten en hogescholen in Nederland voorgelegd. Het delphi-onderzoek is opgezet als een online vragenlijst waarbij aan de participanten voor elk hoofdthema uit de groslijst gevraagd werd aan te geven hoe belangrijk zij dit hoofdthema vonden voor de nieuwe NSE 2010. Tevens is aan de respondenten gevraagd of zij dit hoofdthema een kernonderwerp vonden of een onderwerp dat aanvullend op de basisvragenlijst door de instellingen facultatief kan worden toegevoegd. Verder werd voor elk van de hoofdthema’s een aantal subthema’s voorgelegd die de basis vormen voor de vragen die horen bij elk van de hoofdthema’s. Ook hiervoor is aan de deskundigen gevraagd in hoeverre zij dit een belangrijke invulling van het hoofdthema vonden en of er subthema’s ontbraken. Aan het einde van de vragenlijst konden de deskundigen aangeven of de groslijst volledig was of dat er naar hun mening nog belangrijke hoofdthema’s ontbraken. De uitnodiging voor dit delphi-onderzoek is in de derde week van juni 2009 per e-mail aan 178 deskundigen verstuurd. Hiervoor zijn alle centrale contactpersonen benaderd, aangevuld met studentvertegenwoordigers, leden van het deskundigenpanel en andere overlegorganen, en een aantal externe deskundigen. Van de 178 benaderde deskundigen hebben 70 (39%) de vragenlijst volledig ingevuld. Hiervan waren 34 verbonden aan het hbo, tien aan het wo, zestien waren verbonden aan een niet bekostigde instelling (nbi). Verder participeerden vijf studenten en vijf overige deskundigen. De resultaten van dit onderzoek zijn gebruikt om de vragenlijst verder te optimaliseren. Centraal daarbij staat de vraag of de vragenlijst:   

inhoudelijk volledig is (zijn de thema’s volledig, missen er (sub)-thema’s op cruciale punten, passen de thema’s bij de doelstelling van het onderzoek?); duidelijk is; in balans (niet te veel thema’s binnen één onderwerp) en niet te omvangrijk is.

Hiermee ontstaat een conceptlijst van hoofd- en subthema’s die inhoudelijk volledig is en gedragen wordt door gebruikers. 4.2

Resultaten

Hoofdthema’s Allereerst is voor alle deskundigen berekend hoe belangrijk zij de hoofdthema’s beoordeelden (op een schaal van 1=zeer onbelangrijk, tot 5=zeer belangrijk). Hieruit bleek dat de deskundigen de meeste thema’s belangrijk vinden, maar zien we ook dat er een aantal thema’s als neutraal of onbelangrijk worden beschouwd (zie Tabel 1). De in Tabel 1 grijs-gearceerde onderwerpen worden door de deelnemers als minder belangrijk gezien.


Tabel 1: Gemiddeld belang bij opname van hoofdthema’s in de NSE Thema’s

Gemiddelde

Standaardafwijking

Kwaliteit van docenten Inhoud van de opleiding Studiebegeleiding Toetsing en beoordeling Voorbereiding beroepsloopbaan

4,64 4,63 4,44 4,33 4,33

0,57 0,59 0,63 0,79 0,88

Algemene oordelen Studielast Onderwijsvoorzieningen Informatie vanuit instelling Stage binnen de studie

4,31 4,13 4,01 3,99 3,93

0,81 0,88 0,83 0,83 1,01

Betrokkenheid van de instelling Opgedane competenties Start van de studie Sfeer/sociale omgeving Tijdsbesteding Internationale studenten

3,90 3,86 3,76 3,66 3,61 3,51

0,89 0,91 0,89 1,01 1,03 1,34

Handicap en studie Keuzeruimte van de opleiding Groepsgrootte Overige voorzieningen Studiestad en studieomgeving Studiekosten Woonsituatie

3,47 3,46 3,27 3,19 3,10 2,91 2,87

1,07 0,90 1,14 0,92 1,21 1,24 1,32

Gemeten op een schaal van 1 (helemaal niet belangrijk) – 5 (zeer belangrijk),

Daarnaast is gekeken of deskundigen van verschillende soorten onderwijsinstellingen variëren in hun mening over welke thema’s zij wel of niet belangrijk vinden, Er is hiervoor bepaald hoe hoog het percentage deskundigen is dat per soort onderwijs/instelling (hbo, wo, nbi) een bepaald thema belangrijk of zeer belangrijk vindt (zie Tabel 2). De in Tabel 2 grijs-gearceerde cellen geven aan dat een duidelijke meerderheid van de deskundigen (75% of meer) dit thema als belangrijk beschouwt voor de nieuwe NSE. De studenten en de overige deskundigen zijn in onderstaande tabellen niet mee opgenomen omdat zij in dit onderzoek een zeer kleine en minder specifieke groep vormden. Uit nadere analyse bleek dat dit geen wezenlijk effect had op de totale percentages.


Tabel 2: Belang bij opname van hoofdthema’s in de NSE, naar soort onderwijs (in %) Thema's

Hbo

Wo

Nbi

Totaal

Algemene oordelen Inhoud van de opleiding Keuzeruimte van de opleiding Opgedane competenties Voorbereiding beroepsloopbaan Stage binnen de studie

88,2 97,1 55,9 61,8 97,1 82,4

70,0 90,0 70,0 80,0 50,0 40,0

81,3 100,0 31,3 68,8 81,3 68,8

79,8 95,7 52,4 70,2 76,1 63,7

Kwaliteit van docenten Informatie vanuit instelling Betrokkenheid van de instelling Toetsing en beoordeling Onderwijsvoorzieningen Overige voorzieningen

97,1 79,4 73,5 97,1 79,4 41,2

100,0 80,0 50,0 80,0 90,0 20,0

87,5 68,8 62,5 62,5 75,0 43,8

94,9 76,1 62,0 79,9 81,5 35,0

55,9 61,8 29,4 85,3 14,7 100,0

80,0 40,0 50,0 70,0 40,0 90,0

56,3 81,3 56,3 68,8 62,5 87,5

64,0 61,0 45,2 74,7 39,1 92,5

44,1 52,9 29,4 29,4 52,9

70,0 50,0 60,0 50,0 60,0

68,8 37,5 25,0 56,3 50,0

61,0 46,8 38,1 45,2 54,3

Start van de studie Sfeer/sociale omgeving Groepsgrootte Studielast Studiekosten Studiebegeleiding Tijdsbesteding Handicap en studie Woonsituatie Studiestad en studieomgeving Internationale studenten

Uit de percentages in Tabel 2 blijkt dat, naast de thema’s die volgens de eerdere analyse als niet belangrijk werden gevonden, ook nog een aantal andere thema’s als minder belangrijk wordt gezien. We zien variaties in het belang aan bepaalde thema’s tussen de deskundigen van de verschillende soorten hoger onderwijs. De thema’s ‘opgedane competenties’ en ‘start van de studie’ worden vooral door deskundigen uit het wo als belangrijk gezien. De thema’s ‘voorbereiding op beroepsloopbaan’, ‘stage binnen de studie’ en ‘studielast’ vooral door deskundigen uit het hbo, en ‘sfeer/sociale omgeving’ vooral door de nbi’s. Uit deze analyse blijkt dat er zes thema’s zijn die telkens alleen door een specifieke groep als belangrijk worden gezien. Omdat het doel van de NSE is om te komen tot één gezamenlijke landelijke enquête stellen wij voor om alle onderwerpen op te nemen die voor een bepaalde groep gebruikers als belangrijk wordt ervaren. Een alternatief zou zijn om te kiezen voor een kernvragenlijst met alle thema’s die door meer dan één groep gebruikers als belangrijk worden gezien en de thema’s waarbij maar een bepaalde groep belangstelling heeft als aanvullende module voor deze groep aan te bieden. Uitgaande van één gezamenlijke vragenlijst komen we op dertien hoofdthema’s die op grond van de 75 procent drempel opgenomen zouden moeten worden in de eerste conceptversie van de nieuwe NSE.


Subthema’s Naast het belang van de hoofdthema’s is in het delphi-onderzoek gevraagd welke subthema’s belangrijk worden gevonden voor de nieuwe vragenlijst. Ook hier is gekeken hoe hoog het percentage deskundigen is dat per soort hoger onderwijs (hbo, wo, nbi) een bepaald subthema belangrijk of zeer belangrijk vindt. De grijs-gearceerde cellen geven aan dat een duidelijke meerderheid van de deskundigen (75%) dit subthema als belangrijk beschouwt voor de nieuwe NSE. De deskundigen kregen bij elk (sub)thema tevens de mogelijkheid hun keuzes toe te lichten en aanvullend commentaar te geven. Hierin stelde een aantal deskundigen een alternatieve toewijzing van sommige subthema’s bij hoofdthema’s voor. Hiermee is bij de evaluatie van de thema’s rekening gehouden. De subthema’s zijn voor alle belangrijke hoofdthema’s bekeken en resulteerden in de volgende keuzes per subthema. Als we kijken naar de algemene oordelen blijkt dat het merendeel van de deskundigen alle genoemde thema’s belangrijk vindt (zie Tabel 3). De thema’s ‘werkvormen’ en ‘overige voorzieningen’ worden alleen door het hbo belangrijk gevonden. Omdat hiervan wel een duidelijke meerderheid (boven de 85%) dit belangrijk vindt, adviseren wij deze alsnog op te nemen in de conceptvragenlijst. In aanvullend commentaar door deskundigen kwam de wens naar voren om alle aan bod komende thema’s bij de algemene vragen op te nemen. Omdat dit ook overeen komt met de keuze van algemene vragen bij de STO en de oude NSE adviseren wij dit ook hier toe te passen. Omdat de subthema’s ‘aansluiting vooropleiding’, ‘samenhang binnen opleiding’ en ‘werkvormen’ geen hoofdthema vormen, stellen wij voor deze daarom op te nemen als item bij het thema ‘inhoud van de opleiding’.

Tabel 3: Algemene oordelen Thema's

Hbo

Wo

Nbi

Totaal

Algemene Algemene Algemene Algemene Algemene

oordelen: oordelen: oordelen: oordelen: oordelen:

algemeen oordeel studie inhoud opleiding aansluiting vooropleiding samenhang binnen opleiding werkvormen

94,1 97,1 79,4 91,2 85,3

90,0 100,0 90,0 70,0 50,0

93,8 87,5 87,5 93,8 62,5

92,6 94,9 85,6 85,0 65,9

Algemene Algemene Algemene Algemene Algemene

oordelen: oordelen: oordelen: oordelen: oordelen:

voorbereiding loopbaan kwaliteit docenten informatie vanuit opleiding overige voorzieningen toetsing en beoordeling

94,1 97,1 91,2 94,1 97,1

50,0 90,0 90,0 60,0 100,0

93,8 87,5 81,3 68,8 81,3

79,3 91,5 87,5 74,3 92,8

Zoals blijkt uit Tabel 4 worden de diepgang, de breedte, en de afwisseling van de inhoud niet door het merendeel als belangrijk ervaren. Op grond van inhoudelijke overwegingen is ervoor gekozen om het item ‘aansluiting bij toetsing’ te verschuiven naar het thema ‘toetsing en beoordeling’.


Tabel 4: Inhoud van de opleiding Thema's Inhoud Inhoud Inhoud Inhoud Inhoud

van van van van van

de de de de de

opleiding: opleiding: opleiding: opleiding: opleiding:

diepgang breedte niveau aansluiting inhoud bij doelstellingen aansluiting inhoud bij toetsing

Inhoud Inhoud Inhoud Inhoud

van van van van

de de de de

opleiding: opleiding: opleiding: opleiding:

stimulerend aansluiting bij actuele ontwikkelingen afwisseling samenhang programma

Hbo

Wo

Nbi

Totaal

70,6 50,0 91,2 73,5 100,0

70,0 60,0 100,0 90,0 80,0

81,3 87,5 100,0 81,3 75,0

73,9 65,8 97,1 81,6 85,0

85,3 97,1 58,8 94,1

90,0 80,0 40,0 90,0

81,3 81,3 62,5 81,3

85,5 86,1 53,8 88,5

Zoals blijkt uit Tabel 5 worden de thema’s ‘ethische aspecten’ en ‘communicatievermogen’ niet door het merendeel van de deskundigen als belangrijk gevonden en daarom ook niet opgenomen in de conceptvragenlijst.

Tabel 5: Opgedane competenties Thema's

Hbo

Wo

Nbi

Totaal

Opgedane Opgedane Opgedane Opgedane Opgedane

competenties: competenties: competenties: competenties: competenties:

actief leren kritische houding aanpakken complexe problemen professionele context probleemoplossende vermogens

73,5 67,6 70,6 76,5 73,5

90,0 90,0 90,0 90,0 100,0

68,8 75,0 68,8 81,3 75,0

77,4 77,5 76,4 82,6 82,8

Opgedane Opgedane Opgedane Opgedane

competenties: competenties: competenties: competenties:

kunnen aansluiten bij actuele ontwikkelingen ethische aspecten conclusies onderbouwen communicatievermogen

73,5 61,8 73,5 76,5

80,0 70,0 100,0 70,0

81,3 62,5 81,3 75,0

78,3 64,8 84,9 73,8

De thema’s ‘voorbereiding beroepsloopbaan’ en ‘stage binnen studie’ worden vooral door het hbo belangrijk gevonden. Uit de analyse van de subthema’s blijkt dat er maar twee thema’s van de totale meerderheid boven de 75 procent grens komen te liggen (zie Tabel 6). Een duidelijke meerderheid (85,3%) van de Hbo’ers geeft wel aan de ‘kwaliteit stagebegeleiding’ in deze context belangrijk te vinden. Omdat juist deze groep aangaf dit hoofdthema bijzonder belangrijk te vinden is gekozen dit subthema alsnog op te nemen. Stage is vaak een onderdeel van de voorbereiding op de beroepsloopbaan en omdat het nu gaat om nog maar een vraag binnen dit thema wordt voorgesteld deze vraag bij de module ‘voorbereiding op de beroepsloopbaan’ op te nemen.

Tabel 6: Voorbereiding beroepsloopbaan en stage binnen de studie Thema's

Hbo

Wo

Nbi

Totaal

Voorbereiding beroepsloopbaan: opdoen vaardigheden beroepsloopbaan Voorbereiding beroepsloopbaan: contact met praktijk en arbeidsmarkt Voorbereiding beroepsloopbaan: beschikbaarheid en kwaliteit advies Stage binnen de studie: ondersteuning en advies Stage binnen de studie: kwaliteit stagebegeleiding Stage binnen de studie: aansluiting bij overig onderwijs

97,1 94,1 61,8 61,8 85,3 70,6

40,0 50,0 20,0 50,0 50,0 50,0

93,8 87,5 68,8 75,0 68,8 62,5

76,9 77,2 50,2 62,3 68,0 61,0


Bijna alle subthema’s binnen het thema ‘kwaliteit van de docenten’ ligt boven de 75 procent grens (zie Tabel 7). Alleen de thema’s ‘inlevingsvermogen’ en ‘taalvaardigheid’ vallen onder deze grens en zullen daarom niet opgenomen worden in de conceptvragenlijst.

Tabel 7: Kwaliteit van de docenten Thema's

Hbo

Wo

Nbi

Totaal

Kwaliteit Kwaliteit Kwaliteit Kwaliteit Kwaliteit

van van van van van

docenten: docenten: docenten: docenten: docenten:

deskundigheid didactiek bereikbaarheid inlevingsvermogen betrokkenheid

97,1 97,1 88,2 50,0 64,7

100,0 100,0 80,0 70,0 80,0

93,8 87,5 87,5 68,8 87,5

96,9 94,9 85,2 62,9 77,4

Kwaliteit Kwaliteit Kwaliteit Kwaliteit Kwaliteit Kwaliteit

van van van van van van

docenten: docenten: docenten: docenten: docenten: docenten:

Kwaliteit feedback contact taalvaardigheid kennis praktijk motiverend begeleiding

88,2 76,5 52,9 82,4 79,4 79,4

100,0 90,0 80,0 100,0 100,0 80,0

87,5 93,8 75,0 87,5 81,3 81,3

91,9 86,7 69,3 90,0 86,9 80,2

Wat betreft de informatie vanuit de opleiding worden twee subthema’s als belangrijk bevonden: ‘resultaten en beoordeling’ en ‘studievoortgang’ (zie Tabel 8). Op grond van inhoudelijke overwegingen wordt voorgesteld om ‘resultaten en beoordeling’ te verschuiven naar ‘toetsing en beoordeling’, en het subthema ‘voorlichting’ hierbij op te nemen (zie Tabel 11). De thema’s ‘regels en procedures’, ‘praktische zaken’ en ‘digitale leeromgeving’ komen te vervallen.

Tabel 8: Informatie vanuit opleiding Thema's Informatie Informatie Informatie Informatie Informatie

vanuit vanuit vanuit vanuit vanuit

opleiding: opleiding: opleiding: opleiding: opleiding:

resultaten en beoordeling regels en procedures praktische zaken digitale leeromgeving studievoortgang

Hbo

Wo

Nbi

Totaal

91,2 79,4 79,4 61,8 94,1

80,0 60,0 80,0 50,0 90,0

81,3 62,5 56,3 62,5 81,3

84,1 67,3 71,9 58,1 88,5

De belangrijkste thema’s die bij het thema ‘toetsing en beoordeling’ genoemd worden zijn ‘tijdig bekendmaken’ en ‘duidelijkheid criteria’ (zie Tabel 9). Deze zullen allebei opgenomen worden onder het kopje ‘toetsing en beoordeling’.

Tabel 9: Toetsing en beoordeling Thema's Toetsing Toetsing Toetsing Toetsing

en en en en

beoordeling: beoordeling: beoordeling: beoordeling:

tijdig bekendmaken duidelijkheid criteria fairness feedback


Hbo

Wo

Nbi

Totaal

88,2 94,1 73,5 82,4

90,0 100,0 80,0 70,0

68,8 75,0 56,3 68,8

82,3 89,7 69,9 73,7

Alle thema’s behalve ‘studenteninformatiebalies’ worden voor het thema ‘onderwijsvoorzieningen’ als belangrijk ervaren en zullen opgenomen worden in de conceptvragenlijst (zie Tabel 10).

Tabel 10: Onderwijsvoorzieningen Thema's Onderwijsvoorzieningen: Onderwijsvoorzieningen: Onderwijsvoorzieningen: Onderwijsvoorzieningen: Onderwijsvoorzieningen: Onderwijsvoorzieningen: Onderwijsvoorzieningen:

geschiktheid onderwijsruimtes beschikbaarheid werkplekken bibliotheek/mediatheek computer en netwerkfaciliteiten digitale leeromgeving opleidingsmateriaal studenteninformatiebalies

Hbo

Wo

Nbi

Totaal

85,3 82,4 85,3 91,2 82,4 94,1 76,5

80,0 80,0 100,0 90,0 90,0 100,0 80,0

75,0 75,0 62,5 68,8 68,8 75,0 56,3

80,1 79,1 82,6 83,3 80,4 89,7 70,9

Het thema ‘start van de studie’ werd vooral door deskundigen uit het wo als belangrijk ervaren. Binnen dit thema bleken de thema’s ‘voorlichting’ en ‘aansluiting vooropleiding’ belangrijk (zie Tabel 11). Zoals eerder genoemd is overwogen dat de ‘aansluiting bij vooropleiding’ inhoudelijk beter past bij het thema ‘inhoud opleiding’ en ‘voorlichting’ bij ‘informatie vanuit de opleiding’. Het hoofdthema ‘start van studie’ komt hierdoor te vervallen.

Tabel 11: Start van de studie Thema's Start Start Start Start Start Start

van van van van van van

de de de de de de

studie: studie: studie: studie: studie: studie:

selectieprocedure voorlichting aansluiting vooropleiding introductieprogramma eerste indruk voorzieningen visum

Hbo

Wo

Nbi

Totaal

58,8 85,3 82,4 41,2 38,2 26,5

80,0 90,0 100,0 70,0 40,0 50,0

68,8 81,3 50,0 31,3 50,0 56,3

69,2 85,5 77,5 47,5 42,7 44,2

Wat betreft het thema ‘sfeer/sociale omgeving’ bleek dat dit thema door nbi’s als belangrijk werd ervaren, maar zoals blijkt uit Tabel 12 werd geen van de opgenomen subthema’s in deze context door de meerderheid als belangrijk gezien. Om alsnog aan de wens van de groep nbi te voldoen is daarom ervoor gekozen een algemene vraag over de sfeer op de opleiding en de instelling toe te voegen.

Tabel 12: Sfeer/sociale omgeving Thema's Sfeer/sociale Sfeer/sociale Sfeer/sociale Sfeer/sociale

omgeving: omgeving: omgeving: omgeving:

medestudenten sociaal en cultureel aanbod veiligheid motiverende leeromgeving

Hbo

Wo

Nbi

Totaal

64,7 52,9 58,8 79,4

50,0 50,0 60,0 70,0

75,0 37,5 62,5 75,0

63,2 46,8 60,4 74,8

Binnen het thema ‘studielast’ kwamen alle genoemde subthema’s boven de 75 procent grens (zie Tabel 13) terecht en zullen daarom alle drie opgenomen worden in de conceptvragenlijst.


Tabel 13: Studielast Thema's

Hbo

Wo

Nbi

Totaal

Studielast: oordeel belasting Studielast: aantal uur besteed per week Studielast: opdrachten zijn op tijd af te ronden

82,4 76,5 85,3

70,0 70,0 60,0

75,0 87,5 87,5

75,8 78,0 77,6

Ook wat betreft de thema’s die vallen onder de module ‘studiebegeleiding’ blijkt dat deze volgens de deskundigen allemaal opgenomen zouden moeten worden (zie Tabel 14).

Tabel 14: Studiebegeleiding Thema's Studiebegeleiding: kwaliteit begeleiding Studiebegeleiding: contact met studieadviseur Studiebegeleiding: advies studieadviseur

Hbo

Wo

Nbi

Totaal

100,0 82,4 76,5

90,0 80,0 80,0

93,8 93,8 87,5

94,6 85,4 81,3

Het hoofdthema ‘internationale studenten’ werd door alle deskundigen als minder belangrijk ervaren. Gezien een doel van de NSE is om ook informatie beschikbaar te stellen voor internationale studenten adviseren wij dit thema alsnog op te nemen. Daarom is ook hiervoor gekeken naar de oordelen van de deskundigen over de voorgestelde subthema’s. Zoals blijkt uit Tabel 15 worden de thema’s ‘hulp door instellingen en ‘aanbod vakken in het Engels’ in deze context als belangrijk ervaren. Daarom is ervoor gekozen om deze twee thema’s op te nemen in de module voor internationale studenten.

Tabel 15: Internationale studenten Thema's

Hbo

Wo

Nbi

Totaal

Internationale Internationale Internationale Internationale Internationale

studenten: studenten: studenten: studenten: studenten:

informatie door instelling hulp door instelling woonsituatie kosten studie en leven aanbod vakken in het Engels

58,8 44,1 35,3 35,3 58,8

70,0 80,0 70,0 60,0 80,0

56,3 56,3 43,8 56,3 68,8

61,7 60,1 49,7 50,5 69,2

Internationale Internationale Internationale Internationale

studenten: studenten: studenten: studenten:

goedkeuring ects omgangsvormen sociale activiteiten contact medestudenten

61,8 29,4 41,2 44,1

70,0 40,0 40,0 50,0

68,8 37,5 43,8 62,5

66,8 35,6 41,6 52,2

Een ander thema dat door het merendeel van de deskundigen als niet belangrijk werd beoordeeld (zowel het hoofdthema alsook alle subthema’s) is ‘handicap en studie’. Net als bij de internationale studenten betreft dit thema een bepaalde groep studenten. Omdat het juist voor deze groep belangrijk is te weten waar zij met hun beperking het beste kunnen gaan studeren, adviseren wij om dit thema als extra module voor gehandicapte studenten alsnog op te nemen. In de NSE 2009 werden veertien vragen gesteld over studeren met een handicap. Voor nu adviseren wij om twaalf hiervan op te nemen in een optionele module voor de NSE 2010. De drie niet opgenomen vragen gaan niet over een oordeel en lijken ons minder belangrijk voor het bepalen van de nodige achtergrondinformatie.


Ten slotte bleken deskundigen het thema ‘betrokkenheid van de instelling’ in meerderheid niet belangrijk te vinden. Van de hbo-participanten hechtte echter een meerderheid van de deskundigen (73,5%) wel belang aan dit hoofdthema. Dit ligt net onder de bepaalde grens van 75 procent, maar aangezien dit in het STO een belangrijk thema is, adviseren wij dit onderwerp alsnog voor hbo-instellingen toe te voegen aan de basisvragenlijst. Op deze wijze komen alle hoofdthema’s uit het STO in de nieuwe NSE aan bod. 4.3

Open vragen Aan de deskundigen is door middel van open vragen tevens de mogelijkheid geboden om belangrijke (sub)thema’s toe te voegen als deze volgens hen nog ontbraken. Er is gekozen om een extra (sub)thema op te nemen als dit door meer dan één deelnemer is genoemd. Voor een aantal van de voorgestelde thema’s gold dat deze op een later moment in het onderzoek wel aan bod kwamen en daarom al meegewogen zijn. Daarnaast is geëvalueerd of de voorgestelde thema’s passen bij het doel van de NSE. Voorgestelde thema’s zoals ‘vragen naar het beeld van de beroepspraktijk’ zijn buiten beschouwing gelaten omdat deze zich niet richten op de tevredenheid van de student met zijn opleiding. Gebaseerd op de analyse van de open vragen is het hoofdthema ‘studieroosters’ (met twee relevante items, zie Tabel 16) en het subthema ‘opgedane competenties: samenwerken’ opgenomen in de conceptvragenlijst. Het subthema ‘studielast: oordeel studielast’ is naar aanleiding van het commentaar toegespitst op ‘studielast: oordeel spreiding studielast over het jaar’. Uit de algemene opmerkingen van de deskundigen kwam bovendien de wens naar voren om alle aan bod komende thema’s bij de algemene vragen op te nemen, en stelden een aantal deskundigen een alternatieve toewijzing van sommige subthema’s bij hoofdthema’s voor. Zoals boven is aangegeven is hier bij het opzetten van de conceptvragenlijst rekening mee gehouden.

Tabel 16: Studieroosters Thema's Studieroosters: Tijdig bekend maken van roosters Studieroosters: Tijdig bekend maken van wijzigingen in roosters

4.4

Conclusies Op deze wijze zijn alle resultaten van het delphi-onderzoek verwerkt. Op grond van deze analyse zullen dertien hoofdthema’s en 62 subthema’s opgenomen worden in de conceptvragenlijst. Omdat ervoor gekozen is om bij het thema ‘sfeer’ een algemene vraag over de opleiding en de instelling te stellen, wordt voorgesteld dit thema niet nog een keer bij de module ‘algemene vragen’ op te nemen.

Aanvullende onderwerpen Het doel van de nieuwe NSE is om nauw aan te sluiten bij de wensen van de gebruikers. Dit zijn aan de ene kant de instellingen die hun wensen en behoeftes door middel van het delphionderzoek kenbaar konden maken. Aan de andere kant is de NSE bedoeld als informatiebron voor studiekiezers. Dit betekent dat de NSE ook moet ingaan op de wensen van deze groep gebruikers. Net zoals bij de samenstelling van de groslijst zal ook bij het opzetten van de conceptvragenlijst rekening worden gehouden met de wensen van de studenten. Ook al hebben een aantal studenten aan het delphi-onderzoek deelgenomen, was dit een selecte groep van studenten die verbonden zijn aan een vakbond of organisatie en daardoor wellicht niet representatief voor de wensen van de gemiddelde studiekiezer.


We richten ons daarom vooral op eerder onderzoek waaruit bleek dat studenten naast de oordelen over de opleiding, ook de overige faciliteiten van de opleiding, de bereikbaarheid van de instelling, de woonsituatie en de studiestad als belangrijke informatie opvatten om een goede studiekeuze te kunnen maken5 6. Daarom is ervoor gekozen om een aantal vragen over deze onderwerpen in de conceptvragenlijst op te nemen onder het thema ‘overige faciliteiten en studieomgeving’ (zie Tabel 17). De conceptvragenlijst is vervolgens in het kader van een live pilot aan een aantal studenten voorgelegd, waarin zij de gelegenheid kregen deze keuze te evalueren.

Tabel 17: Overige faciliteiten en studieomgeving Thema's Overige Overige Overige Overige Overige Overige Overige

faciliteiten faciliteiten faciliteiten faciliteiten faciliteiten faciliteiten faciliteiten

en en en en en en en

studieomgeving: studieomgeving: studieomgeving: studieomgeving: studieomgeving: studieomgeving: studieomgeving:

bereikbaarheid instelling restauratieve voorzieningen van je instelling sportvoorzieningen horecavoorzieningen studiestad cultureel aanbod studiestad beschikbaarheid woonruimte betaalbaarheid woonruimte

Daarnaast is het de bedoeling om de NSE aan te laten sluiten bij de actuele ontwikkelingen in het hoger onderwijs zoals de sterkere nadruk op wetenschappelijk onderwijs. Er is in de laatste jaren een steeds sterkere aandacht ontstaan op het ontwikkelen van wetenschappelijke competenties. In de vragenlijsten die geïnventariseerd waren om te komen tot de groslijst voor het delphi-onderzoek is geen aandacht geweest voor deze competenties. Omdat dit wel een belangrijke ontwikkeling in het onderwijs is stellen we voor om een module op te nemen waarin studenten een oordeel kunnen geven over het opdoen van deze specifieke competenties binnen hun opleiding (zie Tabel 18).

Tabel 18: Academische competenties Thema's Academische Academische Academische Academische Academische Academische

5

6

competenties: competenties: competenties: competenties: competenties: competenties:

ontwikkelen van wetenschappelijke theorieën leren van methoden en technieken leren schrijven van wetenschappelijke artikelen kritisch beoordelen wetenschappelijk werk ondersteuning bij schrijven onderzoeksvoorstel gelegenheid voor internationale contacten en uitwisseling

Warps, J. (2007). Kiezen voor hogeschool en universiteit: Voorlichtinggebruik en keuzeproces van instromende hboen wo-studenten in Nederland, studiejaar 2005-2006. Rapportage in opdracht van SURFfoundation op basis van de IOWO-Instroommonitor Van den Broek, A. & Wermink, I. (2007). Studiekeuze123.nl: Een onderzoek naar de informatiebehoefte van studenten. Rapportage in opdracht van SURFfoundation


5 Gebruik van antwoordschalen

5.1

Inleiding Naast het bepalen van de inhoud van de nieuwe NSE 2010 is het belangrijk dat er een gefundeerde beslissing wordt genomen over de te gebruiken antwoordschalen. Uit de inventarisatie van de verschillende studentenenquêtes blijkt dat er veel verschil is in antwoordschalen voor studententevredenheidsonderzoek in nationaal en internationaal onderzoek. Dit maakt een keuze op grond van alleen deze inventarisatie lastig. De keuze voor een antwoordschaal is ten eerste afhankelijk van de vraagstelling en van de nuancering die in het antwoord is gewenst. Een vraag naar oordelen vergt een andere antwoordschaal dan bijvoorbeeld een vraag naar frequentie of kenmerken. In de afgelopen jaren zijn in de NSE niet alleen vragen over de tevredenheid van studenten over hun opleiding gesteld, maar is er ook andere informatie in kaart gebracht, zoals de tijdbesteding van studenten, studiekosten, en achtergrondinformatie (bijv. vooropleiding). Voor dit soort vragen wordt vaak gebruik gemaakt van antwoordcategorieën op ordinaal (bijv. werkdruk wordt ervaren als: te laag – precies goed – te hoog) of nominaal niveau (bijv. soort opleiding: bachelor – master). Als het gaat om de mening van studenten over de kwaliteit van de opleiding is er echter behoefte aan een meer genuanceerde schaal die een waardering van zeer ontevreden tot zeer tevreden mogelijk maakt. Omdat de gebruikte antwoordschalen in onderzoek naar studententevredenheid in zowel Nederland alsook in andere Europese landen sterk uiteenlopen, hebben we ervoor gekozen een onderzoek uit te voeren waarin de verschillen tussen mogelijke antwoordschalen in kaart zijn gebracht. Dit onderzoek wordt gebruikt als basis om tot een gefundeerde keuze voor een passende antwoordschaal voor de nieuwe NSE te komen. In dit onderzoek is het verschil in antwoorden op vijf verschillende schalen met elkaar vergeleken:     

5.2

10-puntschaal; 6-puntschaal; 5-puntschaal; 5-punt Likertschaal (STO); Open rapportcijfer.

Overzicht Om het effect van verschillende antwoordschalen op de antwoorden van vragen over tevredenheid in kaart te brengen, is aan studenten gevraagd de tevredenheid over hun opleiding te beoordelen op grond van de volgende vragen (clusters uit de NSE 2009):


1 Wat is je algemene oordeel over je opleiding? 2 Wat is je algemene oordeel over de volgende aspecten van jouw opleiding: a. de inhoud van de opleiding; b. de aansluiting bij je vooropleiding; c. de keuzeruimte binnen de opleiding; d. de samenhang binnen de opleiding; e. de werkvormen van de opleiding; f. de mogelijkheid binnen de opleiding om je voor te bereiden op je studie- of beroepsloopbaan; g. de docenten van de opleiding; h. de communicatie door de opleiding; i. de praktische organisatie van de opleiding; j. de geschiktheid van de huisvesting van de opleiding; k. de faciliteiten van de opleiding; l. de sfeer op de opleiding. In dit onderzoek kregen studenten deze vragen steeds met een andere antwoordschaal aangeboden (10-punt; 6-punt; 5-punt; 5-punt Likertschaal; rapportcijfer invullen). Voor de Likertschaal werd een iets andere formulering gehanteerd die overeenkomt met de formulering uit het STO (bijv, ‘Over het geheel genomen ben ik tevreden over mijn opleiding’; 1=zeer mee oneens; 5=zeer mee eens). Het onderzoek kende een experimentele opzet waarbij de studenten per toeval aan verschillende condities zijn toegewezen. De conditie bepaalde op welke antwoordschaal de studenten de vragen als eerste moesten beantwoorden. Zo kon voor mogelijke anker- en volgorde-effecten van de verschillende schalen gecontroleerd worden. Voor dit experiment is gebruik gemaakt van HetStudentenpanel.nl. Dit panel is een initiatief van ResearchNed. Het geeft een goede afspiegeling van de Nederlandse studentenpopulatie in hbo en wo. In totaal hebben 3.470 studenten aan dit onderzoek deelgenomen. 5.3

Resultaten Als eerste stap hebben we verkennende factoranalyses (principale componenten methode) over de dertien tevredenheidsvragen uitgevoerd om tot een gezamenlijke meting te komen waarop we de antwoorden konden vergelijken. Uit de factoranalyses bleek dat er op de 10-punt schaal, de 5-punt schaal, de Likertschaal en op het rapportcijfer alle vragen op één factor laden, met uitzondering van de vragen over ‘huisvesting’ en ‘faciliteiten’. Dit is inhoudelijk verklaarbaar omdat deze twee vragen niet direct betrekking hebben op de tevredenheid over de opleiding, maar over randvoorwaarden van de opleiding. Het vermoeden dat de resterende elf vragen gezamenlijk een schaal vormen voor de tevredenheid over de opleiding wordt door een betrouwbaarheidsanalyse over deze vragen bevestigd (Cronbach’s Alpha’s: 10-puntschaal: α=0,891; 5-puntschaal: α=0,845; Likertschaal: α=0,864; 6-puntschaal: α=0,845; rapportcijfer: α=0.891). Van deze elf vragen (algemeen oordeel, inhoud, aansluiting, keuzeruimte, samenhang, werkvormen, loopbaan, docenten, communicatie, praktische organisatie, en sfeer) is vervolgens een algemene tevredenheidscore voor elke antwoordschaal berekend. Daarna hebben we de verdeling van de antwoorden over de verschillende schalen bekeken. Hieruit blijkt dat alle antwoordschalen een iets scheve verdeling laten zien. Bij de 10-puntschaal en het rapportcijfer schaal is deze scheefheid het grootst. De 5-punt schaal en de Likertschaal zijn het minst scheef verdeeld. Er tussen in ligt de 6-puntschaal (zie Tabel 19 en Figuur 1).


Tabel 19: Statistieken van de antwoordschalen 10-puntschaal N Scheefheid Kurtosis Gemiddelde

5-puntschaal

1.153 -,883 1,586 6,6349

Likertschaal

1.127 -,196 1,048 3,0692

6-puntschaal

1.127 -,271 ,348 3,1154

1.066 -,404 ,551 3,8086

Rapportcijfer 1.153 -1,015 2,206 6,4935

80 70 60

Percentage

50 40 30 20 10 0 1

2

3

4

5

6

7

8

9

10

Score 10-punt

Raportcijfers

5-punt

Likertschaal

6-punt

Figuur 1: Verdeling van de antwoordschalen (%)

5.4

Conclusies De antwoorden op de 5-puntschaal en de Likertschaal zijn het minst scheef verdeeld. Daardoor zijn deze antwoordschalen voor de nieuwe NSE het meest geschikt. De sterk scheve verdelingen in de 10-punt-schaal en het rapportcijfer zijn te verklaren door het feit dat dit geen neutrale schalen zijn, maar door de studenten vertaald worden naar het rapportcijfersysteem dat in Nederland wordt toegepast. Hierbij ligt het midden van de schaal niet bij 5 (onvoldoende). Ook als een neutrale 10-puntschaal wordt aangeboden, lijkt deze automatisch door de studenten te worden geïnterpreteerd als een rapportcijfer, zoals blijkt uit de sterke correlatie tussen deze twee antwoordschalen. De interpretatie van de 10-puntschaal als rapportcijfer heeft als nadeel dat de verhoudingen tussen de scores op deze schaal niet als gelijke verschillen kunnen worden begrepen. Het verschil tussen een 5 (onvoldoende) en een 6 (voldoende) is groter dan het verschil tussen een 1 en een 2. Dit maakt de interpretatie van deze scores lastig. Daarnaast kent de 10-puntschaal het probleem dat deze alleen door de Nederlandse studenten als een rapportcijferschaal wordt geïnterpreteerd. Internationale studenten kunnen deze schaal wel als een continue schaal interpreteren, wat tot andere resultaten kan leiden (dit blijkt uit eerdere resultaten van de NSE). Omdat een doel van de NSE is om de vragenlijst internationaal te laten aansluiten adviseren we daarom voor de vernieuwing van de NSE 2010 de tot nu toe gebruikte 10-puntschaal te vervangen door een 5-puntschaal of 6-puntschaal.


De twee 5-puntschalen doen het bijna even goed op de gekozen vragen. Bij de keuze voor een van deze schalen (neutrale schaal of Likertschaal) spelen twee overwegingen een rol. Ten eerste zou er gekozen kunnen worden om aan te sluiten bij de Likertschaal die in het STO wordt gebruikt. Dit maakt integratie van het STO in de NSE makkelijk en wat betreft de verdeling van de antwoorden is hier tegen ook geen bezwaar. Deze keuze kent echter het nadeel dat de Likertschaal gebaseerd is op het gebruik van stellingen met een normatief karakter. De vragen zijn daardoor niet neutraal geformuleerd. Een ander alternatief zou zijn om te kiezen voor een 6-puntschaal. De 6-puntschaal heeft meer variantie dan de 5-puntschaal en geeft zo wat meer nuancering aan de resultaten. Aangezien de CHE vragenlijst ook gebruik maakt van een 6-puntschaal en het CHE aanstreeft deze als internationale standaard te bepalen zou met kijk op de internationale aansluiting van de NSE bij het CHE overwogen kunnen worden om ook gebruik te maken van een 6-puntschaal. Tot nu toe vormt het onderzoek van het CHE echter geen internationale standaard en blijkt dat andere grotere tevredenheidonderzoeken in Europa (bijv.: HEFCE in Groot-Brittannië en Ierland en HIS in Duitsland) ook gebruik maken van 5-puntschalen. Wij adviseren daarom om voor de nieuwe NSE te kiezen voor een neutrale 5-puntschaal. Dit maakt niet alleen de integratie van het STO in de NSE makkelijk, maar sluit ook aan bij internationaal onderzoek naar studententevredenheid (zie ook Hoofdstuk 9.3). 5.5

Transformaties tussen antwoordschalen Omdat door een wisseling van een 10-puntschaal naar een neutrale 5-puntschaal, en van een Likertschaal naar een neutrale 5-puntschaal trendanalyses niet direct te maken zijn, moeten de scores omgerekend worden. In ons onderzoek naar het gebruik van antwoordschalen binnen de NSE hebben we gekeken welke formules gehanteerd kunnen worden om de verschillende schalen met elkaar te kunnen vergelijken. Om deze transformatieformules te berekenen hebben we een enkelvoudige lineaire regressie (OLS regressie) uitgevoerd op de verschillende schaaltransformaties (10-punt naar 5-punt; 5punt naar 10-punt; 5-punt naar Likertschaal; Likertschaal naar 5-punt). Voor elke van de dertien vragen is een aparte formule berekend (zie Tabel 20). Het gebruik van de regressie maakt het mogelijk een schatting te maken voor het vertalen van de scores van de ene schaal naar de andere. Dit betekent dat een algemeen oordeel, dat gegeven is op een 10-puntschaal in de NSE 2009, door onderstaande formule omgerekend kan worden op een algemeen oordeel dat gegeven is op een 5-puntschaal in de NSE 2010. Om deze transformatieformule te genereren is de score op deze vraag op een 10-puntschaal in dit model ingevoerd als onafhankelijke variabele, en de score op de 5-puntschaal als afhankelijke variabele. De andere transformatieformules zijn op een soortgelijke manier berekend. De berekende transformatieformules zijn opgenomen in Tabel 20.


Tabel 20: Transformatie schema voor de verschillende antwoordschalen Cluster

10-punt → 5-punt

5-punt → 10-punt

5-punt → Likertschaal

Likertschaal → 5-punt

Algemeen oordeel

5-punt= 10-punt= 0,865+0,404*10-punt 1,112+1,640*5-punt

Likertschaal= 0,285+0,969*5-punt

5-punt= 1,575+0,565*Likertsch aal

Inhoud van de opleiding




Aansluiting bij de vooropleiding




Keuzeruimte binnen de 5-punt= 10-punt= opleiding 0,489+0,431*10-punt 0,945+1,616*5-punt



Samenhang binnen de 5-punt= 10-punt= opleiding 0,762+0,398*10-punt 1,535+1,475*5-punt



Werkvormen van de opleiding




Studie- of beroepsloopbaan




Docenten van de oplei- 5-punt= 10-punt= ding 0,287+0,467*10-punt 0,673+1,761*5-punt



Communicatie door de 5-punt= 10-punt= opleiding 0,343+0,434*10-punt 0,374+1,808*5-punt



Praktische organisatie van de opleiding




Huisvesting van de opleiding




Faciliteiten van de opleiding




Sfeer op de opleiding




Ook voor de transformatie naar de 6-puntschaal en de rapportcijferschaal zijn formules berekend. Om het overzichtelijk te houden zijn hier alleen de formules opgenomen voor de vergelijking NSE2009-NSE2010 en STO2009-NSE2010. De transformatieformules kunnen gebruikt worden om in de toekomst de resultaten van NSE en STO in de tijd te vergelijken ondanks een trendbreuk in het gebruik van antwoordschalen. De formules zijn alleen geldig voor de in dit onderzoek geteste vragen. Als meer gedetailleerde kennis over de veranderingen gewenst is, dient een vergelijkbaar onderzoek te worden uitgevoerd waarin alle vragen zijn opgenomen.


6 Kwalitatieve analyse

De aan de hand van de resultaten uit het delphi-onderzoek opgezette conceptlijst is uitgewerkt naar een conceptvragenlijst. Hiervoor zijn allereerst, gebaseerd op relevante kennis uit de literatuur7, de volgende criteria opgesteld die de basis vormen voor de ontwikkeling van de vragensets: 1 Contextgebondenheid: - vragen gaan over de belevingswereld van studenten in het hoger onderwijs in Nederland; - vragen sluiten aan bij actuele ontwikkelingen in het hoger onderwijs (bijvoorbeeld BaMastructuur, onderwijskundige ontwikkelingen); - vragen sluiten aan bij internationale standaarden. 2 Taalgebruik: - er wordt maar één onderwerp tegelijk behandeld; - vragen en antwoorden zijn maar voor één uitleg vatbaar; - taalgebruik is eenduidig en niet ingewikkeld; - vragen zijn zo neutraal mogelijk geformuleerd; - er worden niet zomaar kennis en feiten als bekend verondersteld; - de vragen zijn niet normatief van aard. 3 Meetniveau en antwoordcategorieën: - het meetniveau past bij de inhoud van de vraag; - de antwoordcategorieën sluiten aan bij de inhoud van de vraag; - de antwoordcategorieën sluiten aan bij de internationale standaard en - het aantal antwoordcategorieën blijft over de vragen heen zo stabiel mogelijk. 6.1

Contextgebondenheid en taalgebruik Alle items uit de conceptlijst zijn op basis van de bovengenoemde criteria bekeken en vervolgens uitgewerkt naar een vragenlijst. Aan de hand van deze evaluatie bleek een aantal items gesplitst of anders geformuleerd te moeten worden. Van een aantal items bleek ook dat zij een te grote inhoudelijke overlap toonden met andere items. Gezien de tijdrestricties die zijn bepaald voor de duur van de nieuwe vragenlijst adviseren wij deze items niet op te nemen. Hierdoor zijn de volgende items aangepast of verwijderd: 



7

Voor het item ‘voorbereiding beroepsloopbaan: contact met praktijk en arbeidsmarkt’ is geconstateerd dat twee onderwerpen tegelijk gevraagd werden. Er is daarom gekozen dit item te splitsen in ‘de mate waarin je opleiding praktijkgericht is’ en ‘de mate waarin er binnen je opleiding contact is met de arbeidsmarkt’. Het item ‘kwaliteit van docenten: betrokkenheid’ bleek bij nadere analyse niet eenduidig en ingewikkeld in de interpretatie. Heeft de betrokkenheid van de docent betrekking op het vak, de student of de instelling? En is de student überhaupt in staat om een oordeel te geven over de betrokkenheid van de docent bij zijn vak? Gezien dit item voor meerdere interpretaties vatbaar is en het niet duidelijk is of de student de juiste persoon is om hier een goed oordeel over te kunnen geven is besloten dit item niet op te nemen in de vragenlijst.

Baarda, D.B., & De Goede, M.P.M. (1997). Basisboek Methoden en Technieken. Stenfert Kroese. Dijkstra, W. & Smit, J. (1999). Onderzoek met vragenlijsten. Amsterdam: Vu uitgeverij. ’t Hart, H. , Boeije, H. & Hox, J. (2005). Onderzoeksmethoden. Amsterdam: Boom Onderwijs.










6.2

Het item ‘kwaliteit van docenten: contact’ bleek bij nadere analyse grote inhoudelijke overlap te vertonen met het item ‘kwaliteit van docenten: bereikbaarheid’. Er is daarom besloten dit item niet op te nemen in de vragenlijst. Het item ‘kwaliteit van docenten: kennis praktijk’ bleek bij nadere analyse grote inhoudelijk overlap te vertonen met het item ‘kwaliteit van docenten: deskundigheid’. Er is daarom ervoor gekozen dit item niet op te nemen in de vragenlijst. Bij nadere inhoudelijke analyse bleek het item ‘studielast: aantal uur besteed per week’ niet aan te sluiten bij de context van de vragenlijst. Dit item vraagt naar de tijd die studenten aan hun studie besteden en niet naar een oordeel over de ervaren studielast. Omdat er twee vragen zijn die expliciet vragen naar een oordeel over de studielast (spreiding studielast en haalbaarheid studie) is besloten om dit item niet op te nemen in de vragenlijst. Het item ‘studiebegeleiding: advies studieadviseur’ vertoont een grote inhoudelijke overlap met het item ‘studiebegeleiding: kwaliteit begeleiding’ en is daarom niet opgenomen in de vragenlijst.

Meetniveau en antwoordcategorieën De formulering van de vragen hangt mede af van de gebruikte antwoordschaal. Voor de nieuwe NSE adviseren wij om gebruik te maken van een neutrale 5-puntschaal. De keuze voor deze antwoordschaal is toegelicht in hoofdstuk 5 en in hoofdstuk 7. Voor de formulering van de antwoordcategorieën is het belangrijk dat deze aansluit bij het doel van de vragenlijst. De NSE is bedoeld om de tevredenheid van studenten over een aantal aspecten van hun studie te meten. De meest directe en duidelijke manier om dit te meten is door de studenten te vragen hoe tevreden zij zijn over deze aspecten. Op een 5-puntschaal adviseren we daarom de volgende schaalankers:

a. ...

Zeer ontevreden 







Zeer tevreden 

N.v.t. 

We adviseren tevens om gebruik te maken van de categorie ‘niet van toepassing’ (N.v.t.). De reden hiervoor is dat niet bekend is of alle aspecten voor alle opleidingen gelden of dat iedere student hiervan op de hoogte is. Het kan bijvoorbeeld zijn dat niet iedere student contact zoekt met de studieadviseur of dat de student op het tijdstip van de bevraging nog geen stage heeft gelopen. Tenzij het niet helemaal zeker is dat elk van de items op iedereen van toepassing is, wordt aangeraden deze optie als extra antwoordcategorie op te nemen. Dit voorkomt dat studenten die geen specifieke mening over een bepaald aspect hebben of niet zeker weten of dit aspect op hun opleiding van toepassing is, kiezen voor de middencategorie of afhaken en zo de betrouwbaarheid van de resultaten beïnvloeden. De vragen voor de nieuwe NSE zijn zo geformuleerd dat zij aansluiten bij deze schaalankers. Een voorbeeld voor de formulering van de vragen is:

De volgende vragen gaan over jouw algemeen oordeel ten aanzien van een aantal deelaspecten van je studie. Geef aan hoe tevreden je over het geheel genomen bent over de volgende aspecten van je studie: a. De inhoud van de opleiding b. De studiebegeleiding

Zeer ontevreden  

 

 

 

Zeer tevreden  

N.v.t.  

Op deze wijze is ervoor gezorgd dat zowel het meetniveau als ook het aantal en de formulering van de antwoordcategorieën aansluiten bij de inhoud van de vragen en bij (inter)nationale standaarden. Tevens zijn de antwoordcategorieën over alle vragen heen identiek.


7 Live pilot onder studenten

De eerste conceptvragenlijst is vervolgens uitgetest onder de doelgroep (studenten). Het primaire doel hiervan was om na te gaan of de gekozen hoofd- en subthema’s ook aansluiten bij de behoefte van de student, of de vragen duidelijk en niet multi-interpretabel zijn, of de vragen qua formulering aansluiten bij de beleveniswereld en terminologie van studenten en of de doelgroep (studenten) de vragenlijst interpreteert zoals bedoeld. Daarnaast gaf de test ook een eerste zicht op de gemiddelde invultijd. Voor het testen van de vragenlijst zijn 500 studenten van verschillende universiteiten en hogescholen in Nederland benaderd met de vraag of zij wilden deelnemen aan een groepsgesprek waarin de nieuwe vragenlijst besproken zou worden. Omdat de NSE ook moet aansluiten bij de behoeftes van internationale studenten was hiervoor ook een aantal internationale studenten uitgenodigd. In totaal waren zes studenten bereid om aan de live pilot mee te doen. De studenten kwamen van verschillende instellingen en opleidingen (sociologie RU Nijmegen, pedagogiek Fontys Eindhoven, biologie RU Nijmegen, sociologie UU Utrecht, hoger toeristisch en recreatief onderwijs Saxion Deventer, European studies UT Twente). Twee studenten waren internationale studenten uit Duitsland, de andere vier waren Nederlandse studenten. Enkele dagen voor de bijeenkomst hebben de studenten de conceptvragenlijst ontvangen met de vraag deze in te vullen, de invultijd bij te houden en eventuele opmerkingen op te schrijven en mee te nemen naar de bijeenkomst. Tijdens de bijeenkomst is de studenten allereerst gevraagd naar hun algemene indruk van de vragenlijst en de tijd die het hen kostte deze in te vullen. Vijf studenten gaven aan dat ze ongeveer tien minuten nodig hadden om de vragenlijst in te vullen. Een student was ongeveer 20 minuten bezig met het invullen, maar gaf aan dat dit vooral te maken had met het feit dat hij zijn commentaar tijdens het invullen had uitgewerkt en anders waarschijnlijk ook niet langer dan tien minuten hiervoor nodig had gehad. Over het algemeen was de indruk van de studenten over de vragenlijst zeer positief. De vragenlijst was volgens de studenten helder en volledig. Wel hadden zij het gevoel dat sommige onderwerpen dubbel werden gevraagd en dat sommige vragen beter en/of anders geformuleerd konden worden. Hierna zijn alle vragen één voor één behandeld en is aan de studenten gevraagd hierop hun mening te geven en eventueel aanvullingen aan te dragen. a. Algemene oordelen  Bij het kopje ‘algemene oordelen’ gaven de studenten aan dat de verwoording ‘kwaliteit van de docenten aan je opleiding’ voor hen niet helemaal duidelijk was en beter wat algemener verwoord zou kunnen worden als: ‘de docenten aan je opleiding’.  Het item ‘de wijze van toetsing en beoordeling’ werd door de studenten als te smal ervaren en impliceert dat het alleen gaat om de toetsingsvormen en niet over de gehanteerde criteria, terwijl dit in het thema later wel aan bod komt. Er is daarom samen met de studenten ervoor gekozen het item als volgt te verwoorden: ‘Toetsing en beoordeling (bijv. criteria van beoordeling en vormen van toetsing)’.


b. De inhoud van de opleiding  Het item ‘de aansluiting van de inhoud bij de doelstellingen van de opleiding’ was voor de studenten onduidelijk. Maar één van de zes studenten gaf aan op de hoogte te zijn van de officiële doelstellingen van de opleiding. Wel gaven de studenten aan een eigen idee over de doelstellingen van de opleiding te hebben. Het werd daarom door de studenten voorgesteld dit item als volgt te verwoorden: ‘De mate waarin de inhoud aansluit bij het beeld dat je van je opleiding hebt’.  De studenten gaven aan dat zij binnen dit thema een vraag misten over de mogelijkheid om zelf invulling te geven aan de inhoud van de opleiding (bijv. door het kiezen van bepaalde vakken) en stelden voor het volgende item op te nemen: ‘De mate waarin de opleiding je de mogelijkheid biedt om zelf de inhoud te bepalen’. c. Opgedane competenties  De studenten vonden het begrip ‘competenties’ geen goede keuze omdat dit vaak voor zeer specifieke vaardigheden binnen hun opleiding wordt gebruikt en daardoor andere verwachtingen in de lezer oproept dan de in de NSE gevraagde competenties. Ze stelden daarom voor de benaming van dit thema te veranderen in ‘verworven vaardigheden’.  Volgens de studenten vertoonden de items ‘de mate waarin je het aanpakken en analyseren van complexe problemen leert’ en ‘de mate waarin je probleemoplossende vermogens opdoet’ een grote overlap. We stellen daarom voor om alleen één van deze items op te nemen. d. Voorbereiding op de beroepsloopbaan  Het item ‘de mate waarin je opleiding gericht is op de onderzoek/beroepspraktijk’ bleek niet duidelijk geformuleerd. De studenten stelden ‘de mate waarin je opleiding praktijkgericht is’ voor als een duidelijker alternatief.  Voor sommige studenten was de betekenis van het item ‘de mate waarin er binnen je opleiding contact is met de arbeidsmarkt’ niet helemaal duidelijk. Volgens hen zou het toevoegen van een aantal voorbeelden van een dergelijk contact (bijv. stages, gastsprekers) dit probleem oplossen. e. De kwaliteit van de docenten aan je opleiding  Voor het kopje van dit thema werd voorgesteld de titel wat algemener te houden: ‘de docenten aan je opleiding’. Verder vonden de studenten (alle vragen van) dit thema duidelijk en volledig. f. Informatie vanuit de instelling  Het item ‘het tijdig bekend maken van resultaten en beoordelingen’ zou volgens de studenten beter verschoven kunnen worden naar het thema: ‘toetsing en beoordeling’. g. Onderwijsvoorzieningen  De studenten waren van mening dat een vraag enkel naar de beschikbaarheid van werkplekken niet zo belangrijk is, die zijn er vaak wel. De beschikbaarheid van geschikte werkplekken is echter volgens hen een belangrijke vraag. Zij stellen daarom voor dit item aan te passen. Bovendien zouden zij een verduidelijking door het toevoegen van een aantal voorbeelden zeer op prijs stellen. Wij stellen daarom voor het item als volgt te verwoorden: ‘de beschikbaarheid van geschikte werkplekken (bijv. computers, studieruimten)’.  ‘ICT-faciliteiten’ is volgens de studenten een gebruikelijkere verwoording dan ‘computer- en netwerkfaciliteiten’. h. Wijze van toetsing en beoordeling  De verwoording is volgens de studenten misleidend en wordt veranderd in ‘toetsing en beoordeling’ (zie kopje ‘algemene oordelen’).  Zoals besproken bij het kopje ‘informatie vanuit de instelling’ wordt het item ‘het tijdig bekend maken van resultaten en beoordelingen’ naar dit thema verschoven.


i. Studieroosters  De studenten vonden dat het in deze context ook belangrijk is te vragen hoe de studielast wordt verdeeld en stelden voor het volgende item aan de vragenlijst toe te voegen ‘de spreiding van contacturen over de studieweek’. j. Studielast  De studenten merkten op dat het bij hun opleiding soms onduidelijk is wat de verhouding tussen de studielast en ECTS is. Soms is de studielast heel hoog, maar levert het weinig punten op, terwijl je op andere momenten juist heel weinig hoeft te doen om je punten te halen. De studenten stelden daarom voor om een extra item op te nemen dat door hen in deze context als belangrijk werd ervaren, namelijk ‘de match tussen ECTS en de daadwerkelijke studielast’. k. Studiebegeleiding  Omdat niet elke student gebruik maakt van studiebegeleiding, vonden de studenten de verwoording ‘de mogelijkheid tot begeleiding’ beter geschikt dan ‘de mate van begeleiding’. l. Internationale studenten  Zowel de Nederlandse als ook de internationale studenten waren het niet met de deskundigen vanuit de instellingen eens en vonden dit thema belangrijk om opgenomen te worden in de NSE.  De studenten gaven wel aan dat de gegeven voorbeelden bij het item ‘geboden hulp door de opleiding’ beter weggelaten konden worden omdat dit de draagwijdte van de vraag te beperkt en het item ook zonder de voorbeelden duidelijk is. De studenten waren het wel ermee eens dat de twee voorgestelde items de meest belangrijke in deze context zijn. m. Opgedane academische competenties  Zowel de hbo- als ook de wo-studenten vonden dit thema een belangrijke aanvulling voor de NSE. Verder vonden ze ‘verworven wetenschappelijke vaardigheden’ een betere verwoording voor dit thema.  De studenten merkten op dat bij het item ‘de mate waarin je leert om wetenschappelijke theorieën te evalueren en te ontwikkelen’ twee vaardigheden gevraagd werden, waarbij het evalueren van wetenschappelijk werk ook in het latere item ‘de mate waarin je leert om wetenschappelijk werk kritisch te beoordelen’ terugkomt. We stellen daarom voor dit item te veranderen in: ‘de mate waarin je leert om wetenschappelijke theorieën te ontwikkelen’. n. Overige voorzieningen en studieomgeving  Ook wat betreft de overige voorzieningen en de studieomgeving gaven de studenten aan dit een belangrijk thema te vinden voor het kiezen van een studie. Hier meldden de studenten met name de bereikbaarheid van de instelling belangrijk te vinden en stelden zij voor dit item voor aan de lijst te plaatsen. Verder vonden ze ‘de hoeveelheid groen in je studiestad (bijv. parken, natuurgebieden)’ een belangrijke vraag om extra op te nemen in de nieuwe NSE. o. Sfeer  Bij het thema ‘sfeer’ wordt het onderscheid naar de sfeer op de opleiding en binnen de instelling door de studenten als lastig ervaren. Volgens de studenten zou beter enkel naar de sfeer op de opleiding gevraagd kunnen worden omdat dit voor hen het meest bepalend is voor de ervaren sociale omgang bij hun studie. De conceptvragenlijst is naar aanleiding van deze live-pilot uitgewerkt tot een definitieve conceptvragenlijst. Het voorstel voor de nieuwe vragenlijst bevat nu vijftien thema’s en 74 vragen. Het eerste thema bevat algemene oordelen over thema’s die later in de lijst aan bod komen. Op basis van reacties uit het deskundigenpanel en de begeleidingsgroep NSE is de vragenlijst vervolgens nog iets aangepast (zie Bijlage B).


8 Validatie

Validiteit heeft betrekking op de juistheid van de gegevens. Valide waarnemingen geven juiste uitkomsten. Uitkomsten zijn onjuist als zij bijvoorbeeld systematisch een te hoge of te lage waarde hebben, of als zij een andere eigenschap meten dan de bedoelde. Validiteit verwijst naar zaken als integriteit, correctheid en consistentie. Om zicht te krijgen op de validiteit van de gegevens is bij de vernieuwing van de NSE een aantal stappen ondernomen: 1 Allereerst is de relevantie van de hoofd- en subthema’s getoetst door de vragenlijst voor te leggen aan deskundigen en gebruikers met als doel te komen tot inhoudelijke overeenstemming over de op te nemen thema’s (delphi-onderzoek onder deskundigen en gebruikers); 2 Daarna is de lijst door de doelgroep (studenten) kwalitatief beoordeeld (live pilot onder studenten); 3 Tenslotte is een kwantitatieve validatie uitgevoerd door middel van een grootschalig onderzoek onder studenten. Aan de hand van de resultaten van deze pilot is onderzocht of de vragen over de verschillende thema’s inderdaad verschillende aspecten meten en is gekeken naar de wijze waarop deze met elkaar samenhangen. Om zicht hierop te krijgen is geanalyseerd of de structuur van de vragenlijst is zoals deze is bedoeld en een betrouwbare clustering mogelijk is. 8.1

Procedure Voor de kwantitatieve evaluatie van de vragenlijst is gebruik gemaakt van HetStudentenpanel. Dit panel is een initiatief van ResearchNed en geeft een goede afspiegeling van de Nederlandse studentenpopulatie in hbo en wo. Alle studenten uit dit panel zijn per email uitgenodigd om de nieuwe NSE in te vullen. 3084 studenten hebben hier gehoor aan gegeven en de vragenlijst volledig ingevuld. Voor dit onderzoek is de conceptvragenlijst geprogrammeerd en uitgezet als een internetenquête. De modules ‘handicap&studie’ en ‘internationale studenten’ zijn hierin niet meegenomen. De module ‘handicap& studie’ is uit de oude vragenlijst overgenomen en dus al uitgebreid getest. De module ‘internationale studenten’ is in een apart onderzoek8 nog nader onderzocht.

8.2

Resultaten

Hoofdcomponentenanalyse Om zicht te krijgen op de structuur van de vragenlijst hebben we als eerste stap een verkennende factoranalyse (hoofdcomponentenanalyse) over alle items van de 13 geteste basismodules uitgevoerd. De module algemene oordelen is hierbij even buiten beschouwing gelaten omdat deze qua niveau en onderlinge samenhang verschilt van de andere modules.

8

Internationale studenten in de NSE. Onderzoek door ResearchNed in opdracht van Studiekeuze123.


Factoranalyse is een veel gebruikte multivariate statistische techniek die voor een groot aantal geobserveerde variabelen een kleiner aantal achterliggende variabelen identificeert. Deze niet geobserveerde, achterliggende variabelen worden factoren of—in het geval van de hoofdcomponentenanalyse—componenten genoemd. Factoranalyse wordt gebruikt om inzicht te krijgen in de structuur van de data. De huidige analyse is gebaseerd op het criterium dat de eigenwaarde boven de 1 ligt. De eigenwaarde geeft hierbij aan hoeveel additionele variantie door de extra factor wordt verklaard. Omdat het hier gestandaardiseerde variabelen betreft, voegt elke extra factor een variantie van 1 toe. Factoren met een eigenwaarde van minder dan 1 verklaren dus minder variantie dan ze zelf toevoegen. Uit de resultaten van de factoranalyse blijkt dat er 13 verschillende componenten in de vragenlijst naar voren komen (zie Tabel 21). Bijna alle items die horen bij een bepaalde module laden hierbij op een aparte component. Alleen vijf items blijken anders verdeeld dan verwacht en twee modules laden samen op een andere component dan verwacht. De module ‘docenten aan je opleiding’ laad samen met ‘studiebegeleiding’ op een component. Wellicht is een goede begeleiding sterk gerelateerd aan de kwaliteit van de docenten van een opleiding. Daarnaast laden ook de module ‘toetsing en beoordeling’ en de module ‘informatie vanuit de opleiding samen op een component’. Een verklaring hiervoor zou kunnen zijn dat beide modules een informatieaspect bevatten. Het item ‘informatie resultaten en beoordelingen’ laad niet samen met de andere twee items van deze module op een gemeenschappelijke component, maar blijkt sterk gerelateerd aan de kwaliteit van de docent. De vraag is nu of dit item verschoven moet worden naar deze module of dat het misschien alsnog een betrouwbare schaal samen met de andere twee items vormt. In de volgende paragraaf waarin gekeken zal worden naar de betrouwbaarheid van de schalen zullen we dit aspect verder uitzoeken. Het item ‘argumenteren/redeneren’ laad iets sterker op de component algemene vaardigheden dan op de component wetenschappelijk vaardigheden. Ook hier zal aan de hand van betrouwbaarheidsanalyses overwogen worden om dit item te verschuiven. Hetzelfde geldt voor de items: ‘contact met medestudenten’, ‘restauratieve voorzieningen’ en ‘internationale contacten/uitwisseling’. Ook deze items laden niet op de vooraf bepaalde modules en zullen op basis van deze factoroplossing heroverwogen moeten worden.


Tabel 21: Factoroplossing voor de 13 basismodules. Component →

1

2

3

4

5

6

7

8

9

10

11

12

13

Begeleiding docenten Betrokkenheid docenten Feedback docenten Docenten inspirerend Didactiek docenten Deskundigheid docenten Bereikbaarheid docenten Kennis beroepspraktijk docenten Kwaliteit begeleiding Mogelijkheid tot begeleiding Informatie resultaten en beoordelingen

0,73 0,72 0,69 0,69 0,66 0,65 0,65 0,65 0,55 0,52 0,35

0,15 0,11 0,13 0,16 0,17 0,12 0,15 0,17 0,24 0,22 0,24

0,21 0,27 0,23 0,18 0,14 0,19 0,17 0,23 0,27 0,26 0,10

0,14 0,08 0,16 0,16 0,21 0,19 0,15 0,12 0,20 0,17 0,18

0,15 0,10 0,21 0,30 0,25 0,31 0,06 0,27 0,03 0,01 0,15

0,17 0,18 0,16 0,14 0,16 0,13 0,15 0,14 0,14 0,19 0,14

0,18 0,18 0,11 0,20 0,13 0,01 0,17 0,04 0,19 0,17 0,30

0,17 0,18 0,09 0,06 0,02 -0,02 0,18 -0,02 0,29 0,27 0,28

0,02 -0,01 0,03 0,05 0,12 0,16 0,00 0,17 0,03 0,04 -0,06

0,14 0,08 0,14 0,12 0,11 0,08 0,16 0,06 0,10 0,14 0,30

0,10 0,05 0,12 0,06 0,10 0,13 0,14 0,05 0,05 0,07 0,25

0,03 0,00 0,01 -0,01 0,03 -0,01 0,05 -0,01 0,03 0,03 0,05

0,13 0,08 0,09 -0,04 -0,07 -0,09 0,08 -0,08 0,29 0,31 0,02

Geschiktheid werkplekken Beschikbaarheid werkplekken Geschiktheid onderwijsruimten ICT faciliteiten Bibliotheek/mediatheek Digitale leeromgeving Opleidingsmateriaal Informatiebalie Studentenadministratie

0,16 0,16 0,14 0,14 0,11 0,14 0,33 0,18 0,21

0,82 0,78 0,75 0,74 0,63 0,60 0,55 0,48 0,40

0,10 -0,05 0,13 0,09 0,11 0,16 0,16 0,22 0,14

0,12 0,13 0,08 0,12 0,07 0,13 0,15 0,03 0,08

0,12 0,10 0,18 0,02 0,18 0,10 0,26 0,02 0,03

0,12 0,10 0,12 0,08 0,10 0,04 0,14 0,13 0,05

0,11 0,15 0,13 0,13 -0,04 0,11 0,11 0,13 0,08

0,19 0,14 0,18 -0,03 0,00 0,04 0,13 0,03 0,03

0,10 -0,02 0,11 0,05 0,13 0,07 0,13 0,13 0,15

-0,01 -0,03 -0,01 0,20 0,22 0,32 0,14 0,41 0,39

0,04 0,13 0,05 0,11 0,10 0,16 0,08 0,14 0,28

0,05 0,08 0,01 0,08 0,07 0,11 0,04 0,13 0,14

-0,08 -0,06 -0,11 0,13 0,30 0,22 0,04 0,24 0,24

Communicatieve vaardigheden Probleemoplossende vermogens Onderbouwen conclusies Samenwerken met anderen Kritische houding Functioneren professionele context Argumenteren / redeneren Contact met medestudenten

0,22 0,23 0,25 0,19 0,27 0,25 0,25 0,31

0,09 0,09 0,09 0,07 0,12 0,11 0,07 0,16

0,73 0,68 0,67 0,67 0,61 0,59 0,57 0,34

0,06 0,24 0,34 0,05 0,20 0,19 0,42 -0,08

0,14 0,14 0,16 0,18 0,17 0,20 0,20 0,20

0,18 0,15 0,09 0,17 0,08 0,28 0,06 0,06

0,08 0,09 0,13 0,04 0,13 0,10 0,14 0,12

0,08 0,09 0,00 0,14 0,03 0,08 -0,04 0,12

0,12 0,11 0,11 0,08 0,10 0,09 0,13 0,26

0,07 0,12 0,13 0,04 0,13 0,17 0,02 -0,15

0,04 0,03 0,09 0,08 0,06 0,08 0,09 -0,01

0,00 -0,02 -0,04 0,07 0,05 0,02 0,03 0,05

0,11 -0,02 -0,01 0,17 -0,08 -0,05 0,00 0,27

Ontwikkelen wetenschappelijke theorieën Schrijven wetenschappelijke artikelen Beoordelen wetenschappelijk werk Methoden en technieken Analytisch denken Zelfstandig onderzoek

0,15 0,15 0,20 0,16 0,21 0,10

0,10 0,14 0,09 0,11 0,06 0,18

0,09 -0,01 0,20 0,20 0,35 0,32

0,80 0,79 0,75 0,72 0,58 0,57

0,16 0,10 0,18 0,08 0,28 0,11

0,04 0,08 0,04 0,10 -0,02 0,15

0,14 0,14 0,10 0,05 0,14 0,06

0,02 0,11 -0,02 0,17 -0,01 0,12

0,04 0,02 0,12 0,11 0,06 0,07

0,09 0,10 0,10 0,04 0,10 0,06

0,10 0,09 0,11 -0,01 0,13 0,08

0,00 0,08 0,02 0,08 -0,01 0,05

0,08 0,08 0,01 0,00 -0,07 0,06

Item ↓


Component →

1

2

3

4

5

6

7

8

9

10

11

12

13

Niveau opleiding Aansluiting inhoud bij verwachting Opleiding stimulerend Kwaliteit studiemateriaal Samenhang tussen onderdelen Aansluiting inhoud actuele ontwikkelingen Gehanteerde werkvormen Aansluiting bij vooropleiding Mogelijkheid inhoud te bepalen

0,20 0,23 0,34 0,35 0,30 0,34 0,27 0,17 0,25

0,13 0,14 0,15 0,22 0,18 0,14 0,16 0,12 0,24

0,29 0,26 0,23 0,17 0,19 0,25 0,24 0,12 0,10

0,25 0,15 0,22 0,23 0,18 0,19 0,17 0,16 0,19

0,65 0,62 0,61 0,53 0,53 0,49 0,47 0,36 0,33

0,11 0,19 0,16 0,15 0,24 0,24 0,23 -0,02 0,09

0,12 0,15 0,16 0,08 0,14 0,05 0,16 0,00 0,23

0,08 0,15 0,13 0,13 0,14 0,08 0,22 0,21 0,25

0,04 0,08 0,04 0,09 0,05 0,08 0,05 0,10 -0,03

0,06 0,15 0,18 0,16 0,10 0,04 0,09 0,14 0,12

0,16 0,09 0,07 0,15 0,05 0,03 0,04 0,10 -0,02

0,01 0,02 0,01 -0,04 -0,04 0,00 -0,06 0,11 0,07

0,08 0,00 0,03 0,15 0,12 0,06 0,17 -0,28 0,29

Contact beroepspraktijk Praktijkgerichtheid Vaardigheden voor beroepspraktijk Aansluiting stages Kwaliteit stagebegeleiding

0,27 0,22 0,26 0,30 0,42

0,13 0,14 0,16 0,17 0,14

0,17 0,25 0,26 0,12 0,11

0,06 0,01 0,09 0,19 0,21

0,13 0,21 0,16 0,22 0,12

0,79 0,76 0,74 0,61 0,44

0,06 0,09 0,09 0,12 0,23

0,08 0,11 0,09 0,11 0,09

0,04 0,12 0,12 0,05 0,06

0,09 0,09 0,11 0,12 0,09

0,10 0,06 0,07 0,09 0,11

0,06 -0,02 -0,04 0,10 0,06

0,00 -0,03 0,00 0,27 0,22

Gebruik onderwijsevaluaties Informatie onderwijsevaluaties Reactie klachten en problemen Onderwijsevaluaties

0,20 0,20 0,29 0,29

0,16 0,18 0,17 0,17

0,14 0,15 0,11 0,29

0,14 0,16 0,21 0,14

0,13 0,14 0,11 0,16

0,10 0,11 0,11 0,12

0,80 0,78 0,65 0,63

0,13 0,12 0,19 0,08

0,03 0,07 0,05 0,13

0,12 0,08 0,20 0,11

0,17 0,17 0,19 0,05

0,10 0,09 0,03 0,10

0,02 0,06 0,01 0,05

Haalbaarheid deadlines Spreiding studielast Aansluiting ECTS bij studielast

0,14 0,15 0,17

0,10 0,12 0,19

0,11 0,07 0,05

0,02 0,09 0,15

0,10 0,17 0,19

0,10 0,09 0,09

0,09 0,13 0,15

0,76 0,74 0,67

0,14 0,10 0,11

0,13 0,11 0,15

0,16 0,18 0,14

0,08 0,02 0,15

0,03 0,05 0,04

Cultureel aanbod studiestad Horecavoorzieningen studiestad Hoeveelheid groen studiestad Bereikbaarheid instelling Sportvoorzieningen

0,03 0,09 0,03 0,12 0,07

0,05 0,07 0,08 0,11 0,19

0,15 0,18 0,01 0,27 -0,13

0,08 0,07 0,11 -0,01 0,16

0,02 0,01 0,03 0,18 0,04

0,10 0,06 0,06 0,09 -0,17

0,04 -0,02 0,10 0,00 0,31

0,04 0,04 0,22 0,05 0,04

0,85 0,84 0,62 0,49 0,37

0,06 0,09 -0,09 0,18 0,07

0,00 0,01 0,03 0,17 0,07

-0,07 -0,05 0,22 0,05 0,15

0,00 -0,01 -0,03 0,11 0,27

Informatie regels en procedures Informatie studievoortgang Voorlichting opleiding Duidelijkheid beoordelingscriteria Aansluiting toetsing en beoordeling

0,21 0,25 0,24 0,30 0,30

0,18 0,20 0,22 0,23 0,18

0,11 0,15 0,22 0,21 0,19

0,21 0,21 0,15 0,13 0,13

0,20 0,18 0,25 0,18 0,34

0,11 0,19 0,15 0,17 0,17

0,20 0,14 0,22 0,16 0,13

0,21 0,20 0,18 0,29 0,29

0,09 0,13 0,08 0,02 0,09

0,61 0,57 0,47 0,44 0,43

0,12 0,10 0,06 0,12 0,11

0,09 0,05 0,08 0,08 0,10

0,03 0,13 0,03 -0,13 -0,11

Informatie roosters Informatie wijzigingen roosters Geschiktheid studierooster

0,11 0,16 0,18

0,19 0,17 0,16

0,10 0,07 0,12

0,17 0,13 0,08

0,08 0,10 0,14

0,06 0,09 0,13

0,11 0,19 0,18

0,12 0,16 0,23

0,07 0,03 0,08

0,05 0,10 0,16

0,81 0,79 0,67

0,00 0,06 0,06

0,04 0,04 0,00

Item ↓


Component →

1

2

3

4

5

6

7

8

9

10

11

12

13

Betaalbaarheid woonruimte Beschikbaarheid woonruimte

0,03 -0,01

0,12 0,16

0,01 0,04

0,07 0,07

-0,01 0,01

0,05 0,01

0,13 0,07

0,13 0,06

0,03 0,10

0,09 0,08

0,03 0,06

0,90 0,90

0,06 0,04

Restauratieve voorzieningen Internationale contacten/uitwisseling

0,06 0,22

0,24 0,17

0,04 0,18

0,11 0,21

0,19 0,19

0,05 0,28

0,08 0,03

0,03 0,16

0,40 0,05

0,11 0,13

0,13 0,06

0,17 0,15

0,41 0,40

Item ↓


Betrouwbaarheidsanalyses Om de interne consistentie van de vragenlijst te meten hebben we vervolgens een aantal betrouwbaarheidsanalyses uitgevoerd op de verschillende modules. De interne consistentie van een module is groot, als alle hierin opgenomen vragen hetzelfde algemene kenmerk meten. Om dit vast te stellen hebben we gebruik gemaakt van de Cronbach’s alfa. Als vuistregel wordt vaak gehanteerd dat een vragenlijst of module voldoende betrouwbaar is bij een α van 0,70 of hoger. We zullen hiernaar de betrouwbaarheid voor elk van de modules analyseren. De module ‘algemene oordelen’ heeft een α van 0,90 (zie Tabel 22) en is voldoende betrouwbaar. We hebben ook de relatie van de items in de module ‘algemene oordelen’ met de items uit de andere basismodules geanalyseerd door middel van een hoofdcomponentenanalyse. Hieruit bleek dat deze module niet op één component laad, maar zich verdeeld over de in de eerdere analyse gevonden componenten. De meeste items laden hierbij op de component van de module waar het algemene oordeel over gaat. Dit geld echter niet voor alle items. De items ‘algemene vaardigheden’, ‘wetenschappelijke vaardigheden’ en ‘toetsing en beoordeling’ laden op dezelfde component dan de items van de module ‘inhoud van de opleiding’. Het item ‘overige studiefaciliteiten’ laad op de component ‘studiefaciliteiten’. Het item ‘betrokkenheid van je opleiding’ laad op de component ‘docenten aan je opleiding’. Ook al is de verdeling van deze items over de componenten niet zo als verwacht, vormen ze samen een zeer betrouwbare schaal en stellen wij daarom voor deze niet te wijzigen.

Tabel 22: Betrouwbaarheid van module ‘algemene oordelen’

Algemeen oordeel Inhoud opleiding Algemene vaardigheden Wetenschappelijke vaardigheden Voorbereiding beroepsloopbaan Oordeel docenten Informatie vanuit opleiding Studiefaciliteiten Toetsing en beoordeling Studieroosters Studielast Studiebegeleiding Overige faciliteiten en studieomgeving Algemene sfeer Betrokkenheid

Gemiddelde

Standaard Deviatie

α als item verwijdert wordt

3,79 3,80 3,77 3,41 3,81 3,78 3,40 3,64 3,43 3,33 3,33 3,48 3,60 4,19 3,49

0,80 0,80 0,74 0,86 0,87 0,87 0,95 0,93 0,85 1,00 0,88 0,97 0,84 0,78 1,01

0,89 0,89 0,89 0,90 0,89 0,89 0,89 0,90 0,89 0,90 0,90 0,89 0,89 0,89 0,89

De module ‘inhoud van de opleiding’ heeft een α van 0,87 en is voldoende betrouwbaar (zie Tabel 23).


Tabel 23: Betrouwbaarheid module ‘inhoud van de opleiding’

Niveau opleiding Aansluiting inhoud bij verwachting Aansluiting bij vooropleiding Opleiding stimulerend Aansluiting inhoud actuele ontwikkelingen Samenhang tussen onderdelen Gehanteerde werkvormen Mogelijkheid inhoud te bepalen Kwaliteit studiemateriaal

Gemiddelde

Standaard Deviatie


3,78 3,70 3,44 3,64 3,83 3,75 3,62 3,24 3,63

0,85 0,90 0,99 0,89 0,81 0,84 0,84 0,98 0,83

0,85 0,85 0,88 0,85 0,86 0,86 0,86 0,87 0,85

De module ‘algemene vaardigheden’ heeft een α van 0,88 en is voldoende betrouwbaar. In de betrouwbaarheidsanalyse is ook het item ‘argumenteren/redeneren’ opgenomen. Uit Tabel 24 blijkt dat opname van dit item bij deze module de betrouwbaarheid vergroot. We stellen daarom voor dit item van de module ‘wetenschappelijke vaardigheden’ naar de module ‘algemene vaardigheden’ te verschuiven.

Tabel 24: Betrouwbaarheid module ‘algemene vaardigheden’

Kritische houding Functioneren professionele context Probleemoplossende vermogens Onderbouwen conclusies Communicatieve vaardigheden Samenwerken met anderen Argumenteren / redeneren

Gemiddelde

Standaard Deviatie


3,76 3,84 3,82 3,75 3,96 4,07 3,76

0,80 0,79 0,79 0,82 0,82 0,79 0,80

0,86 0,86 0,85 0,85 0,86 0,87 0,87

De module ‘wetenschappelijke vaardigheden’ heeft een α van 0,88 en is voldoende betrouwbaar (zie Tabel 25) . Het opnemen van het item ‘argumenteren/redeneren’ vergroot de betrouwbaarheid van deze schaal niet.

Tabel 25: Betrouwbaarheid module ‘wetenschappelijke vaardigheden’

Analytisch denken Beoordelen wetenschappelijk werk Ontwikkelen wetenschappelijke theorieën Schrijven wetenschappelijke artikelen Methoden en technieken Zelfstandig onderzoek


Gemiddelde

Standaard Deviatie


3,57 3,32 3,03 2,86 3,44 3,59

0,85 0,95 0,97 0,99 0,94 0,94

0,88 0,86 0,85 0,86 0,86 0,87

De module ‘voorbereiding beroepsloopbaan’ heeft een α van 0,86. Het verwijderen van het item ‘internationale contacten/uitwisseling’ verhoogd de betrouwbaarheid naar een α van 0,88 (zie Tabel 26). We stellen daarom voor dit item niet op te nemen in de vragenlijst. Het item blijkt aan deze module geen bijdrage te leveren en volgens de factoranalyse ook niet aan een andere module iets toe te voegen.

Tabel 26: Betrouwbaarheid module ‘voorbereiding beroepsloopbaan’

Vaardigheden voor beroepspraktijk Praktijkgerichtheid Contact beroepspraktijk Kwaliteit stagebegeleiding Internationale contacten/uitwisseling Aansluiting stages

Gemiddelde

Standaard Deviatie


4,00 3,99 3,88 3,47 3,52 3,67

0,86 0,89 0,95 1,01 1,00 0,89

0,83 0,83 0,83 0,85 0,88 0,83

De module ‘docenten bij je opleiding’ heeft een α van 0,92 en is voldoende betrouwbaar (zie).

Tabel 27: Betrouwbaarheid module ‘docenten bij je opleiding’

Deskundigheid docenten Didactiek docenten Bereikbaarheid docenten Betrokkenheid docenten Begeleiding docenten Feedback docenten Docenten inspirerend Kennis beroepspraktijk docenten

Gemiddelde

Standaard Deviatie


3,95 3,64 3,60 3,76 3,65 3,64 3,57 4,00

0,85 0,87 1,01 0,92 0,90 0,91 0,93 0,84

0,91 0,91 0,91 0,90 0,90 0,90 0,90 0,91

De module ‘informatie vanuit je opleiding’ heeft een α van 0,81 en is voldoende betrouwbaar (zie Tabel 28).

Tabel 28: Betrouwbaarheid module ‘informatie vanuit je opleiding’

Voorlichting opleiding Informatie studievoortgang Informatie studievoortgang


Gemiddelde

Standaard Deviatie


3,47 3,49 3,35

0,92 0,92 0,95

0,78 0,71 0,72

De module ‘studiefaciliteiten’ heeft een α van 0,89 en is voldoende betrouwbaar (zie Tabel 29).

Tabel 29: Betrouwbaarheid module ‘studiefaciliteiten’

Geschiktheid onderwijsruimten Geschiktheid werkplekken Beschikbaarheid werkplekken Opleidingsmateriaal Bibliotheek/mediatheek ICT faciliteiten Digitale leeromgeving Informatiebalie Studentenadministratie

Gemiddelde

Standaard Deviatie


3,64 3,59 3,21 3,72 3,84 3,52 3,57 3,71 3,59

0,96 1,02 1,15 0,79 0,92 1,05 0,98 0,84 0,90

0,87 0,87 0,87 0,87 0,88 0,87 0,87 0,88 0,88

De module ‘toetsing en beoordeling’ heeft een α van 0,79 en is voldoende betrouwbaar (zie Tabel 30). Het verwijderen van het item ‘informatie resultaten en beoordelingen’ verhoogd de betrouwbaarheid van deze schaal naar een α van 0,82. Volgens de factoroplossing zou dit item beter passen bij de module ‘informatie vanuit de opleiding’. Echter, omdat uit nadere analyse blijkt dat dit item ook bij deze schaal geen positieve bijdrage levert aan de betrouwbaarheid stellen we voor dit item alsnog bij de module ‘toetsing en beoordeling’ te laten staan. De betrouwbaarheid van deze schaal is ook dan nog voldoende hoog.

Tabel 30: Betrouwbaarheid module ‘toetsing en beoordeling’

Duidelijkheid beoordelingscriteria Aansluiting toetsing en beoordeling Informatie resultaten en beoordelingen

Gemiddelde

Standaard Deviatie


3,44 3,54 3,26

0,97 0,90 1,04

0,67 0,65 0,82

De module ‘studierooster’ heeft een α van 0,81 en is voldoende betrouwbaar (zie Tabel 31).

Tabel 31: Betrouwbaarheid module ‘studierooster’

Informatie roosters Informatie wijzigingen roosters Geschiktheid studierooster

Gemiddelde

Standaard Deviatie


3,30 3,05 3,34

1,20 1,12 1,02

0,74 0,70 0,79

De module ‘studielast’ heeft een α van 0,82 en is voldoende betrouwbaar (zie Tabel 32).


Tabel 32: Betrouwbaarheid module ‘studielast’

Spreiding studielast Haalbaarheid deadlines Aansluiting ECTS bij studielast

Gemiddelde

Standaard Deviatie


3,27 3,47 3,24

0,95 0,89 0,91

0,75 0,75 0,76

De module ‘studiebegeleiding’ heeft een α van 0,89 en is voldoende betrouwbaar (zie Tabel 33).

Tabel 33: Betrouwbaarheid module ‘studiebegeleiding’

Mogelijkheid tot begeleiding Kwaliteit begeleiding

Gemiddelde

Standaard Deviatie


3,71 3,63

0,91 0,93

0,79 0,79

De module ‘studiebegeleiding’ heeft een α van 0,71. Deze module heeft een zeer lage alfa, maar is wel nog voldoende betrouwbaar (zie

Tabel 34). De reden voor de lage alfa zou te wijten kunnen zijn aan het feit dat er in deze module een aantal verschillende onderwerpen aan bod komen die ook volgens de factoroplossing niet allemaal op dezelfde component laden (bijvoorbeeld laden de items over woonruimte apart op een andere component).

Tabel 34: Betrouwbaarheid module ‘studieomgeving’

Geschiktheid onderwijsruimten Geschiktheid werkplekken Beschikbaarheid werkplekken Opleidingsmateriaal Bibliotheek/mediatheek ICT faciliteiten Digitale leeromgeving Informatiebalie Studentenadministratie

Gemiddelde

Standaard Deviatie


3,64 3,59 3,21 3,72 3,84 3,52 3,57 3,71 3,59

0,96 1,02 1,15 0,79 0,92 1,05 0,98 0,84 0,90

0,87 0,87 0,87 0,87 0,88 0,87 0,87 0,88 0,88

De module ‘studiefaciliteiten’ heeft een α van 0,89 en is voldoende betrouwbaar (zie Tabel 29).


Tabel 35: Betrouwbaarheid module ‘betrokkenheid van je opleiding’

Onderwijsevaluaties Informatie onderwijsevaluaties Gebruik onderwijsevaluaties Reactie klachten en problemen

Gemiddelde

Standaard Deviatie


3,51 3,16 3,15 3,21

0,89 1,03 0,99 1,05

0,89 0,86 0,84 0,88

Het item ‘contact met medestudenten’ is de enige vraag van de module ‘sfeer’. In de factoroplossing laad dit item vooral op de component ‘algemene vaardigheden’. Ook blijkt de correlatie tussen dit item en het algemene oordeel over de opleiding niet zeer hoog (r = .32). Dit item blijkt los te staan van de andere items in deze vragenlijst. Het is ook nog in het delphionderzoek nog in de live-pilot onder studenten als belangrijk item naar voren gekomen en is toegevoegd naar aanleiding van een verzoek uit de begeleidingsgroep. Daarom stellen we voor om het item te verwijderen.

Lengte van de vragenlijst Aan de studenten werd gevraagd de vragenlijst in één keer in te vullen en niet tussendoor te pauzeren zodat er een indicatie kan worden gegeven van de lengte van de vragenlijst. Het bleek dat drie procent van de respondenten langer dan een half uur met de vragenlijst bezig was. Wij nemen aan dat deze studenten desondanks ons verzoek om niet te pauzeren alsnog de vragenlijst tijdelijk hebben verlaten en op een later moment hebben voortgezet. Deze respondenten hebben we niet opgenomen in de analyse van de gemiddelde invultijd. De resterende 97 procent van de respondenten heeft gemiddeld minder dan acht minuten over de vragenlijst gedaan (M = 7.54, SD = .74).

Evaluatie van de vragenlijst Aan het einde van de vragenlijst zijn aan de studenten nog een aantal evaluatieve vragen gesteld:  Wat is je algemene indruk over deze vragenlijst? (1=zeer negatief, 5=zeer positief);  Wat vind je van de lengte van de vragenlijst? (1=te kort, 2=precies goed, 3=te lang)  Wat is je mening over de manier waarop de vragen zijn gesteld? (1=zeer onduidelijk, 5=zeer helder)  Mis je belangrijke onderdelen die jij als student wel belangrijk vind en die niet in de vragenlijst voorkomen? (open vraag) 

8.3

Uit de analyse van deze aanvullende vragen blijkt dat de meeste studenten een positieve indruk van de vragenlijst hebben (M=3.61, SD=.71), dat zij de meeste studenten de lengte precies goed vonden (M=2.27, SD= .45) en de vragen helder gesteld zijn ( M=3.91, SD=.83). Op de vraag of belangrijke onderdelen in de NSE ontbreken geeft een deel van de studenten aan dat zij behoefte hebben aan een open vraag waarin ze hun verdere opmerkingen kwijt kunnen.

Conclusie De kwantitatieve validatie impliceert dat de structuur van de vragenlijst voor het grootste deel overeenkomt met de verwachtingen en blijkt een betrouwbare clustering mogelijk. Op basis van deze analyses stellen wij de volgende veranderingen voor om de vragenlijst verder te verbeteren:


  

Het item ‘argumenteren/ redeneren’ verschuiven naar de module ‘algemene vaardigheden’; De items ‘internationale contacten/uitwisseling’ en ‘contact met medestudenten’ verwijderen. Toevoegen van een open vraag aan het einde waarin de studenten de mogelijkheid wordt geboden om wensen of voorstellen voor de verbetering van de opleiding te uiten.

Verder blijkt de vragenlijst een valide en betrouwbaar meetinstrument dat door de studenten positief is beoordeeld en zelfs nog onder de nagestreefde invultijd van 10 minuten ligt. Dit biedt veel ruimte voor instellingen om hun eigen vragen toe te voegen.


9 Integratie STO-NSE

9.1

Inleiding Bij de vernieuwing van de NSE 2010 ligt de nadruk op het komen tot een integratie van het STO in de NSE. De NSE en het STO hebben beide tot doel om meningen van studenten over de kwaliteit van het onderwijs en de instelling te verzamelen. Het gebruik van deze gegevens verschilt echter tussen de twee vragenlijsten. Het STO is opgezet als bundeling van al bestaande onderzoeken van hogescholen om gegevens te leveren voor de interne kwaliteitszorg. De NSE heeft voor de Stichting Studiekeuze123 het primaire doel oordelen van studenten te verzamelen die van belang zijn in het studiekeuzeproces van aankomende studenten. Om de mogelijkheden voor een integratie van het STO in de NSE te verkennen zijn de verschillen en overeenkomsten tussen het STO en de NSE al in een eerder stadium in kaart gebracht. Bij de vergelijking van de vragenlijsten is gezocht naar overeenkomstige vragen en thema’s waarbij elke vraag werd ingedeeld in een van de volgende vier categorieën: goed (bij vrijwel exacte overeenkomst), redelijk (bij kleine afwijkingen in de formulering), thema (bij een thematische gelijkenis), en geen overeenkomst (bij afwezigheid van een overeenkomstige vraag). Uit de vergelijking van de twee vragenlijsten kwam naar voren dat de NSE ongeveer drieënhalf keer langer is dan het STO. Het STO is kort gehouden om maximale ruimte over te houden voor toevoeging van hogeschoolspecifieke vragen. In het meerjarenprogramma heeft Studiekeuze123 echter onder de noemer ‘minder is meer’ besloten ook te willen komen tot een beperkte vragenlijst, waardoor alsnog ruimte voor toevoeging van vragen kan ontstaan. Tabel 36 vat de gedetailleerde vergelijking samen en laat zien dat bij ongeveer een kwart van de vragen in het STO een vrijwel gelijke vraag in de NSE voorkomt met goede overeenkomst. Bij ongeveer 30 procent is een redelijk overeenkomstige vraag te vinden en bij ongeveer 20 procent is een thematische overeenstemming gevonden.

Tabel 36: Vergelijking STO en NSE Waardering/overeenkomst

Vanuit STO bekeken

Goed Redelijk Thema Geen

24%

Totaal

100%

29% 22% 24%

De vergelijking van het STO en de NSE laat zien dat gezien de grote overeenkomsten tussen de twee vragenlijsten het wellicht mogelijk is het STO en de NSE in één nationale vragenlijst naar studentenoordelen samen te voegen. Een integratie van STO en NSE kent een aantal voordelen. Ten eerste heeft een integratie het voordeel dat de bevragingslast voor studenten vermindert omdat niet langer twee vragenlijsten met hetzelfde doel en een grote overlap parallel worden afgenomen. Dit heeft in het verleden ervoor gezorgd dat sommige hogescholen hebben besloten om niet met de hele populatie aan de NSE mee te doen. Vanuit het gezichtspunt van de NSE zou een integratie het voordeel kennen dat meer hogeschoolstudenten hieraan zullen deelnemen. Ook voor de hogescholen is aan de integratie een aantal voordelen verbonden. Het feit dat de NSE (indien gewenst) centraal wordt afgenomen, vermindert de administratieve last en de kosten voor de hogescholen. Daarnaast zullen representatieve (gebaseerd op de hele studentenpopulatie) en jaarlijks geactualiseerde studentenoordelen op de studiekeuzewebsite getoond worden en worden ontsloten in een online applicatie.


9.2

Inhoud van de vragenlijst Gezien het doel om het STO in de NSE te integreren is ervoor gekozen om alle (hoofd)thema’s van het STO in de nieuwe NSE op te nemen. Deze zijn vervolgens allemaal door de deskundigen beoordeeld op het belang dat eraan gehecht wordt om deze op te nemen in een gezamenlijk nationaal studententevredenheidsonderzoek. Uit de resultaten van het delphi-onderozek bleek dat het grootste deel van de STO-thema’s en -vragen volgens de bevraagde deskundigen (waarvan een meerderheid verbonden is aan het hbo) opgenomen zouden moeten worden in de nieuwe NSE (zie hoofdstuk 4). Er bleken echter ook een aantal (sub)thema’s als minder belangrijk te worden beoordeeld. Deze zijn niet in de conceptvragenlijst voor de nieuwe NSE opgenomen. In de volgende paragraaf zullen wij nader op de betreffende (sub)thema’s ingaan. Van de elf thema’s uit het STO 2009 zijn op basis van de resultaten van het delphi-onderzoek en de pilot onder studenten in eerste instantie tien thema’s opgenomen in de conceptvragenlijst voor de NSE 2010. Het thema ‘betrokkenheid van de instelling’, waarbij vragen over onderwijsevaluaties en het omgaan met klachten aan bod komen, vonden deskundigen vanuit verschillende instellingen minder belangrijk. Omdat dit thema door een groot deel van deskundigen uit het hbo belangrijk werd gevonden (73,5%) en ook de leden van de begeleidingsgroep NSE dit belang nog eens extra onderstreepten, adviseren wij dit onderwerp voor hbo-instellingen toe te voegen aan de basisvragenlijst. Op deze manier komen alle hoofdthema’s uit het STO ook in de nieuwe NSE aan bod. Een aantal subthema’s werd door het merendeel van de deskundigen als minder belangrijk beoordeeld. In totaal is op grond van deze resultaten ervoor gekozen zeven vragen uit het STO 2009 niet op te nemen in de basisvragenlijst van de NSE 2010. Een overzicht van de vragen die uit het STO wel en niet in de conceptvragenlijst van de nieuwe NSE zijn opgenomen is gerapporteerd in Bijlage C (grijs-gearceerde vragen zijn niet opgenomen in de basisvragenlijst NSE, maar zijn optioneel). De NSE biedt instellingen of koepels de mogelijkheid om, indien gewenst, extra vragen op te nemen. Om hbo-instellingen de mogelijkheid te bieden alle vragen uit het STO 2009 ook in de komende jaren aan hun studenten voor te kunnen leggen, stellen wij voor om hbo-instellingen een aangepaste versie van de NSE aan te bieden waarin ook deze zeven vragen zijn geïntegreerd. Dit betekent dat de vragenlijst iets langer wordt voor het hbo. Uit de eerste pilot onder studenten is gebleken dat de NSE aanzienlijk is ingekort en het invullen van de basisvragenlijst nog maar tien minuten duurt. Daarom is het qua invultijd ons inziens verantwoord om deze zeven vragen op te nemen.

9.3

Antwoordcategorieën Het STO 2009 en de NSE 2010 verschillen enigszins in de keuze van de antwoordschalen. De NSE 2009 vroeg om oordelen in de vorm van een rapportcijfer op een 10-punt schaal, terwijl het STO bestaat uit stellingen die beoordeeld moeten worden op een 5-punt Likertschaal die loopt van ‘zeer mee eens’ tot ‘zeer mee oneens’. Uit het hier gerapporteerde onderzoek naar antwoordschalen blijkt dat de keuze voor een 5-puntschaal de voorkeur verdient boven een 10puntschaal gezien de 5-puntschaal een minder scheve verdeling oplevert en beter aansluit bij internationale standaarden (zie hoofdstuk 5). Bij de keuze voor een 5-puntschaal zijn twee opties mogelijk: (1) een neutrale 5-puntschaal, of (2) een 5-punt Likertschaal. De laatste wordt gebruikt door het STO, maar heeft wel het nadeel dat er een normatieve aanduiding aan verbonden is. Deze normatieve aanduiding impliceert een keuze voor een basisniveau. Zo wordt in het STO gebruik gemaakt van stellingen waarin termen worden gehanteerd als ‘voldoende‘ en ‘tevreden’. De vragen zijn daardoor niet neutraal geformuleerd en beperken de gemeten tevredenheid tot een onvoldoende/voldoende niveau. Dit heeft consequenties voor de interpretatie van de resultaten.


Bij de opzet van het STO zijn de voor- en nadelen van de keuze voor een normatief element in de formulering van de vraag besproken9. Hierin is opgemerkt dat de keuze om geen normatieve elementen in de vraag op te nemen het voordeel kent dat de vragen geheel neutraal geformuleerd zijn en daardoor geen sturend karakter hebben. Als nadeel van deze keuze wordt genoemd dat een neutrale vraag als consequentie heeft dat men vaak genoodzaakt is om verschillende antwoordschalen te hanteren en dit voorturend schakelen van de respondent vraagt. Daardoor bestaat de mogelijk tot verkeerde interpretatie van de voorgelegde antwoordschalen. Het kiezen van uiteenlopende antwoordcategorieën heeft tevens beperkende gevolgen voor de statistische analyses die uitgevoerd kunnen worden. Vergelijkingen tussen de resultaten van verschillende vragen of het construeren van samengevoegde variabelen is dan niet goed mogelijk. De hier genoemde kanttekeningen gelden echter niet voor de nieuwe NSE. Alle vragen naar oordelen in de NSE 2010 zijn zodanig geformuleerd dat maar één antwoordschaal gehanteerd wordt, die loopt van ‘zeer ontevreden’ tot ‘zeer tevreden’. Het opnemen van kwalitatieve elementen in de vraag brengt het gevaar met zich mee dat de vraag normatief wordt. Het gebruik van vragen naar de mate waarin men vindt dat iets voldoende is zoals in het STO 2009 heeft als consequentie dat niet bepaald kan worden hoeveel respondenten het predicaat zeer tevreden zouden toekennen (zie kader hieronder voor een voorbeeld ter verduidelijking van deze argumentatie). De vraag naar transparantie in het Nederlandse hoger onderwijs is de laatste jaren sterk toegenomen. Instellingen hebben meer aandacht voor kwaliteitszorg en een grotere behoefte zich met andere instellingen te vergelijken. De kwaliteitszorg is daardoor niet alleen meer een instellingsinterne zaak, maar ook een middel om zich met andere instellingen te vergelijken. Hierdoor is het predicaat ‘voldoende’ wellicht niet genuanceerd genoeg en is het wenselijk om aan te kunnen geven dat bepaalde opleidingen door studenten het predicaat ‘zeer tevreden’ toegekend krijgen. Op grond van deze overwegingen is bij de ontwikkeling van de nieuwe NSE gekozen voor een neutrale 5-puntschaal in plaats van een Likertschaal.

9

Verrijt, T. & Folmer, E. (2006). Advies landelijke vragenlijst studenttevredenheid. Hbo-raad.


Voorbeeld van items op de Likertschaal en de neutrale 5-puntschaal In het STO wordt de vraag naar de tevredenheid over de sfeer op de opleiding als volgt verwoord: ‘Ik ben tevreden over de sfeer op de opleiding’ 1 (helemaal mee oneens) – 5 (helemaal mee eens) Een score van vijf op deze schaal betekent dat de student het helemaal eens is met de stelling (dus tevreden is). In de praktijk wordt dit vaak geïnterpreteerd als ware deze student ‘zeer tevreden’. Puur kijkend naar de formulering van de vraag zou het zelfs kunnen zijn dat een ‘zeer tevreden’ student hier de score ‘1’ geeft. Maar, over het algemeen ligt de bovengrens voor de interpretatie van deze vraag bij de norm ‘tevreden’ en wordt met deze formulering nooit ‘zeer tevreden’ gemeten. Daarnaast wordt in het STO niet altijd naar de tevredenheid gevraagd, maar soms ook naar een ‘voldoende’ niveau, zoals in de volgende vraag. ‘De opleiding sluit voldoende aan bij mijn vooropleiding’ 1 (helemaal mee oneens) – 5 (helemaal mee eens) Hier is de term ‘voldoende’ het feitelijke plafond. Bovendien vraagt het gebruik van deze verschillende normen voor beoordeling in één vragenlijst meer aandacht en schakelen bij de student. Daarnaast is het moeilijker om schalen te vormen op basis van vragen die verschillende normatieve ankers gebruiken. Op de voorgestelde neutrale 5-puntschaal hebben alle vragen betrekking op nuances van tevredenheid. Bovengenoemde items worden in ons voorstel als volgt geformuleerd: ‘Hoe tevreden ben je over de sfeer op de opleiding?’ ‘Hoe tevreden ben je over de mate waarin de opleiding aansluit bij je vooropleiding?’ 1 (zeer ontevreden) – 5 (zeer tevreden) Een score van vijf betekent hier dat je zeer tevreden bent over (bijvoorbeeld) de sfeer op de opleiding en biedt daardoor de mogelijkheid wèl een onderscheid te maken tussen ‘tevreden’ en ‘zeer tevreden’.

Consequenties voor trendrapportages De keuze voor een neutrale 5-puntschaal heeft consequenties voor trendrapportages gebaseerd op de resultaten van het STO uit eerdere jaren. De formulering van vragen is enigszins veranderd doordat normatieve elementen niet meer gebruikt worden en een aantal formuleringen is aangepast. Inhoudelijk is echter een grote overlap met de vragen uit het STO en zal de nieuwe vragenlijst wel geschikt zijn voor trendrapportages. Wat betreft de antwoordschaal, zo blijkt uit het hier gerapporteerde onderzoek, kunnen we concluderen dat de resultaten op de neutrale 5puntschaal amper verschillenen van de resultaten op de Likertschaal (zie hoofdstuk 5). Deze resultaten impliceren dat een wisseling naar een neutrale 5-puntschaal voor trendrapportages van het STO geen groot probleem zou moeten vormen.


Een belangrijk aandachtspunt voor trendrapportages van het STO is de interpretatie van de resultaten. Terwijl een score van ‘5’ in het STO betekent dat de studenten het er ‘helemaal mee eens’ zijn dat een bepaald aspect voldoende is (of dat zij hier tevreden over zijn), betekent een score van ‘5’ in de nieuwe NSE dat de studenten hier ‘zeer tevreden’ over zijn. Aangezien uit het onderzoek naar antwoordschalen blijkt dat de antwoorden op de twee schalen amper van elkaar verschillen, is het mogelijk dat studenten die het helemaal eens zijn met de ‘voldoende’norm impliciet aangeven ‘zeer tevreden’ te zijn. Dit mag echter op grond van de vraagstelling niet worden geconcludeerd, maar is wel de conclusie die hieraan in de praktijk vaak wordt verbonden. Bij de conclusies die getrokken worden op grond van trendrapportages dient daarom rekening te worden gehouden met het feit dat resultaten van eerdere jaren iets anders geïnterpreteerd moeten worden.


Bijlage A - Vragenlijst NSE 2010

A Achtergrondkenmerken

V1.

Selecteer een taal: 1 2 3

V2.

Je bent een: 1 2

V3.

Nederlands English Deutsch

Man Vrouw

Wat was je leeftijd op 01 september 2009? … jaar <16-80>

V4.

Wat voor soort opleiding volg je? (Geef je hoofdstudie aan) 1 2 3 4 5 6

V5.

Volg je deze opleiding in voltijd, deeltijd of duaal? 1 2 3

V6.

Voltijd Deeltijd Duaal

Volg je deze opleiding aan een universiteit of hogeschool? 1 2

V7.

Bachelor Master Associate Degree Post-initiële master Eindfase oude stijl <Einde vragenlijst: Slottekst 1> Voortgezette opleiding <Einde vragenlijst: Slottekst 1>

Hogeschool Universiteit

Aan welke hogeschool/universiteit volg je deze opleiding?

V8.

Wat is de naam van je opleiding?

V9.

Aan welke locatie van volg je deze opleiding?

V10. Wanneer ben je aan deze opleiding begonnen? Datum (dag/maand/jaar): …


V11. Met welk diploma ben je toegelaten tot je huidige opleiding? 1 2 3 4 5 6 7 8 9 10 11 12 13 14 98 99

Havo Vwo Mbo Hbo-propedeuse Hbo-einddiploma of hbo-bachelor Universiteit – propedeuse Universiteit – bachelor Universiteit – doctoraal examen Universiteit – master Buitenlandse vooropleiding voortgezet onderwijs Buitenlandse vooropleiding hoger onderwijs Colloquium doctum/toelatingsgesprek Op basis van eerder verworven competenties/werkervaring Op andere gronden, namelijk N.v.t. Weet niet

B Algemene oordelen

V12. Om te beginnen willen we je graag vragen hoe jij je studie in het algemeen beoordeelt. Geef alsjeblieft hieronder aan hoe tevreden je bent over: <1 t/m 5; 1=zeer ontevreden; 5=zeer tevreden; 6=N.v.t.> a

Je studie in het algemeen

V13. De volgende vragen gaan over jouw algemene oordeel ten aanzien van een aantal deelaspecten van je studie. Geef alsjeblieft aan hoe tevreden je over het geheel genomen bent over de volgende aspecten van je studie: <1 t/m 5; 1=zeer ontevreden; 5=zeer tevreden; 6=N.v.t.> a b c d e f g h i j k l m n

De inhoud van de opleiding De verworven algemene vaardigheden binnen je opleiding De verworven wetenschappelijke vaardigheden binnen je opleiding De voorbereiding op de beroepsloopbaan De docenten aan je opleiding De informatie vanuit je opleiding De studiefaciliteiten van je opleiding Toetsing en beoordeling (bijv. criteria van beoordeling en vorm van toetsing) De studieroosters De studielast De studiebegeleiding De overige faciliteiten en de studieomgeving De algemene sfeer op je opleiding De mate waarin je betrokken wordt bij de verbetering van je opleiding


C De inhoud van de opleiding

V14. De volgende vragen gaan over de inhoud van je opleiding. Geef alsjeblieft aan hoe tevreden je bent over: <1 t/m 5; 1=zeer ontevreden; 5=zeer tevreden; 6=N.v.t.> a b c d e f g h i

Het niveau van je opleiding De aansluiting van je inhoud bij het beeld dat je van je opleiding had De aansluiting van je opleiding bij je vooropleiding De mate waarin de inhoud van je opleiding stimulerend is De aansluiting van de inhoud van je opleiding bij actuele ontwikkelingen De samenhang tussen de verschillende onderdelen van je opleiding De in jouw opleiding gehanteerde werkvormen De mogelijkheid die je opleiding je biedt om zelf de inhoud te bepalen De inhoudelijke kwaliteit van het studiemateriaal

D Verworven algemene vaardigheden

V15. De volgende vragen gaan over de algemene vaardigheden die je binnen je opleiding opdoet. Geef alsjeblieft aan hoe tevreden je bent over de mate waarin jou de volgende algemene vaardigheden worden aangeleerd: <1 t/m 5; 1=zeer ontevreden; 5=zeer tevreden; 6=N.v.t.> a b c d e f

Een kritische houding Het functioneren in een professionele context Probleemoplossende vermogens Het onderbouwen van conclusies Communicatieve vaardigheden (bijv. mondelinge presentaties, gespreksvoering) Het samenwerken met anderen

E Verworven wetenschappelijke vaardigheden

V16. De volgende vragen gaan over de wetenschappelijke vaardigheden die je binnen je opleiding opdoet. Geef alsjeblieft aan hoe tevreden je bent over de mate waarin jou de volgende wetenschappelijke vaardigheden worden aangeleerd: <1 t/m 5; 1=zeer ontevreden; 5=zeer tevreden; 6=N.v.t.> a b c d e f g

Analytisch denken Argumenteren / redeneren Het kritisch beoordelen van wetenschappelijk werk Het ontwikkelen van wetenschappelijke theorieën Het schrijven van wetenschappelijke artikelen Methoden en technieken van onderzoek Het doen van zelfstandig onderzoek

F Voorbereiding op de beroepsloopbaan

V17. De volgende vragen gaan over de voorbereiding op je beroepsloopbaan. Geef alsjeblieft aan hoe tevreden je bent over: <1 t/m 5; 1=zeer ontevreden; 5=zeer tevreden; 6=N.v.t.> a b c d e f

Het opdoen van vaardigheden voor de beroepspraktijk De praktijkgerichtheid van je opleiding Het contact met de beroepspraktijk (bijv. stages, gastsprekers) De kwaliteit van de stagebegeleiding vanuit je opleiding De gelegenheid die je opleiding je biedt voor internationale contacten en uitwisseling De aansluiting van de stages bij het overige onderwijs


G De docenten aan de opleiding

V18. De volgende vragen gaan over de docenten aan je opleiding. Geef alsjeblieft aan hoe tevreden je bent over: <1 t/m 5; 1=zeer ontevreden; 5=zeer tevreden; 6=N.v.t.> a b c d e f g h

De De De De De De De De

inhoudelijke deskundigheid van docenten didactische kwaliteit van docenten bereikbaarheid van docenten buiten contacturen betrokkenheid van de docenten bij de studenten kwaliteit van de begeleiding door docenten kwaliteit van feedback van docenten mate waarin docenten inspirerend zijn kennis van de docenten over de beroepspraktijk

H Informatie vanuit de opleiding

V19. De volgende vragen gaan over de informatie vanuit je opleiding. Geef alsjeblieft aan hoe tevreden je bent over: <1 t/m 5; 1=zeer ontevreden; 5=zeer tevreden; 6=N.v.t.> a b c

I

De voorlichting over je opleiding De informatie over jouw studievoortgang De informatie over regels en procedures

Studiefaciliteiten

V20. De volgende vragen gaan over studiefaciliteiten. Geef alsjeblieft aan hoe tevreden je bent over: <1 t/m 5; 1=zeer ontevreden; 5=zeer tevreden; 6=N.v.t.> a b c d e f g h i

J

De geschiktheid van de onderwijsruimten De geschiktheid van werkplekken (bijv. computers, studieruimten) De beschikbaarheid van werkplekken Het opleidingsmateriaal De bibliotheek/mediatheek De ICT-faciliteiten De digitale leeromgeving De informatiebalie De studentenadministratie

Toetsing en beoordeling

V21. De volgende vragen gaan over toetsing en beoordeling. Geef alsjeblieft aan hoe tevreden je bent over: <1 t/m 5; 1=zeer ontevreden; 5=zeer tevreden; 6=N.v.t.> a b c

De duidelijkheid van criteria waarop beoordeeld wordt De aansluiting van toetsing en beoordeling bij de inhoud van de opleiding Het tijdig bekend maken van resultaten en beoordelingen

K Studieroosters

V22. De volgende vragen gaan over studieroosters. Geef alsjeblieft aan hoe tevreden je bent over: <1 t/m 5; 1=zeer ontevreden; 5=zeer tevreden; 6=N.v.t.> a b c

Het tijdig bekendmaken van de roosters Het tijdig bekendmaken van wijzingen in de roosters De geschiktheid van het studierooster


L Studielast

V23. De volgende vragen gaan over de studielast. Geef alsjeblieft aan hoe tevreden je bent over: <1 t/m 5; 1=zeer ontevreden; 5=zeer tevreden; 6=N.v.t.> a b c

De spreiding van de studielast over het studiejaar De haalbaarheid van deadlines De aansluiting tussen ECTS en de daadwerkelijke studielast

M Studiebegeleiding

V24. De volgende vragen gaan over studiebegeleiding. Geef alsjeblieft aan hoe tevreden je bent over: <1 t/m 5; 1=zeer ontevreden; 5=zeer tevreden; 6=N.v.t.> a b

De mogelijkheid tot begeleiding De kwaliteit van begeleiding

N Internationale studenten

V25. De volgende vragen zijn specifiek voor internationale studenten. Geef alsjeblieft aan hoe tevreden je bent over: <1 t/m 5; 1=zeer ontevreden; 5=zeer tevreden; 6=N.v.t.> a b

De geboden hulp door je opleiding (bijv. bij inschrijving, huisvesting, visa e.d.) Het aanbod aan Engelstalige vakken

O Overige faciliteiten en studieomgeving

V26. De volgende vragen gaan over de overige faciliteiten van je instelling en de omgeving van je studie. Geef alsjeblieft aan hoe tevreden je bent over: <1 t/m 5; 1=zeer ontevreden; 5=zeer tevreden; 6=N.v.t.> a b c d e f g h

De bereikbaarheid van je instelling (openbaar vervoer e.d.) De restauratieve voorzieningen op je instelling De sportvoorzieningen op je instelling De horecavoorzieningen in je studiestad (kroegen, eetcafés, restaurants e.d.) Het cultureel aanbod van je studiestad (bioscopen, theaters, evenementen e.d.) De hoeveelheid groen in je studiestad (bijv. parken, natuurgebieden) De beschikbaarheid van woonruimte in je studiestad De betaalbaarheid van woonruimte in je studiestad

P Betrokkenheid bij de instelling

V27. De volgende vragen gaan over de betrokkenheid van je instelling. Geef alsjeblieft aan hoe tevreden je bent over: <1 t/m 5; 1=zeer ontevreden; 5=zeer tevreden; 6=N.v.t.> a b c d

Onderwijsevaluaties die onder studenten plaatsvinden Informatie over de uitkomsten van onderwijsevaluaties De wijze waarop je opleiding gebruik maakt van de uitkomsten van onderwijsevaluaties De manier waarop je opleiding op klachten en problemen reageert


Q Handicap en studie

V28. De volgende vragen zijn specifiek voor studenten met een handicap. Heb je een handicap of functiebeperking die je belemmert bij het studeren, zoals een lichamelijke handicap, een chronische ziekte, dyslexie of een psychische klacht? 1 2 3

Ja Nee <Einde vragenlijst: Slotvragen> Deze vraag wil ik niet beantwoorden <Einde vragenlijst: Slotvragen>

V29. Wat voor type handicap of functiebeperking(en) heb je die je belemmeren bij het studeren? Meer antwoorden zijn mogelijk. <meerdere antwoorden mogelijk> 1 2 3 4 5 6 7 8 9 10 11 12 13

Bewegingsbeperking Gezichtsbeperking Dyslexie of Dyscalculie Gehoorstoornis Spraakproblemen Energietekort Pijnklachten Chronische ziekte ADHD Concentratieproblemen Autisme Psychische problematiek Overig, namelijk …

V30. Welke van deze handicaps is voor jou de belangrijkste? 1 2 3 4 5 6 7 8 9 10 11 12 13

Bewegingsbeperking (lopen, bukken, arm of handbewegingen) Gezichtsbeperking (ook normale bril of lenzen vallen hieronder) Dyslexie (moeite met lezen, spellen) of dyscalculie (moeite met rekenen) Gehoorstoornis (ook: moeite om een gesprek te volgen) Spraakproblemen (stotteren, moeilijk te verstaan) Energietekort (chronische vermoeidheid) Pijnklachten Chronische ziekte (zoals epilepsie, suikerziekte) ADHD Concentratieproblemen Autisme Psychische problematiek (zoals depressie en angsten) Overig, namelijk


V31. Geef alsjeblieft aan hoe tevreden je bent over de volgende aspecten ten aanzien van studeren met een handicap aan je opleiding. <1 t/m 5; 1=zeer ontevreden; 5=zeer tevreden; 6=N.v.t.> a b c d e f g h i

De voorlichting en informatievoorziening over studeren met een handicap of beperking bij je opleiding? (hierbij bedoelen we brochures, studiegids, studentenstatuut, examenreglement, website) De opvang die je opleiding aan studenten met jouw handicap bij de start van hun studie biedt? De beschikbare hulpmiddelen en faciliteiten, voor zover je die nodig hebt? (we bedoelen hierbij rust- of werkruimtes, werkplekaanpassingen, extra verlichting, scanner, computeraanpassingen zoals spraak of braille, ringleiding) De geschiktheid van de gebouwen van je opleiding of instelling voor mensen met jouw handicap? (we bedoelen hierbij de toegankelijkheid en begaanbaarheid, bijvoorbeeld door drempels, liften, breedte van de deuren, aangepaste toiletten, ringleidingen enzovoorts) De aanpassingen in het onderwijs die je opleiding biedt? (we bedoelen hierbij aanpassingen aan het rooster, inleverdata, andere les- en tentamenvormen, alternatieve opdrachten, andere stagemogelijkheden) De mate waarin de docenten en overige medewerkers begrip voor jou hebben De mate waarin de docenten en overige medewerkers voldoende kennis van zaken hebben, zodat zij op een geschikte wijze met jouw handicap omgaan De mate waarin medestudenten begrip voor jou hebben De speciale begeleiding die je tijdens je studie krijgt? (hierbij bedoelen we begeleiding in de studievoortgang, steun voor aanpassingen aan studie en voorzieningen, stagebemiddeling e.d.)

R Wensen/ideeën voor verbetering

V32. Heb je nog wensen of ideeën voor de verbetering van je opleiding of heb je verder nog opmerkingen? 1 2

Nee Ja, namelijk

Slottekst 1: Deze enquête is helaas niet op jouw situatie van toepassing. We danken je hartelijk voor je medewerking. Slottekst 2: Dit is het einde van deze vragenlijst. We danken je hartelijk voor het invullen van de Nationale Studentenenquête. Je kunt het scherm nu sluiten.


Bijlage B - Commentaar NSE begeleidingsgroep

Op verzoek van de opdrachtgever zijn op basis van reacties uit de begeleidingsgroep NSE de formuleringen van een aantal vragen aangepast. De opmerkingen zijn verwerkt in de vragenlijst. De verbetersuggesties zijn als volgt (bij niet verwerkte opmerkingen is deze beslissing kort toegelicht).

Recensent 1 

Bij het STO is per stelling afgewogen of een toevoeging ‘van de opleiding’ in de stelling gepast is, het lijkt verstandig de NSE 2010 vragen op dit punt nog eens tegen het licht te houden. Bijvoorbeeld A8/V2g ‘De studiefaciliteiten van je opleiding’, terwijl daarna de overige faciliteiten de toevoeging niet draagt. Dat kan ook suggereren dat studiefaciliteiten die niet per se bij de opleiding horen, maar bij de faculteit/school/instelling onder overige zouden vallen.

 In eerste instantie gaat deze vraag ook over de studiefaciliteiten die bij je opleiding horen en niet over de studiefaciliteiten die in een heel ander deel van de universiteit/faculteit/school/instelling aangeboden worden waar de student nooit komt. Dit kan nogal verschillen. Misschien zijn de faciliteiten bij sociale wetenschappen kwalitatief beter dan bij béta wetenschappen. Hoe moet de student dit dan beoordelen? Volgens mij toch wel voor de faciliteiten die hij ook daadwerkelijk gebruikt, en dat zijn vooral deze die horen bij zijn opleiding. 

Een soortgelijk punt geldt wat betreft de toevoeging ‘van je instelling’, bijvoorbeeld bij J3/V15b staat dit wel bij de restauratieve voorzieningen en niet bij de andere faciliteiten (dat laatste terecht), terwijl nota bene de restauratieve voorzieningen in veel gevallen door een extern bedrijf worden verzorgd.

 De keuze voor een extern bedrijf wordt in de meeste gevallen door de universiteiten gemaakt en zou bij ontevredenheid ook door hun aangepast kunnen worden. Om verwarringen te voorkomen heb ik “van je instelling” verandert in “op je instelling”. 







Door de geadviseerde antwoordschaal komt de constructie ‘de mate van …’ vaak voor. Deze constructie vergroot de leesbaarheid niet (integendeel) en daarom moet je kijken waar hij vermeden kan worden. Bijvoorbeeld B4/V3c zou kunnen zijn ‘De aansluiting van de opleiding bij je vooropleiding’ in plaats van ‘De mate waarin de opleiding aansluit bij je vooropleiding’. A10/V2j heeft het woord ‘ervaren’ toegevoegde waarde? Als studenten hun (on)tevredenheid over de studielast uitspreken gaat het sowieso over dat wat zij ervaren, dus die toevoeging kan wat mij betreft achterwege blijven. C2/V6c benoemd het contact met de arbeidsmarkt. Nu kan dit ook geïnterpreteerd worden als het semi-sollicitatieproces dat voorafgaat aan bijvoorbeeld stages. Bij de stage zelf en via gastsprekers is er daarentegen contact met de beroepspraktijk. D2/V7a gaat over de deskundigheid van docenten. Dat kan breed geïnterpreteerd worden als de complete deskundigheid, zowel op inhoudelijk als didactisch gebied. Aangezien er een aparte vraag is over de didactische kwaliteit, wordt hier natuurlijk alleen de inhoudelijke deskundigheid bedoeld. Benoem dit daarom expliciet.


Recensent 2 Kwalitatieve analyse  Arbeidsmarkt: met 'contact met praktijk en arbeidsmarkt' wordt bedoeld het contact met het professionele veld (en bij de medici hebben ze het dan bijvoorbeeld over de praktijk en niet de arbeidsmarkt denk ik). Het is dus gewoon één vraag. Onzinnig om dit te splitsen. Je zou het woord praktijk er eventueel uit kunnen laten.

 In het STO worden beide vragen opgenomen. Ik adviseer daarom deze ook voor de NSE te behouden. 

Betrokkenheid: dit aspect is zoals gezegd heel belangrijk, het gaat om de betrokkenheid van de docent bij de studenten en het onderwijs. Onder bereikbaarheid versta ik meer de bereikbaarheid van de docent buiten de colleges! Wellicht dat je die laatste zo moet formuleren en er dan ook geen overlap meer is?

 De formulering: “De betrokkenheid van de docent bij de studenten en het onderwijs” omvat twee aspecten en is daardoor in de voorgestelde formulering niet geschikt. Ik stel daarom voor de toevoeging: “…en het onderwijs” achterwege te laten en in de pilot te kijken hoe consistent dit item binnen een opleiding beantwoord wordt. Op basis van de resultaten zal dan besloten worden of dit item opgenomen wordt in de uiteindelijke vragenlijst. 

Inzet: De vraag over het aantal uur dat er per week besteed wordt aan de studie is een politiek/bestuurlijk belangrijke vraag en zou er dus in moeten blijven staan.

 Dit item gaat voorbij aan het doel van de NSE, namelijk de oordelen van studenten over hun opleiding te verzamelen. Ook uit het delphi-onderzoek blijkt dat de meerderheid van de deskundigen de items m.b.t. de tijdsbesteding van de student (waaronder de tijd die aan de studie wordt besteed) niet als belangrijk hebben bevonden (deze informatie kunnen instellingen wel verkrijgen uit ander onderzoek zoals de Studentenmonitor Hoger Onderwijs). Studentenpanel  Onderwijsvoorzieningen: de studenten stellen terecht voor dat ook naar de geschiktheid van de werkplekken gekeken moet worden. Het is echter niet goed om dit in één vraag te verwoorden lijkt me. Nu weet je bij een matige beoordeling niet of dat er onvoldoende werkplekken zijn of dat ze niet geschikt zijn (of allebei)! Dan moet je er dus een aparte vraag aan toevoegen over de geschiktheid.  Studieroosters: "Spreiding van contacturen over de studieweek" lijkt me geen goede vraag want kan nooit een doel zijn van je onderwijsorganisatie. Wellicht wil je juist contacturen aan het begin van de week in een bepaalde cursus omdat men daarna zelfstandig de tijd moet hebben om aan een opdracht te werken. Slechte suggestie dus.

 Mee eens, maar omdat de studenten vonden dat dit aspect wel belangrijk voor hen is, stel ik een alternatieve verwoording voor: “De efficiëntie van het studierooster” (Dit komt ook dichter bij de verwoording die in het STO hiervoor gehanteerd wordt). 

Studieomgeving: De hoeveelheid groen????? En de straatverlichting dan? Of de bewegwijzering?? Eveneens onzinnig!

 Volgens de studenten WEL belangrijk! Niet iedere student vindt alleen de musea en kroegen in de studiestad belangrijk voor een goede studieomgeving. Universiteiten die wereldwijd het hoogst scoren kennen veel groen in de omgeving (ook op de campus zelf). Bijvoorbeeld: Berkeley, Cambridge, Stanford, Yale.


Voor de rest deel ik je opmerking dat de suggesties van de studenten, ondanks de beperkte omvang van de groep, erg zinvol en terecht zijn. Academische vaardigheden (afkomstig uit Wikipedia): De zeven opgenomen academische competenties zijn veelal algemenere vaardigheden. Wat maakt dat iemand academisch opgeleid is? Dan zijn deze drie vaardigheden de kern:  Analytisch denken: een systematische manier van denken, waarbij je vanuit specifieke gevallen naar meer algemene regels of een bepaald model toewerkt  Argumenteren/redeneren: een bepaalde stelling ondersteunen of een vraag beantwoorden door middel van argumenten of een redenatie  Interpreteren: onderzoeksmateriaal of de resultaten van een experiment op een systematische manier nader duiden en daar conclusies aan verbinden Of je het dan in een artikel kunt gieten en kunt presenteren ed. zijn dan meer algemenere vaardigheden die hier niet in thuis horen. En subvragen f en g uit jullie lijst zijn al helemaal geen academische vaardigheden! Wellicht wel relevant, maar hier horen ze absoluut niet thuis.

 Mee eens: Subvragen f en g zijn verwijdert en de drie voorgestelde vaardigheden extra opgenomen (waarbij het item ‘interpreteren’ sterk overeenkomt met ‘kritisch beoordelen’ en in deze vraag al opgenomen is). Niet mee eens: De vier resterende vragen zijn concretere invullingen van de wat algemenere academische vaardigheden die hier worden toegevoegd, maar toch zijn dit belangrijke wetenschappelijke vaardigheden die hier wel thuis horen. Recensent 3 



Ik stel voor de sfeer vraag als het een hoofdonderwerp ook meteen te vragen bij de overkoepelende vragen IN HET BEGIN. Dat geeft de mogelijkheid later wel sub items toe te voegen. In HBO land werd uiteindelijk besloten namelijk alleen te benchmarken op de hoofdonderwerpen (alhoewel uiteindelijk iedereen nagenoeg de volledige vragenlijst afnam) en dan vult iedereen de hoofdvragen meteen ook in aan het begin van de vragenlijst zodat er als het ware geen reliëf kan ontstaan door de verzameling subvragen daarna. Steeds weer zijn de hoofdonderwerpen door de jaren heen dan hetzelfde, terwijl de subvragen wat kunnen varieren. Je vertelde deze week dat van de beslissingsregel word afgeweken door onderzoek of inhoudelijk redenen. Op grond van empirisch onderzoek kan besloten worden de vraag naar ""medestudenten"" op te nemen (onderzoek Avans, Breda). Dat kan ook op grond van inhoudelijke onderwijskundige redenen (zie ook ''modernisering vragenlijst): deze vraag past namelijk uitstekend bij zeer in zwang zijnde sociaal constructivistische onderwijsopvattingen! Of het (medestudenten) een hoofdcategorie is/zou moeten zijn cq onder sfeer moet vallen is de onderzoeksvraag. Dat pleit er juist op de vraag op te nemen in de grote studenten try-out omdat er dan tenminste ook onderzoek gedaan kan worden.

 Het delphi-onderzoek en de daarbij gehanteerde beslissingsregel representeren de wensen en meningen van de ene helft van de belangstellenden bij de NSE: de instellingen. De studenten zijn hierbij niet betrokken en gezien veel onderwerpen wegvallen die door de studenten wel belangrijk worden gevonden is besloten deze niet te laten vervallen. Het voorgestelde onderzoek is mij niet bekend, maar als hieruit blijkt dat deze subvraag voor studenten als zeer belangrijk wordt gevonden voor hun studiekeuze zou overwogen moeten worden dit aspect op te nemen. Ik stel voor dit item in de pilot op te nemen en na te gaan in hoeverre de sfeer op de opleiding bepaald wordt door het contact met medestudenten.


Recensent 4 Wat ik belangrijke punten vind in de vragenlijst zijn:  vraag over feedback docenten aan studenten

 Deze vraag is al opgenomen in de vragenlijst bij het thema ‘docenten aan de opleiding’, deelvraag f. 

effecten van studieloopbaanbegeleiding: hebben studenten er wat aan, krijgen ze bruikbare adviezen

 Bij het thema ‘Studiebegeleiding’ wordt naar de tevredenheid over de kwaliteit van de begeleiding gevraagd. Hierbij hoort ook de bruikbaarheid van de begeleiding. 

hoe is het gesteld met hun keuzeruimte

 Bij het thema ‘inhoud van de opleiding’ gaat deelvraag h in op de keuzeruimte binnen de opleiding. 

wat is hun studievoortgang (als een te gebruiken achtergrondvariabele voor aanvullende analyses)

 De studievoortgang gaat voorbij aan het doel van de NSE, namelijk de oordelen van studenten over hun opleiding te verzamelen. Bij belangstelling door de instellingen zou wel besloten kunnen worden dit item als achtergrondvariabele alsnog op te nemen. In het delphi-onderzoek is deze belangstelling echter niet naar voren gekomen. 

docent en didactische vaardigheden, wat specifieker: wat is de rol van de docent in het leerproces van de student

 De rol van de docent in het leerproces wordt in het thema ‘de docenten aan de opleiding’ gedetailleerd belicht. Hierbij wordt ingegaan op de inhoudelijke deskundigheid, de betrokkenheid, de didactische kwaliteit, de kwaliteit van de begeleiding, de feedback, en de mate waarin de docenten inspirerend zijn.


Bijlage C - Vergelijking STO2009-NSE2010

Nr. A0 A1 A2 A3 A4 A5 A6 A7 A8 A9 A10 B1 B2 B3 B4 B5 B6 B7 B8 C1 C2 C3 C4 D1 D2 D3 D4 E1 E2 E3 F1

Stelling STO 2009 In hoeverre ben je het eens met de stelling: Over het geheel genomen ben ik tevreden over de opleiding Ik ben tevreden over de inhoud van de opleiding De opleiding is voldoende gericht op de beroepspraktijk Ik ben tevreden over mijn docenten Ik ben tevreden over de wijze van toetsing en beoordeling Ik word voldoende geïnformeerd door de opleiding Ik ben tevreden over de roosters Ik word voldoende betrokken bij de verbetering van de opleiding Ik ben tevreden over de studiefaciliteiten Ik ben tevreden over de overige faciliteiten Ik ben tevreden over de studielast

Nr.

Vraag NSE 2010

V1a

Hoe tevreden ben je over: Je studie in het algemeen

V2a V2d

De inhoud van je opleiding De voorbereiding op de beroepsloopbaan

V2e V2h

De docenten aan je opleiding Toetsing en beoordeling (bijv. criteria van beoordeling en vorm van toetsing) De informatie vanuit je opleiding De studieroosters De mate waarin je betrokken wordt bij de verbetering van je opleiding De studiefaciliteiten van je opleiding De overige faciliteiten en de studieomgeving De studielast

V2f V2i V2n V2g V2l V2j

De opleiding is van voldoende niveau De opleiding sluit voldoende aan bij actuele ontwikkelingen Er is voldoende samenhang in het onderwijsprogramma De opleiding sluit voldoende aan bij mijn vooropleiding De opleiding biedt voldoende afwisseling in werkvormen Het studiemateriaal is van voldoende inhoudelijke kwaliteit De studieloopbaanbegeleiding ondersteunt mij voldoende in mijn studie Het programma biedt mij voldoende keuzemogelijkheden De opleiding bereidt mij voldoende voor op de beroepspraktijk Ik heb tijdens de opleiding voldoende contact met de beroepspraktijk De opleiding is voldoende praktijkgericht Stages sluiten voldoende aan bij het overige onderwijs Mijn docenten zijn voldoende op de hoogte van de beroepspraktijk Mijn docenten zijn inhoudelijk voldoende deskundig Mijn docenten hebben voldoende didactische kwaliteiten Mijn docenten zijn in het algemeen voldoende bereikbaar Vooraf wordt duidelijk aangegeven waarop ik beoordeeld word De toetsing sluit voldoende aan op de doelstellingen van het onderwijs Mijn resultaten worden tijdig bekend gemaakt

V3a V3e

Ik word voldoende geïnformeerd over de inhoud van de opleiding

V8a


V3f V3c V3g

Het niveau van je opleiding De aansluiting van de inhoud van je opleiding bij actuele ontwikkelingen De samenhang tussen de verschillende onderdelen van je opleiding De aansluiting van je opleiding bij je vooropleiding De in jouw opleiding gehanteerde werkvormen

Optioneel De inhoudelijke kwaliteit van het studiemateriaal V13

De mogelijkheid tot begeleiding/ De kwaliteit van begeleiding V3h De mogelijkheid die je opleiding je biedt om zelf de inhoud te bepalen V6a Het opdoen van vaardigheden voor de beroepspraktijk V6c Het contact met de beroepspraktijk (bijv. stages, gastsprekers) V6b De praktijkgerichtheid van je opleiding Optioneel De aansluiting van de stages bij het overige onderwijs Optioneel De kennis van de docenten over de beroepspraktijk V7a De inhoudelijke deskundigheid van docenten V7b

De didactische kwaliteit van docenten

V7c

De bereikbaarheid van docenten

V10a

De duidelijkheid van de criteria waarop beoordeeld wordt De aansluiting van de toetsing en beoordeling bij de inhoud van de opleiding Het tijdig bekend maken van resultaten en beoordelingen De voorlichting over je opleiding

V10b V10c

Nr.

Stelling STO 2009

Nr.

In hoeverre ben je het eens met de stelling: Ik word voldoende geïnformeerd over regels en procedures Ik word voldoende geïnformeerd over mijn studievoortgang Het lesrooster wordt tijdig bekend gemaakt Het rooster voor de toetsing wordt tijdig bekend gemaakt Roosterwijzigingen worden tijdig bekend gemaakt

Hoe tevreden ben je over: Optioneel De beschikbaarheid van informatie over regels en procedures V8b De beschikbaarheid van informatie over jouw studievoortgang V11a Het tijdig bekendmaken van de roosters V11a Het tijdig bekendmaken van de roosters

Het lesrooster maakt het mij mogelijk mijn tijd efficiënt te besteden Er vinden voldoende onderwijsevaluaties onder studenten plaats Ik word voldoende geïnformeerd over de uitkomsten van onderwijsevaluaties

V11c

H3

De opleiding maakt voldoende gebruik van de uitkomsten van onderwijsevaluaties

V18c

De wijze waarop je opleiding gebruik maakt van de uitkomsten van onderwijsevaluaties

H4

De opleiding reageert adequaat op klachten en problemen Ik ben tevreden over de bibliotheek/mediatheek Ik ben tevreden over de onderwijsruimten Ik ben tevreden over de ICT-voorzieningen

V18d

De manier waarop je opleiding op klachten en problemen reageert De bibliotheek/mediatheek De geschiktheid van de onderwijsruimten De ICT-faciliteiten

Ik ben tevreden over de informatiebalie Ik ben tevreden over de studentenadministratie Ik ben tevreden over de restauratieve voorzieningen De studielast is voldoende gespreid over het jaar De opleiding is te doen in de tijd die ervoor staat

Optioneel De informatiebalie Optioneel De studentenadministratie V15b De restauratieve voorzieningen op je instelling

F2 F3 G1 G2 G3 G4 H1 H2

I1 I2 I3 J1 J2 J3 K1 K2


V11b

V18a V18b

V9d V9a V9e

V12a V12b

Vraag NSE 2010

Het tijdig bekendmaken van wijzingen in de roosters De spreiding van contacturen over de studieweek Onderwijsevaluaties die onder studenten plaatsvinden Informatie over de uitkomsten van onderwijsevaluaties

De spreiding van de studielast over het studiejaar De haalbaarheid van deadlines

Nationale Studentenenquête. Validatie NSE 2010

Recommend Documents