CCC ONDERZOEKS- VERANTWOORDING NATIONALE STUDENTEN ENQUÊTE 2015

CCC

ONDERZOEKSVERANTWOORDING NATIONALE STUDENTEN ENQUÊTE 2015

Colofon Dit is een uitgave van Stichting Studiekeuze123 met bijdrages van GfK en ResearchNed, oktober 2015. Onderdelen uit deze Onderzoeksverantwoording Nationale Studenten Enquête 2015 mogen worden overgenomen met bronvermelding (bron: Stichting Studiekeuze123 (2015a)). Hoewel de grootst mogelijke zorg is besteed aan de inhoud van deze Onderzoeksverantwoording Nationale Studenten Enquête 2015, kunnen er geen rechten aan worden ontleend. Voor meer informatie: www.studiekeuzeinformatie.nl/nse

___________________________________________________ Onderzoeksverantwoording Nationale Studenten Enquête 2015

2

INHOUDSOPGAVE Inhoudsopgave ..................................................................................................................... 3 Inleiding ................................................................................................................................ 6 1.

De opzet en methode van onderzoek .......................................................................... 7

1.1 2.

Opzet van het onderzoek ..............................................................................................7 Technische infrastructuur ........................................................................................... 9

2.1

GfK Atlas .....................................................................................................................9

2.1.1

Functionality ....................................................................................................... 10

2.1.2

Deliverability ....................................................................................................... 10

2.2

GfK Drive .................................................................................................................. 10

2.3

Testen van de vragenlijst ............................................................................................ 12

2.4

Beveiliging ................................................................................................................ 13

2.4.1 2.5 3.

Privacy ............................................................................................................... 13 Incidenten ................................................................................................................. 14

Voorbereiding veldwerk ............................................................................................ 15

3.1

Overzicht en analyse van deelnemende instellingen NSE 2015 ......................................... 15

3.2

Combinatie-opleidingen............................................................................................... 16

3.3

Overeenkomst(en) tot deelname .................................................................................. 17

3.4

Startbijeenkomst en Routeboek ................................................................................... 18

3.5

Aanlevering van studentgegevens ................................................................................ 18

3.6

Verwerking van studentgegevens ................................................................................. 20

3.7

De NSE-vragenlijst ..................................................................................................... 21

4.

Communicatie ........................................................................................................... 25

4.1

[email protected] ......................................................................................................... 25

4.2

Promotiemateriaal ...................................................................................................... 25

4.3

Uitnodigingstekst en reminders .................................................................................... 26

4.4

incentives.................................................................................................................. 27

4.5

www.nse.nl ............................................................................................................... 28

4.6

Social media .............................................................................................................. 28

4.6.1

Communicatie via social media .............................................................................. 28

4.6.1

Campagnes via social media ................................................................................. 29

4.7 4.7.1

Communicatie met de instellingen ................................................................................ 29 www.studiekeuzeinformatie.nl ............................................................................... 29


3

4.7.2

NSE Bijblijvers en RSS-feed .................................................................................. 29

4.7.3

[email protected] ......................................................................................................... 29

4.8

Werkgroep Kennisdeling .............................................................................................. 30

4.9

Persbericht ................................................................................................................ 31

5.

Populatie en respons ................................................................................................. 32

5.1

Mailing ...................................................................................................................... 32

5.2

Respons .................................................................................................................... 32

5.3

Responsgedrag .......................................................................................................... 34

5.4

Hoe is de NSE ingevuld?.............................................................................................. 35

5.5

Analyse nieuwe vraag 33a (vanaf 2014)........................................................................ 36

5.6

Non-responsanalyse ................................................................................................... 37

5.7

Responsoverzichten .................................................................................................... 40

6.

Datacleaning, bestandsbewerking en Kwaliteitschecks ............................................. 41

6.1

Verrijking en andere bewerkingen ................................................................................ 41

6.1.1

Hercoderen open vragen Handicap & Studie ............................................................ 41

6.1.2

Huurwaarden ...................................................................................................... 42

6.1.3

Invultijd ............................................................................................................. 42

6.1.4

Studiejaar student ............................................................................................... 43

6.2

Themascores en instellingsvragen ................................................................................ 43

6.3

Weging ..................................................................................................................... 49

6.4

Synchronisatie met voorgaande metingen ..................................................................... 50

6.5

Aanmaak resultaatbestanden ....................................................................................... 50

6.6

Analyse respons- en invulgedrag op tablets en smartphones ........................................... 51

6.6.1

Mobiel invullen van de NSE ................................................................................... 51

6.6.2

Kwaliteit van de gegevens .................................................................................... 52

6.6.3

Switchgedrag ...................................................................................................... 53

6.6.4

Conclusie ............................................................................................................ 53

6.7

Analyse e-mailadressen ............................................................................................. 53

6.8

Analyse extra week veldwerk ...................................................................................... 54

7.

Opgeleverde producten ............................................................................................. 56

7.1

Bestanden ................................................................................................................. 56

7.1.1

Bestanden voor deelnemende instellingen............................................................... 56

7.1.2

Overige verwerking .............................................................................................. 58

7.2

Factsheets ................................................................................................................. 58


4

7.3

Verwerking studentenoordelen in Studiekeuzedatabase (DB15.4.1) .................................. 61

7.3.1

Cleaning ten behoeve van koppeling met de Studiekeuzedatabase ............................. 61

7.3.2

Beslisregels en controle van respons per opleiding ................................................... 62

7.3.4

Controleren van respons en marge per vraag .......................................................... 62

7.3.5

Samenvoegen van opleidingen bij onvoldoende respons ........................................... 62

7.3.6

Aggregeren: het berekenen van de scores per opleiding ........................................... 63

7.4

Verwerking studentenoordelen in Studie in cijfers 2015-2016 .......................................... 64

7.4.2

Studenttevredenheid in Studie in Cijfers ................................................................. 64

7.4.3

Contacttijd eerstejaars ......................................................................................... 65

8.

Valorisatie ................................................................................................................. 67

8.1.

Monitoring van het onderwijs ....................................................................................... 67

8.2

Studiekeuze-informatie ............................................................................................... 68

8.3

Overige inzet van NSE-resultaten ................................................................................. 68

Nawoord .............................................................................................................................. 69 Bronvermelding ................................................................................................................... 72 Tabellen- en Figurenoverzicht ............................................................................................. 73 Bijlagen ............................................................................................................................... 74


5

INLEIDING De Nationale Studenten Enquête (NSE) is een landelijke enquête waarin studenten in het hoger onderwijs hun oordeel geven over hun opleiding aan een Nederlandse hogeschool of universiteit. De NSE wordt jaarlijks afgenomen met het doel om actuele en betrouwbare studentenoordelen te kunnen publiceren per individuele opleiding. De informatie dient ten eerste als hulpmiddel bij de studiekeuze van aankomende studenten. Daarnaast gebruiken instellingen de studentenoordelen om hun eigen onderwijsbeleid te monitoren. De oordelen van de student geven een indicatie over de mogelijkheden tot verbetering van een opleiding. Op deze manier helpen studenten hun instelling om de kwaliteit van het onderwijs nog verder te kunnen verbeteren. Ook partijen als de Inspectie van het Onderwijs en het ministerie van OCW maken gebruik van de mogelijkheden van de NSE-resultatenbestanden. Studiekeuze123 is sinds 2009 verantwoordelijk voor de jaarlijkse uitvoering van de NSE. GfK is de partij die met Studiekeuze123 voor de uitvoering van de NSE 2015 heeft zorg gedragen. De NSE 2015 is de zevende editie die is uitgevoerd onder verantwoordelijkheid van Studiekeuze123. Studiekeuze123 heeft dit jaar twee extra analyses uitgevoerd naar aanleiding van wijzigingen ten opzichte van vorig jaar. Dat is een analyse naar het respons- en invulgedrag van de studenten op tablets en smartphones (paragraaf 6.6). Invullen op tablets en smartphone is nieuw dit jaar en daar doen we extra monitoring op. Daarnaast is een extra analyse de analyse die is gedaan is paragraaf 6.7 naar emailadressen In deze Onderzoeksverantwoording van de NSE 2015 wordt in het eerste hoofdstuk de opzet van het onderzoek toegelicht. Vervolgens gaan we in hoofdstuk 2 in op de technische infrastructuur die wordt gebruikt om het onderzoek mogelijk te maken. In hoofdstuk 3 komt de voorbereiding van het veldwerk aan bod en de vragenlijst. Hoofdstuk 4 beschrijft de communicatie gedurende de hele uitvoering van het onderzoek. De populatie en de respons komen aan bod in hoofdstuk 5. Hoofdstuk 6 beschrijft de datacleaning en verwerking, en analyses van de betrouwbaarheid en validiteit van de resultaten. De opgeleverde producten die voortkomen uit de NSE-resultaten worden beschreven in hoofdstuk 7. Hoofdstuk 8 gaat tenslotte in op de toepassingen van de NSE-resultaten door derden voor zover deze bij ons bekend zijn. Wij wensen u veel leesplezier.


6

1.

DE OPZET EN METHODE VAN ONDERZOEK

De NSE is een jaarlijks terugkerend, kwantitatief onderzoek. Studiekeuze123 is sinds 2009 verantwoordelijk voor de jaarlijkse uitvoering van de NSE. In 2009 vond het onderzoek nog gedeeltelijk via mail en gedeeltelijk via een steekproef uit het adressenbestand van de IB-groep (inmiddels DUO) plaats. Sinds 2010 wordt het onderzoek geheel digitaal uitgevoerd. In de onderstaande tabel zijn de populatie- en responsgegevens weergegeven van de NSE 2010 tot en met de NSE 2015. In deze jaren is het onderzoek op dezelfde wijze uitgevoerd. De uitvoering van de NSE is uiteen te zetten in drie fasen: voorbereiding van het onderzoek, het veldwerk en tot slot de verwerking van gegevens. In paragraaf 1 worden deze fases kort beschreven. Tabel 1.1: Populatie- en responsgegevens (netto) van de NSE 2010 tot en met de NSE 2015 Jaar

Netto respons

Netto populatie

Netto respons percentage

2010

225.991

643.615

35,1

2011

207.457

588.571

35,2

2012

202.781

650.458

31,2

2013

264.710

670.669

39,5

2014

232.667

690.649

33,7

2015

275.857

709.205

38,9

1.1 OPZET VAN HET ONDERZOEK Fase 1. Voorbereidingsfase Jaarlijks schrijft Studiekeuze123 alle hoger onderwijsinstellingen met NVAO-geaccrediteerd onderwijsaanbod aan om deel te nemen aan de NSE. De brief bevatte overeenkomsten met voorwaarden voor deelname aan de NSE. Een voorwaarde was dat de gehele studentenpopulatie van de instelling werd uitgenodigd voor deelname aan de NSE. De omvang van de populatie van de NSE hing hiermee af van de participatie van de universiteiten en hogescholen. Bijlage 1 bevat een overzicht van welke instellingen aan de NSE 2015 hebben deelgenomen. Om alle studenten uit te kunnen nodigen voor de NSE werden de e-mailadressen van de studenten bij de onderwijsinstelling opgevraagd. Daarnaast werden instellingen gevraagd bij het e-mailadres een (willekeurig) student-ID aan te leveren, de code van de opleiding waarvoor de student staat ingeschreven, de locatie waar de opleiding wordt gegeven (gemeentenaam); opleidingsvorm (voltijd, deeltijd, afstandsonderwijs), het studiejaar waarin de student zich bevindt; geslacht; en of het hbo- of wo-onderwijs betreft. Instellingen leverden deze gegevens via een beveiligde uploadtool aan.


7

Fase 2. Veldwerk Het veldwerk van de NSE 2015 verliep van 12 januari 2015 tot en met 15 maart 2015. Studenten ontvingen gedurende deze periode een e-mail met het verzoek een elektronische vragenlijst in te vullen. Daarna zijn er drie reminders en een last shot e-mail verstuurd. De student kon zich voor deze reminders afmelden. De enquête kon worden ingevuld op verschillende apparaten (desktop, tablet). Studenten konden het onderzoek tijd- en plaatsonafhankelijk invullen. Het was mogelijk de vragenlijst in te vullen, te onderbreken en later te continueren. Een nieuwe mogelijkheid ten opzichte van andere jaren was dat studenten de NSE 2015 gemakkelijk in konden vullen op een smartphone. Voor de NSE 2015 is hiervoor een speciaal ontwerp gemaakt. De netto respons van de NSE 2015 is geëindigd op 38,9% t.o.v. 33,7% van de NSE 2014. Hoofdstuk vijf geeft een verdere beschrijving van de populatie en de respons. De gehanteerde vragenlijst van de NSE bevatte circa 126 items, afhankelijk van welke onderdelen uit de vragenlijst van toepassing waren op de student. Het belangrijkste deel ging over het hoofddoel van de NSE: de oordelen van de studenten over hun opleidingen. Studenten werd gevraagd scores te geven op een schaal van 1 tot 5, waarvan 1 = zeer ontevreden; 5 = zeer tevreden. Met 126 items werden er 22 onderwerpen onderzocht. De thema’s staan beschreven in paragraaf 3.7. Fase 3. Verwerken van gegevens Per thema uit de NSE werd een gemiddelde score berekend en gepubliceerd. Hiervoor werd na afronding van het veldwerk eerst de respons opgeschoond. Hoofdstuk zes beschrijft welke stappen werden doorlopen in de totstandkoming van de definitieve resultaten-bestanden. Alle definitieve resultatenbestanden zijn op 15 mei 2015 onder embargo naar alle deelnemende hoger onderwijsinstellingen verzonden. Alle resultaten zijn sinds 21 mei 2015 openbaar. Vanaf die datum waren ook de meest recente studentenoordelen op www.studiekeuze123.nl te vinden. Op www.studiekeuzeinformatie.nl konden geïnteresseerden vanaf dat moment de NSE-resultaten opvragen.


8

2.

TECHNISCHE INFRASTRUCTUUR

Voor de uitvoering van de NSE 2015 werd – net als bij de NSE 2014 – gebruik gemaakt van de bestaande technische infrastructuur van GfK, die ook voor andere grootschalige onderzoeken wordt gebruikt. Deze infrastructuur bevat voorzieningen gericht op het in stand houden van de dienstverlening (continuïteit) en het waarborgen van informatiebeveiliging (beschikbaarheid, vertrouwelijkheid en data-integriteit). De infrastructuur bestaat in essentie uit twee componenten: GfK Atlas voor het versturen van grote hoeveelheden mail en GfK Drive voor het veldwerk. Beide systemen draaiden in het centrale GfK datacenter en werden volledig redundant 1 uitgevoerd met een 24/7 monitoring door een team van ITspecialisten. Dit team was 24 uur per dag stand-by om in het geval van calamiteiten snel een oplossing te kunnen bieden. In dit hoofdstuk wordt uitgelegd wat beide componenten doen, daarna wordt uitgelegd hoe de vragenlijst is getest en hoe de informatiebeveiliging van de NSE is geregeld. Tot slot volgt een overzicht van technische incidenten die zich tijdens het veldwerk hebben voorgedaan. 2.1

GFK ATLAS

Voor het verzenden van bulk mail werd gebruik gemaakt van de GfK Atlas software. GfK Atlas bestaat uit twee hoofdcomponenten: de functionaliteit voor het versturen van de e-mails (Functionality) en de component die ervoor zorgt dat de e-mails bezorgd worden (Deliverability). Deze laatste component zorgde er onder andere voor dat ontvangende servers geen belemmeringen (o.a. spamfilters) opwierpen voor de bezorging van de e-mails. Schematisch zag dit er als volgt uit: Figuur 2.1: GfK Atlas

Atlas Mailer

1

Functionality

Deliverability

Mail Merge

Return Path Support

ISP / IP Throttling

Campaign Scheduling

Feedback Processing

DNS

Redundant: er functioneren twee systemen onafhankelijk van elkaar, waarbij het tweede (redundante) systeem het werk kan overnemen wanneer het eerste (het primaire) systeem uitvalt. ___________________________________________________ Onderzoeksverantwoording Nationale Studenten Enquête 2015 9

2.1.1 Functionality Binnen de component Functionality vond het volgende plaats: 1. Mailmerge Het samenvoegen van de gegevens van het steekproefbestand met de mailtemplates voor de verzending van de uitnodigingen; 2. Internet Service Provider (ISP) / Internet Protocol (IP) Throttling Inregelen (doseren) van het aanbieden van e-mails aan providers, zodat meer dan 1 miljoen emails per dag gegarandeerd verzonden konden worden zonder dat GfK op een black list terecht kwam; 3. Campaign scheduling Planning van de hoeveelheden en de tijdintervallen binnen de verzending, wat ervoor zorgde dat de bulk mail in golven (gecontroleerd) kon worden uitgestuurd. 2.1.2 Deliverability Binnen de component Deliverability vond het volgende plaats: 1. Return Path Support Hiermee werd aan de hand van terugontvangen data actief gemonitord hoe “goed” de aflevering was bij de diverse providers, waarbij GfK dus op de white list bleef; 2. Feedback processing Mogelijkheden om geautomatiseerd bounce-informatie te vertalen in opvolgacties (deze waren in te stellen). Oftewel: wat te doen als de mail niet bezorgd kon worden; 3. Domain Name Server (DNS) Support op reverse DNS/PTR record (bezorgen mail), Sender Policy Framework protocol (SPF) (verminderen spam) en DomainKeys Identified Mail protocol (DKIM) (verminderen SPAM). Verder zijn de volgende technische details van belang geweest voor de uitvoering:  GfK Atlas draaide in een centraal GfK data-center; de servers draaiden daar in een geclusterde omgeving.  Servers zaten achter een loadbalancer met failover voor het verdelen van de databelasting waardoor, bij uitval, automatisch werd overgeschakeld op een secundaire server.  De internetconnectie vanuit het data-center was 1,5 Gigabyte, waarbij er een redundante omgeving was opgesteld, zodat bij uitval direct kon worden overgegaan op de tweede node (server).  De database omgeving was een SQL server 2008 omgeving met een actieve database en een passieve database, die direct gesynchroniseerd was met de actieve database. Bij uitval kon dus naadloos worden omgeschakeld en ging geen data verloren. Er is tijdens de uitvoering van de NSE 2015 geen failover-procedure noodzakelijk gebleken. 2.2

GFK DRIVE

Voor het veldwerk is gebruik gemaakt van de GfK Drive applicatie. Een belangrijk voordeel hiervan was de end-to-end oplossing die dit pakket bood voor het doen van enquêteonderzoek:  

steekproef management (o.a. de basis voor responsmonitoring & vragenlijstselecties); vragenlijstprogrammering;


10

 

online realtime responsmonitoring en -analyses; oplevering van onderzoekdata in elk gewenst format (doorgaans in Microsoft Office Excel of SPSS (Statistical Package for the Social Sciences) van IBM).

De technische omgeving van GfK Drive zag er als volgt uit: Figuur 2.2: Technische omgeving GfK Drive

Naast het diagram waarin schematisch te zien is hoe de technische infrastructuur voor de NSE was ingericht, is in dit kader nog een aantal zaken van belang om te benoemen: 

 



GfK Drive bestond uit een cluster van interviewservers (servers waar de interviewprogrammatuur op draaide), zonder single point of failure. Dat wil zeggen dat de rol van machine-1 automatisch door machine-2 wordt overgenomen, indien machine-1 onverhoopt uitvalt. De kans op down time werd door dit alles geminimaliseerd; De omgeving werd niet gedeeld met andere applicaties; Naast de interviewmachines gold de redundante omgeving ook voor de webservers, firewalls en SQL-dataservers. De firewall-omgeving was een Checkpoint firewall in een geclusterde omgeving achter een loadbalancer met automatische failover-regeling; ook hier dus ingericht om bij het falen van het ene systeem de werking door het volgende systeem over te laten nemen; GfK Drive is gebouwd met als doel maximale compatibiliteit met diverse soorten en versies van browsers en operating systems. Er werd continu gewerkt om deze compatibiliteit te optimaliseren. Vooral in een setting waarin de variatie van gebruikersomgevingen groot is, zoals


11







bij de NSE, was het van groot belang dat de vragenlijstsoftware goed was gesynchroniseerd met diverse omgevingen; Het was voor respondenten mogelijk om de vragenlijst tussentijds af te breken en later in te vullen, doordat GfK Drive alle verzamelde data realtime bewaarde op een Enterprise class filer storage unit met continue synchronisatie. Van de filer storage unit werd dagelijks een back-up gemaakt; Het team bestond uit IT-specialisten, die de systemen monitorden en beschikten over een zogenaamde ‘administrative account’, waarbij zowel de rechten werden geregeld als via track en trace de uitgevoerde handelingen konden worden nageslagen; GfK Drive leverde de data direct uit in Excel (.xls) of SPSS (.sav). Hier zat geen (extra) conversieslag tussen; er was dus geen risico op fouten.

Voor de responsmonitoring is er dit jaar – net als voor de NSE 2014 - gekozen om gebruik te maken van het GfK Connect platform, dat de mogelijkheid biedt om online via een op maat ontwikkeld dashboard real-time de respons te volgen van onderzoeken, die binnen de GfK Drive-omgeving worden uitgevoerd. Binnen GfK Drive werd iedere deelnemer aan het onderzoek real-time in een parallelle database geregistreerd als respons, waarop GfK Connect de meest actuele stand van respons versus non-respons onttrok uit die parallelle database. Gebruikers (contactpersonen van instellingen) kregen elk een uniek wachtwoord, waarmee ze de respons binnen hun instelling tot op gedetailleerd niveau konden volgen, op elk gewenst moment van de dag. Zie voor een nadere inhoudelijke toelichting ook paragraaf 5.7. 2.3

TESTEN VAN DE VRAGENLIJST

Zoals hierboven vermeld, heeft GfK gekozen om voor de uitvoering van de NSE 2015 gebruik te maken van de combinatie van GfK Atlas (voor verzending van de e-mails en het samplebeheer) en GfK Drive (voor het hosten van de vragenlijst en de uiteindelijke data storage). Deze combinatie wordt door GfK vaker voor kwantitatieve, grootschalige projecten gebruikt. Een technische capaciteitstest vooraf is niet uitgevoerd, maar continue monitoring van eventuele ‘hickups’ tijdens de uitvoering wel. Tijdens het veldwerk van de NSE 2015 is er in de laatste week van het veldwerk een probleem geconstateerd met de capaciteit van de GfK Drive server, waardoor studenten de vragenlijst moeilijk konden bereiken. Uiteindelijk is de uitstuur van de mailing tijdelijk stil gezet en later weer hervat, om de server te ontlasten. Voor de NSE 2016 zal er een extra server worden ingezet, om de servercapaciteit te vergroten. De vragenlijst (Stichting Studiekeuze123, 2014b) is in technische zin getest door een controle uit te voeren of de gegeven antwoorden juist werden vastgelegd in het databestand. Hiermee konden ook selecties en routings op die manier op juistheid vanuit de data worden ‘afgelezen’. Inhoudelijk is de basisvragenlijst, in het Nederlands (Stichting Studiekeuze123, 2015b), Engels (Stichting Studiekeuze123, 2015c) en Duits (Stichting Studiekeuze123, 2015d), voor de NSE 2015 door de projectleiding van GfK meermaals uitvoerig getest, in samenwerking met Studiekeuze123. De issues die op basis van deze tests naar voren kwamen, betroffen zonder uitzondering kleine suggesties voor aanscherping (punten, komma’s, een enkele aanscherping qua formulering in een toelichting) en waren daardoor goed beheersbaar.


12

2.4

BEVEILIGING

In het kader van de informatiebeveiliging is het belangrijk te constateren dat het aantal verschillende rollen beperkt was door de opzet van het projectteam. Bovendien waren er - buiten GfK - geen andere externe partijen betrokken bij de uitvoering, waardoor van een overdracht tussen partijen – met alle veiligheidsrisico’s van dien – geen sprake was. De verantwoordelijkheid lag dus in alle gevallen bij de projectleiding, die binnen het team op basis van hiërarchische en functionele argumenten de machtigingen toewees voor de toegang tot diverse typen gegevens die binnen de NSE gebruikt en/of verzameld werden. Voor wat betreft de IT-omgeving kan toegevoegd worden dat er binnen GfK een security officer aanwezig was die verantwoordelijk was voor de informatiebeveiliging. De data werd veilig bewaard in een eigen omgeving die niet benaderbaar was voor de buitenwereld (afgeschermd via firewalls). Alle aanpassingen aan de systemen werden gedaan op basis van een ticket. De toegekende taken behorend bij dit ticket waren leidend voor de werkzaamheden die medewerkers (mochten) uitvoeren. Alle relevante bevindingen in het kader van de zogenaamde penetratietest van bureau LBVD, speciaal uitgevoerd voor de NSE, ten aanzien van de vigerende informatiebeveiliging van de vragenlijstomgeving en de downloadomgeving zijn voorafgaand aan de NSE 2015 door GfK opgepakt en verholpen. Het betrof in geen enkel geval ernstige kwetsbaarheden. In maart 2014 is ook de GfK uploadtool nog aan een inspectie onderworpen door bureau LBVD. Hieruit bleek dat ‘geen van de gevonden kwetsbaarheden direct toegang gaf tot de achterliggende database of het onderliggende besturingssysteem’. De wel gevonden (niet-kritische) kwetsbaarheden, die er in potentie voor zouden kunnen zorgen dat toegang werd verkregen tot een gebruiksaccount, zijn in de beginfase van de NSE 2015 aangescherpt in de uploadmodule. 2.4.1 Privacy De NSE staat sinds 11 september 2014 geregistreerd in het meldingenregister van het College Bescherming Persoonsgegevens (CBP) onder nummer 1573217. De NSE vereist een waarborging van de privacy van alle, voor deelname aan het onderzoek, uitgenodigde studenten. Niet alleen gaat het dan om de waarborgen die de technische infrastructuur in dit kader biedt, maar ook gaat het om zorgvuldigheid in de naleving van de richtlijnen en procedures. GfK houdt zich aan de Gedragscode voor Onderzoek & Statistiek, zoals die voor de leden van de MOA (de MarktOnderzoeksAssociatie) is opgesteld. Daarin is exact aangegeven aan welke regels GfK zich in dit opzicht dient te houden. Het College Bescherming Persoonsgegevens (CBP) heeft de Gedragscode voor Onderzoek & Statistiek, die overigens ook voldoet aan de internationale gedragscodes zoals opgesteld door ESOMAR, officieel van een goedkeurende verklaring voorzien op 21 juni 2010. De Gedragscode voor Onderzoek & Statistiek en de genoemde verklaring zijn online te raadplegen via: http://www.moaweb.nl/Gedragscodes/gedragscode-voor-onderzoek-en-statistiek. GfK behoort verder tot de groep onderzoeksbureaus die het predicaat Research Keurmerk Groep van de MOA dragen en jaarlijks haar kwaliteitssysteem laat auditen voor drie ISO certificaten, te weten:  ISO 9001 (kwaliteit algemeen)  ISO 20252 (kwaliteit marktonderzoek)  ISO 26362 (kwaliteit online access panels). ___________________________________________________ Onderzoeksverantwoording Nationale Studenten Enquête 2015

13

Bij indiensttreding hebben alle medewerkers van GfK getekend voor het feit dat zij op vertrouwelijke wijze zullen omgaan met (privacy)gevoelige informatie en hier wordt in de praktijk op toegezien. In 2013 zijn deze richtlijnen vanuit de moederorganisatie nog strenger geworden en alle medewerkers hebben een verklaring ‘Integriteit & Compliance’ getekend. De persoonlijke informatie die GfK in het kader van de NSE 2015 van de instellingen ontving, werd enkel en alleen ten behoeve van de uitvoering van de NSE 2015 gebruikt. Privacygevoelige informatie en enquêteresultaten werden altijd separaat opgeslagen. Na afloop van het project werden de gebruikte persoonsgegevens in nauw overleg met de opdrachtgever Studiekeuze123 vernietigd. 2.5

INCIDENTEN

De door GfK gebruikte technische infrastructuur voor de NSE heeft voldaan aan de vereisten voor een onderzoek van dit volume en deze complexiteit - gedacht in termen van het aantal respondenten, het aantal benaderingen en de instellings-specifieke vragen. Rond het veldwerk traden slechts enkele technische issues op:  Tijdelijke overbelasting van de NSE-uploadomgeving. Voor de aanlevering van studentgegevens heeft GfK een schema gemaakt met data waarop elke instelling, bij voorkeur, haar studenten aan moest leveren. Helaas kon dit schema ook een overbelasting van de server niet voorkomen. GfK heeft voor een vijftal instellingen - na (beveiligde) uitwisseling van de studentgegevens – succesvol de upload uitgevoerd, indien bleek dat zij dit ondanks diverse pogingen niet zelf voor elkaar kregen. Voor de NSE 2016 wordt bekeken of de plek op de server van de uploadtool (nog) verder kan worden geoptimaliseerd, zodat de kans op conflicten met andere processen wordt geminimaliseerd.  Overbelasting van server in de laatste week van het veldwerk (na versturing last shot e-mail). In de laatste (reguliere) week van het veldwerk werd de zogeheten last shot e-mail verstuurd. Doordat er zeer veel studenten tegelijk de vragenlijst probeerden te benaderen raakte de server deels overbelast. Hierdoor laadde de vragenlijst voor veel studenten erg traag en kreeg een aantal studenten een onderhoudsmelding te zien dat de vragenlijst op dat moment niet bereikbaar was en dat ze het later nog eens moesten proberen. GfK heeft direct een extra server in laten zetten, waarmee 25% extra servercapaciteit kon worden verkregen. Daarnaast is de verdere uitstuur van de last shot e-mail iets meer verspreid, zodat de drukte op de server nog iets beperkt kon worden. Inmiddels is dit issue met het oog op een lange-termijn-oplossing opgepakt binnen het technische team van GfK Drive, en zullen er voor de volgende meting bij voorbaat al extra servers worden ingeschakeld voor de laatste reguliere veldwerkweek. De algehele conclusie is dat de techniek van het project beter is verlopen dan tijdens de uitvoering van de NSE 2014, mede door de aanscherping van diverse procedures door GfK.


14

3.

VOORBEREIDING VELDWERK

3.1

OVERZICHT EN ANALYSE VAN DEELNEMENDE INST ELLINGEN NSE 2015

In 2015 participeerden 51 hogescholen en 21 universiteiten in de Nationale Studenten Enquête. Studiekeuze123 nodigde alle instellingen in Nederland uit die NVAO geaccrediteerd hoger onderwijs aanbieden. Deze instellingen kunnen worden ingedeeld in bekostigde instellingen (publiek gefinancierd) en aangewezen instellingen (particulier). Om alle instellingen met NVAO geaccrediteerd hoger onderwijs uit te kunnen nodigen voor deelname aan de NSE, maakte Studiekeuze123 gebruik van twee registers: BRIN en CROHO. De Basis Registratie Instellingen (BRIN) is een register van het ministerie van Onderwijs, Cultuur en Wetenschap (OCW) en bevat alle onderwijsinstellingen in Nederland. Het Centraal Register Opleidingen Hoger Onderwijs (CROHO) is een overzicht van alle in Nederland geaccrediteerde opleidingen voor hoger onderwijs. Het CROHO wordt ook uitgegeven door het ministerie van OCW en beheerd door de Dienst Uitvoering Onderwijs (DUO). Tabel 3.1: Aantal deelnemende instellingen per NSE-jaar Deelname Aantal 2015 aangeschreven instellingen in 2015*

2014

2013

2012

2011

2010

Aangewezen (particulier)

7

4

3

2

6

6

8

Bekostigd (publiek)

18

18

18

18

14

14

14

Aangewezen (particulier)

68

17

17

15

14

14

16

Bekostigd (publiek)

36

33

34

37

35

34

35

TOTAAL

129

72

72

72

69

68

73

WO

HBO

* Het betreft hier alle instellingen met een eigen BRIN-code in het CROHO.

In het bekostigd onderwijs hebben alle WO instellingen deelgenomen aan de NSE 2015. Van de HBO instellingen hebben drie instellingen afgezien van deelname. Het gaat hier om drie instellingen die kunstonderwijs aanbieden. Eén van deze drie instellingen heeft nog niet eerder deelgenomen aan de NSE (Gerrit Rietveld Academie). De tweede instelling doet sinds drie jaren niet meer mee, het gaat hier om de Hogeschool der Kunsten in Den Haag. De derde instelling heeft ervoor gekozen om het jaar te participeren (Codarts Rotterdam). Uit de tabel blijkt dat ongeveer een kwart van de particuliere instellingen deelnemen aan de NSE. Deelname vanuit het particulier onderwijs is dit jaar met 1 instelling toegenomen door deelname van de Politieacademie. In de private opleiders is een onderscheid te maken in aanbieders van afstandsonderwijs, zoals de NTI en de LOI, Een andere groep private opleiders is van oudsher gespecialiseerd in branches en beroepsgroepen en bieden hierin contactonderwijs voor jongvolwassenen en volwassenen aan, bijvoorbeeld secretarieel (Schoevers), bedrijfskunde en de financiële ___________________________________________________ Onderzoeksverantwoording Nationale Studenten Enquête 2015

15

sector (Business School Notenboom, Markus Verbeek Praehep), ICT (Hogeschool Dirksen). Andere voorbeelen zijn TMO Hogeschool voor Modemanagement en de Fotovakschool. Een aantal van deze instellingen doet mee aan de NSE. Anderen hebben twijfels over de toepasbaarheid van de NSEvragenlijst op hun onderwijsinstelling. Van een andere particuliere instelling is de aanduiding van hbo gewijzigd naar wo. Tabel 3.2: Deelnemende instellingen NSE 2015 Dezelfde instellingen als in 2014 Instellingen samengevoegd Instellingen die eerder hebben deelgenenomen, maar niet in 2014 Instellingen die nooit eerder hebben deelgenomen Totaal Instellingen die in 2014 deelnamen, maar niet in 2015

63 2 4 3 72 4

Zie bijlage 1 voor een overzicht van de deelnemende instellingen van de NSE 2015. 3.2

COMBINATIE-OPLEIDINGEN

Een aantal instellingen biedt gezamenlijk onderwijs aan in zogenaamde combinatie-opleidingen (eventueel via een gezamenlijk instituut). ACTA is bijvoorbeeld een samenwerkingsverband tussen de Universiteit van Amsterdam en de Vrije Universiteit Amsterdam. Instellingen konden via een mee te leveren code (label) bij het aanleveren van de studentgegevens duidelijk maken voor welke studenten dit gold, zodat deze studenten geen dubbele uitnodigingen zouden ontvangen. Daarnaast was het op die manier mogelijk om in het instellingsbestand deze groep studenten terug te kunnen vinden via het aangeleverde label. De overeenkomst voor deelname (zie paragraaf 3.3) is in dit geval afgesloten met de Universiteit van Amsterdam en de Vrije Universiteit Amsterdam. Tabel 3.3: Samenwerkingsverbanden voor de NSE 2015 Samenwerkingsverbanden in de NSE 2015 Juridische Hogeschool (Fontys Hogescholen/ Avans Hogeschool)

Aantal aangeleverde studenten 1.724

M Leren en Innoveren - Interactum (Marnix Academie e.a.)

153

B Biotechnologie - Life Sciences (VHL University of Applied Sciences/ NHL Hogeschool)

527

B Biologie en Medisch Laboratoriumonderzoek (VHL University of Applied Sciences/NHL Hogeschool) B Chemie (VHL University of Applied Sciences/ NHL Hogeschool)

139 67

B Chemische Technologie (VHL University of Applied Sciences/ NHL Hogeschool)

89

B Voedingsmiddelentechnologie - Life Sciences (VHL University of Applied Sciences/NHL Hogeschool) B International Business and Management Studies - IBMS (VHL University of Applied Sciences/ NHL Hogeschool/ Stenden Hogeschool) B Tourism (Wageningen University/ NHTV internationaal onderwijs Breda)


263 468 91

16

Tabel 3.3: Samenwerkingsverbanden voor de NSE 2015 (vervolg) Samenwerkingsverbanden in de NSE 2015 M Biotechnology (Wageningen University/ Universiteit Twente/ Rijksuniversiteit Groningen) M Social Work (NHL Hogeschool/ Hanzehogeschool Groningen)

Aantal aangeleverde studenten 229 49

M Physician Assistant (NHL Hogeschool/ Hanzehogeschool Groningen)

68

M Educational Leadership - Penta Nova (Marnix Acacemie e.a.)

87

M Begeleidingskunde (Hogeschool Rotterdam/ Hogeschool van Arnhem en Nijmegen)

109

ACTA Tandheelkunde (Universiteit van Amsterdam/ Vrije Universiteit Amsterdam)

901

AUC Liberal Arts and Sciences (Universiteit van Amsterdam/ Vrije Universiteit Amsterdam) B Theology (Protestantse Theologische Universiteit/ Vrije Universiteit Amsterdam)

882

M Industrial Ecology (Universiteit Leiden/ Technische Universiteit Delft)

130

B Life Science and Technology (Universiteit Leiden/ Technische Universiteit Delft)

410

B Sustainable Molecular Science and Technology (Universiteit Leiden/ Technische Universiteit Delft) B Nanobiologie (joint degree) (Technische Universiteit Delft/ Erasmus Universiteit Rotterdam) M Kunsteducatie (NHL Hogeschool/ Hanzehogeschool Groningen)

392

B Opleiding tot leraar Basisonderwijs (Iselinge Hogeschool/ Open Universiteit)

428

166

161 35

M European Master in Social Work (Wageningen University/ Universiteit Twente/ Rijksuniversiteit Groningen) Totaal aantal records met een samenwerkingsverband Totaal aantal records waarbij geen samenwerkingsverband genoemd is Totaal aantal records Toelichting: B = Bacheloropleiding, M = Masteropleiding 3.3

92 7.660 704.620 712.280

OVEREENKOMST(EN) TOT DEELNAME

Studiekeuze123 nodigde in oktober 2014 alle instellingen die geaccrediteerde opleidingen aanbieden in het hoger onderwijs in Nederland uit voor deelname aan de Nationale Studenten Enquête 2015. De instellingen zijn uitgenodigd middels een Overeenkomst tot deelname die werd verzonden aan het College van Bestuur (CvB) dan wel de directie van de betreffende instelling. Wanneer de instelling de overeenkomst getekend retour stuurde, was deelname officieel vastgelegd. Naast de Overeenkomst tot deelname stuurde Studiekeuze123 ook een Overeenkomst tot levering van een Sleutelbestand van de instelling behorende bij de Nationale Studenten Enquête 2015, voor de levering van een Sleutelbestand. Met dit Sleutelbestand konden instellingen een koppeling leggen tussen de resultaten en hun eigen studentgegevens. Studiekeuze123 stelde aanvullende eisen ten aanzien van de verwerking van dit bestand door de instelling. Deze aanvullende eisen zijn opgenomen in de Overeenkomst tot levering van een Sleutelbestand. Als een instelling voor het eerst een aanvraag indiende voor het ontvangen van het Sleutelbestand, dan ging Studiekeuze123 langs voor een informerend gesprek over wat er nodig is om dit bestand veilig te kunnen verwerken, met voldoende waarborgen voor het beschermen van de privacy van de student. Het ging hierbij vooral om de ___________________________________________________ Onderzoeksverantwoording Nationale Studenten Enquête 2015

17

organisatorische, procedurele en technische inbedding van de verwerking binnen de instelling. Studiekeuze123 informeerde tijdens dit gesprek naar deze inrichting op basis van de Wbp, ontwikkelingen als de komende EU privacy Verordening en best practices van andere instellingen. Op basis hiervan bracht Studiekeuze123 een advies uit aan het CvB dan wel de directie van de instelling. Het was uiteindelijk de instelling zelf die bepaalde of ze al dan niet het Sleutelbestand wilde afnemen. In 2015 hebben 41 (2014:35) instellingen de Overeenkomst tot levering van een Sleutelbestand van de instelling behorende bij de Nationale Studenten Enquête 2015 getekend, waarvan 2 instellingen voor de eerste keer. Van deze 2 instellingen bleek 1 instelling per abuis de overeenkomst te hebben toegestuurd en zag af van levering van het Sleutelbestand. Studiekeuze123 heeft één bezoek afgelegd; aan deze nieuwe instelling werd het bestand geleverd. In totaal hebben 40 instellingen het aanvullende Sleutelbestand ontvangen. Tabel 3.4: Aantal instellingen dat Sleutelbestand heeft aangevraagd en ontvangen Aantal instellingen uit NSE 2012-2015 39 Nieuwe aanvragen NSE 2015 2 Getekende Overeenkomst levering Sleutelbestand NSE 2015 41 instellingen Alsnog afgezien van deelname met Sleutelbestand, bij nader inzien 1 Totaal afname Sleutelbestand NSE 2015 40 instellingen

3.4

STARTBIJEENKOMST EN ROUTEBOEK

Voor elke instelling was een algemene contactpersoon voor de NSE 2015 bekend (of werd door een nieuwe instelling aangesteld). Dit was de persoon binnen de instelling waarmee contact werd onderhouden over alle zaken aangaande de NSE 2015. De contactpersoon was ook de persoon die toegang had tot de resultaatbestanden. De Startbijeenkomst, gehouden op 30 september 2014, was het eerste moment waarop de contactpersonen informatie ontvingen over de werkwijze van de NSE 2015. Het tweede gedeelte van de bijeenkomst was vormgegeven door de kerngroep van de Special Interest Group (SIG) NSE. De SIG NSE organiseert activiteiten gericht op kennisdeling en vergroten van het gebruik van de NSE-resultaten binnen instellingen (zie tevens paragraaf 4.7). Tijdens de Startbijeenkomst werd ook het Online Routeboek Nationale Studenten Enquête 2015 gepresenteerd. Net als vorig jaar is ervoor gekozen het Routeboek alleen online te tonen op www.studiekeuzeinformatie.nl/nse-2015. Hier stond alles verwoord wat voor contactpersonen van belang was om te weten over de NSE 2015, zoals werkwijze en planning. Contactpersonen die niet aanwezig waren op de Startbijeenkomst, zijn middels NSE Bijblijvers (zie ook paragraaf 4.6.2) gewezen op de website. Doordat het Routeboek online stond, kon alle informatie up-to-date gehouden worden. Van de planning en de instructie voor het aanleveren van studentgegevens is naast de online uitleg een PDF geleverd die eenvoudig te printen was. 3.5

AANLEVERING VAN STUD ENTGEGEVENS

Voor deelname aan de NSE 2015 werden studenten van de deelnemende instellingen uitgenodigd per email. Daarom was het noodzakelijk dat elke instelling de mailadressen van haar studenten vooraf ___________________________________________________ Onderzoeksverantwoording Nationale Studenten Enquête 2015

18

aanleverde aan GfK, samen met een aantal andere studentgegevens die noodzakelijk waren voor de routering in de vragenlijst, de berekening van de weegfactoren en het analyseren van de uitkomsten. Noodzakelijke velden die dienden te worden aangeleverd waren:  Een Student-ID;  E-mailadres(sen) van de student;  De actuele BRIN-Code;  De actuele CROHO-Code;  De locatie (gemeentenaam);  Opleidingsvorm (voltijd, deeltijd, duaal);  Afstandsonderwijs;  Studiejaar (eerstejaars, ouderejaars);  Geslacht (man, vrouw);  hbo of wo. Naast de noodzakelijke velden waren er nog enkele achtergrondgegevens, waarvan het wenselijk was voor de instellingen om ze aan te leveren. Wenselijke velden die konden worden meegeleverd waren:  Vooropleiding;  Leeftijd;  Etniciteit;  Samenwerkingsverband;  Organisatieonderdeel. Als laatste was er een blok overige velden die de instelling aan konden leveren. Hierbij ging het om de volgende velden:  Vijf extra labels (facultaire of andere organisatorische indelingen, honoursstudenten of andere student-gerelateerde informatie die niet uit andere bronnen voorhanden is);  Afwijkende opleidingsnaam of instellingsnaam;  Extra ondertekening in uitnodigingstekst;  Extra tekstregel in uitnodigingstekst. GfK heeft een controle uitgevoerd op de privacygevoeligheid naar de studenten toe van de overige velden die werden aangeleverd door de instellingen en nam hierover bij twijfel contact op met de instelling. Er werd bijvoorbeeld gecontroleerd op aanwezigheid van id’s, e-mailadressen en de specificiteit van de gegevens in deze velden (bijvoorbeeld studievoortgang). Gegevens die relevant waren voor het opstellen van de uitnodigingsmail, zoals de (optionele) instellingsspecifieke ondertekening en de (eveneens optionele) instellings-specifieke motivatieregel werden op recordniveau (dus per student) aangeleverd bij de overige velden. In het Online Routeboek NSE 2015 was een uitleg gegeven over en zijn definities gegeven van deze aan te leveren gegevens. Deze instructie was ook te downloaden en printen. De studentgegevens moesten door elke instelling vooraf (uiterlijk op 12 december 2014) aangeleverd worden. Vrijwel alle instellingen hebben hier tijdig aan voldaan. Er is hiervoor gebruik gemaakt van een uploadtool waarin instellingen in een vooraf gedefinieerd format de studentgegevens konden uploaden. Elke deelnemende onderwijsinstelling is half november 2014 door middel van een schriftelijke instructie geïnformeerd over hoe de uploadtool gebruikt diende te worden en heeft eigen inloggegevens ___________________________________________________ Onderzoeksverantwoording Nationale Studenten Enquête 2015

19

ontvangen. De uploadtool - actief in een afgeschermde omgeving - bood onderwijsinstellingen ook directe feedback op het aangeleverde bestand door de reeds ingebouwde controles. Deze ingebouwde controles betroffen:     

Controles Controles Controles Controles Controles

op op op op op

structuur van het bestand; doublures (‘dubbele studenten’); volledigheid (alle opleidingen aangeleverd?); geldigheid van de waarden (BRIN, CROHO, datum); juistheid e-mailadressen (syntaxis).

Nadat het bestand na de controles was goedgekeurd en vervolgens geüpload, diende de instelling de status nog op ‘definitief’ te zetten. Dat was voor GfK het sein dat het geüploade bestand het definitieve studentenbestand was waarmee voor de NSE 2015 gewerkt zou gaan worden. 3.6

VERWERKING VAN STUDENTGEGEVENS

Uiteindelijk zijn in totaal van 712.280 studenten de noodzakelijke gegevens aangeleverd om hen aan de NSE 2015 deel te kunnen laten nemen. Per student konden één of twee e-mailadressen aangeleverd worden. Van de mogelijkheid om een tweede e-mailadres aan te leveren, hebben 21 instellingen gebruik gemaakt. In totaal is voor 197.329 van de 712.280 studenten een tweede e-mailadres aangeleverd. Vervolgens voerde GfK nog enkele inhoudelijke controles uit, zoals een check op de privacy-gevoeligheid van de aangeleverde labels, controle op spelling en neutraliteit van de aangeleverde motivatieteksten en een extra controle op mogelijk oneigenlijk ingevulde velden. Hier zijn geen bijzonderheden uit naar voren gekomen. Daarna zijn de afzonderlijke instellingsbestanden samengevoegd tot één populatiebestand en vervolgens verrijkt met de volgende externe gegevens:  Hbo of wo (uit CROHO);  De actuele instellingsnaam (uit CROHO);  De actuele opleidingsnaam (uit CROHO);  Bachelor of Master (uit 1cHO2/ Studiekeuzedatabase);  Studentaantallen (uit 1cHO) – controle van de aangeleverde studentaantallen. Sommige van deze gegevens werden óók door instellingen zelf aangeleverd (BRIN, CROHO, hbo/wo); in dat geval diende de koppeling met het CROHO-register als controle. GfK voegde aan het totaalbestand unieke niet-sequentiële respondentnummers en wachtwoorden toe. De wachtwoorden bestonden uit twaalf karakters (een combinatie van cijfers en kleine letters en grote letters, bijvoorbeeld ‘pRQeVTCXMZJ4’). In aanloop naar de start van de NSE 2015 zijn de variabelen, benodigd voor het veldwerk, uit het totaalbestand geselecteerd. Dit bestand is geüpload naar zowel de software voor het verzenden van de e-mails (GfK Atlas) als de software voor de interviewserver (GfK Drive) en dit bestand is eveneens gebruikt voor de database ten behoeve van de wachtwoordmodule. De gegevens zijn concreet gebruikt

2

1cHO staat voor 1 cijfer HO. Dit is een extract uit het Centraal Register Inschrijving Hoger Onderwijs (CRI-HO). In het CRI-HO staan alle inschrijvingen en examens van studenten in het hoger onderwijs (wo en hbo) ___________________________________________________ Onderzoeksverantwoording Nationale Studenten Enquête 2015 20

voor authenticatie, terugkoppeling in de enquête over de opleiding waaraan men studeert, voor de routing van de vragenlijst en als basis voor het responsoverzicht. 3.7

DE NSE-VRAGENLIJST

De basis van de NSE vragenlijst 2015 is afkomstig uit 2010. Vanaf de NSE 2013 zijn er beperkte wijzigingen doorgevoerd. Deze zijn terug te vinden in het codeboek. Ook is toen besloten een onderscheid te maken tussen kernvragen (vastgesteld voor negen jaar) en niet-kernvragen (vastgesteld voor drie jaar) in de vragenlijst. Instellingen voeren beleid om studenten meer tevreden te maken en willen lange termijn effecten kunnen meten. Hiervoor is het noodzakelijk dat er geen wijzigingen in de vragenlijst of de werkwijze worden doorgevoerd. Anderzijds wil men nieuwe onderwerpen aan studenten voorleggen. Verondersteld is dat niet alle vragen even belangrijk zijn voor trendanalyses over meerdere jaren, maar ook voor vragen die niet direct deel uitmaken van het trendbestand zijn meerjarige analyses nuttig. Daarom is besloten het niet-trendgedeelte voor tenminste een periode van drie jaar als geheel ongewijzigd te laten. Daarna is er ruimte voor herformuleringen of het vervangen van vragen voor nieuwe vragen die beter aansluiten bij de actualiteit. De overige vragen maken deel uit van het trendbestand en worden negen jaren ongewijzigd gelaten. Het onderscheid is weergegeven in onderstaande Tabel 3.5. Tabel 3.5: Beschrijving NSE-vragenlijst Onderwerpen 1.

Algemene oordeel

2.

5. 6. 7. 8. 9. 10. 11. 12. 13. 14.

De inhoud en opzet van het onderwijs bij je opleiding Verworven algemene vaardigheden (WO) verworven wetenschappelijke vaardigheden (HBO) praktijkgericht onderzoek Voorbereiding beroepsloopbaan De docenten aan de opleiding Studiebegeleiding Toetsing en beoordeling Informatie vanuit de opleiding Studieroosters Studielast Contacttijd Groepsgrootte Stages

15. 16. 17. 18.

Studiefaciliteiten Kwaliteitszorg Overige faciliteiten en studieomgeving Woonsituatie

3. 4.

Kenmerk

Vragen

Trendbestand Niet-trendbestand trendbestand

V. 14 V. 15 V. 16

1 14 11

trendbestand trendbestand

V. 17 V. 18

6 5 4

trendbestand trendbestand trendbestand niet-trendbestand niet-trendbestand niet-trendbestand niet-trendbestand niet-trendbestand niet-trendbestand niet-trendbestand

V. V. V. V. V. V. V. V. V. V.

19 20 21 22 23 24 25 26 27 28

niet-trendbestand niet-trendbestand niet-trendbestand niet-trendbestand

V. V. V. V.

29 30 31 32

3 8 3 5 4 2 4 4 3 1 5 6 4 7 2


Items

21

Tabel 3.5: Beschrijving NSE-vragenlijst (vervolg) Onderwerpen 19.

Handicap en studie

Kenmerk

Vragen

Items

niet-trendbestand

V. 33

1

V. 33a

1

V. 34

1

V. 35

1

V. 36

1

V. 37

1

V. 38

1

V. 39

1

V. 40 20. 21. 22.

Internationale studenten ‘The ultimate question’ Wensen / ideeën voor verbetering

niet-trendbestand niet-trendbestand niet-trendbestand

9

V. 41 V. 42 V. 43

5 1 1

De NSE bevraagt 22 onderwerpen, die in totaal uit 43 vragen bestaan. De vragen kunnen bestaan uit meerdere items, in totaal zijn er 126 items, zie bovenstaande Tabel 3.5.

De NSE is in hoofdzaak een tevredenheidsonderzoek. Dit hoofdkenmerk van de NSE heeft soms het nadeel dat niet geheel duidelijk is in welke richting tevredenheid of ontevredenheid geïnterpreteerd moet worden. Wanneer een student ontevreden is over de studielast, is niet te herleiden of de opleiding te weinig uitdagend of teveel uitdagend is. Sinds 2013 zijn er bij de onderwerpen ‘toetsen en beoordeling’ en ‘contacttijd’ duidingsvragen toegevoegd. De Wet bescherming persoonsgegevens (Wbp) beschouwt vragen over de gezondheid als ‘bijzondere persoonskenmerken’ waarvoor nadrukkelijke toestemming van de student nodig is. Daarom is vraag 33.a in 2014 voor het eerst toegevoegd. Vraag 33.a was in de NSE vragenlijst 2014: V33.a In het kader van de Wet bescherming persoonsgegevens is het voor dit onderwerp noodzakelijk je uitdrukkelijk toestemming te vragen om de antwoorden met je onderwijsinstelling te mogen delen. Hierbij geldt uiteraard nog steeds dat strikt vertrouwelijk zal worden omgegaan met de informatie. Ga je akkoord met het delen van de antwoorden over je functiebeperking, aandoening of ziekte met je onderwijsinstelling? o Ja (ga door naar volgende vraag Handicap en studieblok) o Nee (ga door naar vraag 20) ___________________________________________________ Onderzoeksverantwoording Nationale Studenten Enquête 2015

22

Deze vraag is voor de NSE 2015 aangepast naar: 33.a In het kader van de Wet bescherming persoonsgegevens is het voor dit onderwerp noodzakelijk je uitdrukkelijk toestemming te vragen om de antwoorden voor studiekeuzeinformatie en onderzoek te mogen gebruiken en met je onderwijsinstelling te mogen delen. Hierbij geldt uiteraard nog steeds dat strikt vertrouwelijk zal worden omgegaan met de informatie. Ga je akkoord met het verwerken van de antwoorden over je functiebeperking, aandoening of ziekte zoals hierboven aangegeven? Met deze aanpassing werd expliciet rekening gehouden met gebruik van de data voor studiekeuzevoorlichting en onderzoek. De studenten die geen toestemming gaven, werden doorgeleid naar het volgende onderwerp in de vragenlijst. Een beschrijving van de respons van deze studenten vindt plaats in paragraaf 5.5. Naast het vaste bestand hadden instellingen de mogelijkheid tegen meerkosten aan het einde van de vragenlijst een aantal extra vragen toe te voegen. Bij de NSE 2015 hebben 23 instellingen (15 hbo en 8 wo) gebruik gemaakt van deze mogelijkheid. Door GfK werd gemonitord of de invulduur van de extra vragen (4 a 5 vragen per instelling) binnen maximaal 5 minuten bleef. Tevens was het bewaken van de meerjarige vergelijkbaarheid van de vragen belangrijk. Vragen die in eerdere jaren zijn gesteld, zijn als dezelfde variabele in de meerjarige instellingsbestanden opgenomen. Daarnaast zijn de extra vragen gecontroleerd op juistheid en formulering als ook op mogelijke privacy-gevoeligheid. De vertaling van de vragenlijst is door Studiekeuze123 verzorgd. De vertaling van de instellingsvragen hebben instellingen zelf voor hun rekening genomen. De vragenlijst inclusief alle instellingsvragen is vervolgens door GfK drietalig (Nederlands, Engels, Duits) geprogrammeerd in de GfK Drive software. De lay-out van de vragenlijst is ongewijzigd, echter heeft er wel een wijziging plaatsgevonden in de weergave van zogeheten grid-vragen. Deze vragen zijn vanaf 2015 op zo’n manier geprogrammeerd dat de vragenlijst op zowel smartphone, tablet als PC goed in te vullen was. Ter illustratie hieronder een schermafbeelding van vraag 20 (grid-vraag) van de vragenlijst NSE 2015 (Figuur 3.1). De actieve vraag staat nu in vet op het scherm, na een reactie van een respondent, wordt de volgende vraag actief (alles scrollt naar boven in het scherm)


23

Figuur 3.1: Schermafbeelding vraag 20 vragenlijst NSE 2015


24

4.

COMMUNICATIE

In dit hoofdstuk wordt ingegaan op de communicatieactiviteiten die hebben plaatsgevonden richting de studenten en richting de instellingen. 4.1

[email protected]

Studenten konden vragen stellen of opmerkingen plaatsen aan Gfk/Studiekeuze123 via het emailadres [email protected]. Het uitlezen van [email protected] gebeurde in de veldwerkperiode dagelijks; daarvoor en daarna geschiedde het uitlezen van [email protected] minimaal wekelijks. Antwoorden op veel gestelde vragen waren voor studenten ook na te lezen op www.studiekeuze123.nl/nse/nse-faq/. In totaal zijn er 995 e-mails binnengekomen van studenten (ten opzichte van 906 vorig jaar), waarvan er 785 binnenkwamen tijdens de reguliere veldwerkperiode van 12 januari tot en met 8 maart 2015 (ten opzichte van 804 vorig jaar). Onderwerpen van vragen waren grotendeels: niet willen deelnemen, vragen over verloting van de incentives, extra opmerkingen, opmerkingen over de vragenlijst en problemen met invullen van de vragenlijst. 4.2

PROMOTIEMATERIAAL

Instellingen konden in de communicatie naar de studenten gebruik maken van het promotiemateriaal dat door Studiekeuze123 was ontwikkeld. Studiekeuze123 heeft voor de NSE 2015 het promotiemateriaal volledig vernieuwd. Om het promotiemateriaal goed te laten aansluiten op de wensen van de doelgroep en de instellingen, is een werkgroep ingericht waarvoor de marketing- en communicatiemedewerkers van de deelnemende instellingen waren uitgenodigd. In deze werkgroep Communicatie NSE waren acht instellingen vertegenwoordigd. De werkgroep is 2 keer bij elkaar gekomen. In deze bijeenkomsten is gebrainstormd over de boodschap die het promotiemateriaal moest bevatten, de uitstraling die gewenst was en de uitwerkingsvormen van het promotiemateriaal. Verder zijn er ideeën uitgewisseld omtrent de communicatieactiviteiten die instellingen zelf nog konden opzetten om aandacht te genereren voor de NSE. Er is, conform de vorige jaren, gekozen voor een poster, een flyer en banners in verschillende formaten. Studiekeuze123 heeft met een ontwerper de ideeën uit de werkgroep Communicatie NSE verder uitgewerkt. Dit heeft geleid tot een tweetal concepten. In samenwerking met de werkgroep zijn deze concepten getoetst bij studenten. Dit betekende concreet dat Studiekeuze123 de concepten heeft voorgelegd aan groepjes studenten van drie verschillende instellingen. De studenten konden reageren op de voorstellen en hun voorkeur kenbaar maken. De mening van de studenten was doorslaggevend in de keuze van het concept. De ontwerper heeft vervolgens het gekozen concept vertaald naar de promotiemiddelen: poster, flyer en banners. Nieuw dit jaar was dat de poster bestond uit een reeks van drie posters die op elkaar aansloten. Indien instellingen niet de volledige reeks wilden gebruiken, was het ook mogelijk om één algemene poster te gebruiken. Zie Figuur 4.1 en Figuur 4.2 voor de postercampagne NSE 2015.


25

Figuur 4.1: Postercampagne (reeks) NSE 2015

Figuur 4.2: Postercampagne (algemeen) NSE 2015

De instellingen hadden, net als vorige jaren, de keuze uit een basispakket of een bouwpakket. Het basispakket bestond uit een kant-en-klare versie van de flyer, posters en banners. Dit basispakket kon eenvoudig worden gedownload op www.studiekeuzeinformatie.nl/nse-2015. In plaats van dit basispakket te gebruiken, kon een bouwpakket worden aangevraagd waarbij instellingen de mogelijkheid hadden om een eigen logo en/of tekst toe te voegen aan de flyer en posters. Het bouwpakket is door 19 instellingen aangevraagd. Dit is twee instellingen minder dan tijdens de NSE 2014. Al het materiaal was zowel in het Nederlands, Engels als Duits beschikbaar. Op verzoek van de instellingen is dit jaar ook een NSE-video gemaakt. Deze video was bedoeld om studenten te informeren over het doel en het belang van de NSE. En om hen te enthousiasmeren deel te nemen aan de NSE. De studenten die figureren in de video zijn studenten van twee van de instellingen die deelnamen aan de werkgroep Communicatie NSE. Op YouTube is deze video op het moment van schrijven 3.377 keer bekeken. Daarnaast hebben 14 instellingen de video opgevraagd, om binnen de opleidingen te laten zien. De video was uitsluitend in het Nederlands beschikbaar. Tot slot is bekend dat instellingen vaak zelf per e-mail, of berichten op Blackboard, of met eigen promotieacties studenten oproepen de NSE in te vullen. Op Studiekeuzeinformatie.nl was tijdens het veldwerk een pagina ingericht waar promotieacties die door instellingen opgezet zijn te zien waren, zoals een NSE Café, een stand waar studenten meer informatie konden krijgen over de NSE en een thermometer die aangaf hoe hoog de respons van een instelling/opleiding op dat moment was. 4.3

UITNODIGINGSTEKST EN REMINDERS

De studenten ontvingen de uitnodiging voor deelname aan de NSE per e-mail. De uitnodigingsteksten zijn voor de NSE 2015 nog eens goed onder de loep genomen en aangepast. Hierbij is vooral gekeken naar de lengte van de tekst (deze is ingekort) en is de uitnodiging actiever gemaakt (tone of voice meer gericht op direct actie nemen in plaats van informerend). Na de uitnodiging ontvingen de studenten (tenzij zij zich hadden afgemeld of de enquête inmiddels hadden ingevuld) nog drie reminders per e-mail. Dit jaar heeft een test plaatsgevonden met een reminder waarin beeld is opgenomen. Zie Figuur 4.3 voor een weergave van de reminder met beeld. Hiervoor is gekozen omdat met beeld de reminder visueel aantrekkelijker was en naar verwachting een hogere attentiewaarde had. De reminder met beeld is slechts aan een selectieve groep instellingen ___________________________________________________ Onderzoeksverantwoording Nationale Studenten Enquête 2015

26

gestuurd. Dit had te maken met extra werkzaamheden die GfK voor het verzenden van een dergelijke reminder moest verrichten. Dit bleek niet haalbaar voor het gehele populatiebestand. Daarom is gekozen om bij de eerste reminderronde voor één dag te kiezen (woensdag 28 januari 2015) waarop de reminder met beeld verstuurd is, en uitsluitend de studenten van de instellingen die op die dag gepland stonden te benaderen. Het betrof 23 instellingen met in totaal 89.882 studenten. Bij de derde reminder is wederom gekozen voor één dag (zaterdag 28 februari 2015) waarop dezelfde instellingen als bij de eerste reminder zijn benaderd. Uit de responsanalyse blijkt dat de respons n.a.v. de reminder met beeld iets lager was dan de respons n.a.v. de reminder zonder beeld (de groep die de reminder met beeld heeft ontvangen, laat een kleinere responsgroei zien dan de overige groep: groei van 1,4 t.o.v. 1,7). Mogelijke verklaringen hiervoor zijn:  de hoeveelheid beeld: in deze test is beeld zowel in de header gebruikt als in de tekst, dat is mogelijk teveel;  de spamfilter van instellingen houdt e-mails met beeld tegen;  doordat de reminder afwijkend was van de uitnodigingsmail hebben studenten deze mogelijk niet herkend als e-mail m.b.t. de NSE.

Figuur 4.3: Reminder met beeld In de laatste week van het veldwerk hebben alle studenten die nog niet hadden gereageerd op eerdere e-mails (maar zich niet hadden afgemeld) de last shot e-mail ontvangen. Dit was de laatste oproep om alsnog de NSE in te vullen. Bij het bekend worden van de NSE-resultaten in mei ontvingen alle studenten die hadden deelgenomen aan de NSE tot slot een dankmail. In deze mail werden zij bedankt voor hun deelname en doorverwezen naar Studiekeuze123.nl waar zij de studentenoordelen van hun eigen studie konden gaan bekijken. 4.4

INCENTIVES

We hebben vier keer een halfjaar collegegeld ter waarde van EUR 953,-, zes Apple watches en tweehonderdennegen BOL.com bonnen verloot. Vooral het halfjaar collegegeld viel op. De naam en instelling van de prijswinnaars hebben we, met hun toestemming, gepubliceerd hebben op www.nse.nl. Zo zien studenten dat de incentives ook daadwerkelijk worden uitgekeerd. We denken dat we het instrument van de incentives de komende jaren nog kunnen aanscherpen. ___________________________________________________ Onderzoeksverantwoording Nationale Studenten Enquête 2015

27

4.5

WWW.NSE.NL

Studenten konden meer informatie vinden over de NSE op de speciale website www.nse.nl. Bij vorige edities van de NSE leidde deze url naar één pagina waar de lost-link-tool te vinden was en de Frequently Asked Questions (FAQ) met betrekking tot de NSE. Voor de NSE 2015 is de url www.nse.nl gebruikt voor een mini-website (binnen Studiekeuze123.nl) waar de studenten terecht konden voor meer informatie over de Nationale Studenten Enquête. Zie Figuur 4.4 voor een screenshot van de homepage van www.nse.nl. Het betrof bijvoorbeeld informatie over de achtergrond (Wat is de NSE?), het doel van de NSE (Waarom de NSE?), FAQ, de NSE-video en de mogelijkheid om contact op te nemen. Hier was ook tijdens het veldwerk de lost-linktool te vinden. Bij het uitreiken van de incentives zijn hier alle winnaars vermeld. Bij het bekend worden van de resultaten konden studenten hier landelijke resultaten bekijken op hbo- en wo-niveau. Ook werd hier een overzicht opgenomen van alle persvermeldingen met betrekking tot de resultaten. Tot slot, werden hier alle tweets over de NSE (#NSE2015) live getoond. Figuur 4.4: Screenshot www.nse.nl 4.6

SOCIAL MEDIA

4.6.1 Communicatie via social media Studenten hadden in 2015, net als in 2014, de mogelijkheid om aan het einde van de vragenlijst automatisch een bericht te plaatsen op Facebook of Twitter. Het standaard bericht was als volgt: ‘Nationale Studenten Enquête ingevuld en mijn mening gegeven over mijn opleiding! Wie volgt? nse.nl #NSE2015 www.nse.nl’. Het standaard bericht is in totaal 133 keer getwitterd (in 2014 was dit 134 keer). Verder is er door studenten en instellingen 261 keer getweet en 460 keer geretweet over de NSE 2015 met een eigen bericht (in 2014 is er 492 keer ge(re)tweet). Berichten waarin een vraag of opmerking stond, zijn door Studiekeuze123 via Twitter (@Studiekeuze123) beantwoord. Studiekeuze123 heeft zelf gedurende de NSE verschillende tweets verzonden. In onderstaande tabel is het aantal verzonden tweets te zien en het aantal keer dat deze tweets zijn doorgestuurd (retweet). Tabel 4.1: Aantal tweets van Studiekeuze123 tijdens de NSE 2015 (t.o.v. 2014) Onderwerp tweets Aantal tweets (2014) Aantal retweets (2014) Doe mee aan de NSE 11 (7) 34 (71) Resultaten van de NSE 11 (9) 24 (22)


28

4.6.1 Campagnes via social media Studiekeuze123 heeft tijdens de NSE 2015 voor het eerst social media ingezet ter promotie van de NSE. Op Facebook, Twitter en YouTube heeft een campagne gelopen. De doelstelling van deze campagne was aandacht genereren voor de Nationale Studenten Enquête (zichtbaarheid, bekendheid) onder Nederlandse studenten in de leeftijdscategorie 17 t/m 25 jaar met als bijkomend doel dat de enquête werd ingevuld. De campagne heeft in drie periodes gelopen: 16 januari 2015 tot en met 30 januari 2015, 8 februari 2015 tot en met 15 februari 2015 en 2 maart 2015 tot en met 8 maart 2015. De campagne op YouTube heeft alleen in de eerste periode gelopen, omdat bleek dat het heel lastig was om de juiste doelgroep te targeten. In totaal hebben de campagnes 313.226 mensen bereikt. Het aantal doorkliks naar www.nse.nl was 2.367 wat een Click Trough Rate (CTR) betekent van 0.8% (de gemiddelde CTR op Facebook is 1%). 4.7

COMMUNICATIE MET DE INSTELLINGEN

4.7.1 www.studiekeuzeinformatie.nl Algemene informatie over de NSE was terug te vinden in het Online Routeboek voor de Nationale Studenten Enquête 2015 op de website www.studiekeuzeinformatie.nl/nse-2015. In het Online Routeboek was het volledige proces van de NSE te lezen, evenals de planning en diverse instructies voor instellingen voor het aanleveren van informatie ten behoeve van de NSE. De planning en de handleiding voor het aanleveren van studenten waren ook als PDF klaargezet, zodat contactpersonen deze konden printen. Vanuit de instellingen was aangegeven dat regelmatig docenten van opleidingen betrokken wilden worden bij de NSE. Echter het was voor hen niet altijd duidelijk welke mogelijkheden zij hadden om de NSE onder de aandacht te brengen (en dan met name zónder sturend te zijn). Speciaal voor docenten is er voor de NSE 2015 daarom een pagina gemaakt op Studiekeuzeinformatie.nl/nse-2015 waar zij informatie en tips konden vinden om studenten te enthousiasmeren deel te nemen aan de NSE. 4.7.2 NSE Bijblijvers en RSS-feed De contactpersonen werden tijdens de NSE op de hoogte gehouden van ontwikkelingen via de NSE Bijblijver. In totaal zijn er 12 NSE Bijblijvers verstuurd tijdens de NSE 2015. De belangrijkste onderwerpen van de NSE Bijblijvers waren: De verschuivingen binnen het NSE-team, de verschillende bijeenkomsten, het invullen van de NSE op de smartphone, de Onderzoeksverantwoording NSE 2014, het promotiemateriaal en de video, de incentives, de respons, de klankbordgroep, het non-respons onderzoek en de resultaten van de NSE 2015. Contactpersonen konden zich daarnaast aanmelden voor een RSS-feed (Really Simple Syndication). Indien er belangrijke wijzigingen of storingen waren, werden deze via de RSS-feed verstuurd (maar ook via directe mails of de NSE Bijblijver). In totaal zijn er 9 berichten via de RSS-feed verstuurd. Deze hadden betrekking op de volgende onderwerpen: overeenkomst NSE, vaststelling vragenlijst NSE, promotiemateriaal, storing in uploadtool, storing tijdens veldwerk, storing van www.nse.nl, latere levering codeboek i.v.m. storing. 4.7.3 [email protected] Voor de communicatie met deelnemende instellingen werd het centrale NSE e-mailadres [email protected] gebruikt, van waaruit zowel Studiekeuze123 als GfK communiceerden gedurende het gehele uitvoeringstraject van de NSE 2015. Daarnaast was er ook een NSE telefoonnummer beschikbaar (0356257 668). Voor, tijdens en na het veldwerk is [email protected] op werkdagen dagelijks uitgelezen. ___________________________________________________ Onderzoeksverantwoording Nationale Studenten Enquête 2015

29

De binnengekomen e-mails via [email protected] zijn geregistreerd in JIRA. JIRA is een systeem dat binnengekomen mails registreert in een zogenaamde call en vervolgens wordt deze call toegekend aan een lid van het projectteam (van GfK of Studiekeuze123) door een medewerker van GfK. Hiermee was eenvoudig de voortgang van calls te monitoren en er werd voorkomen dat gestelde vragen tussen wal en schip belanden. GfK beheerde onder regie van Studiekeuze123 dit call-afhandelingssysteem. In totaal zijn er 1.109 calls aangemaakt in de JIRA Servicedesk voor [email protected]. Ten opzichte van 1.255 voor de NSE 2014 is dit een kleine daling. De piek in de binnenkomende communicatie lag in de voorbereidings- en uitvoeringsfase. Er was vooral contact over de voorbereiding van het onderzoek (aanleveren studentgegevens, afstemming spamfilter, responsoverzichten). Andere onderwerpen die veel aan bod zijn gekomen, waren de vragenlijst, vragen over de bestanden en vragen over communicatie. De instellingen hebben aangegeven dat ze soms te lang moesten wachten op een reactie. Dit is aan de orde geweest tijdens de evaluatie-enquête onder de contactpersonen NSE en tijdens de externe evaluatiebijeenkomst van de NSE 2015. Studiekeuze123 vindt dit een terecht punt van kritiek. Er zijn nadere afspraken gemaakt hoe snel we reageren, binnen een halve werkdag, op binnengekomen berichten. Studiekeuze123 gaat dit actiever monitoren. 4.8

WERKGROEP KENNISDELING

De Werkgroep Kennisdeling bevordert het uitwisselen van informatie en kennis tussen de deelnemende instellingen. De Werkgroep organiseert drie bijeenkomsten per jaar: de Startbijeenkomst, Tussenbijeenkomst en Slotbijeenkomst. De inhoudelijke thema’s van de bijeenkomsten werden voorbereid door een kerngroep. In deze kerngroep zat in 2015 een contactpersonen van de volgende instellingen: Hogeschool Inholland (voorzitter), Hogeschool Rotterdam, Technische Universiteit Delft en NHL Hogeschool. Studiekeuze123 is secretaris van de werkgroep. Ook GfK is bij de bijeenkomsten aanwezig. De Startbijeenkomst vond plaats op 30 september 2014 en had ongeveer 40 deelnemers. De aanpak van de NSE 2015 werd besproken en de kerngroep heeft het inhoudelijke programma verzorgd met twee thema’s: ‘Hoe betrek je studenten bij de NSE’ en ‘Communicatie NSE’. De Tussenbijeenkomst op donderdag 19 maart 2015 trok 30 deelnemers. Tijdens het eerste gedeelte van de bijeenkomst is plenair een terugkoppeling gegeven van het veldwerk. Ook heeft GfK een workshop SPSS voor Dummies+ gegeven. Daarna zijn de deelnemers in drie groepen uiteengegaan om te discussiëren over ‘Privacy’, ‘Terugkoppeling van resultaten’ of ‘Fictieve Case: Promotie’. De resultaten hiervan zijn plenair teruggekoppeld. De Slotbijeenkomst vond plaats op dinsdag 26 mei 2015. Er is gekozen om deze keer geen workshops te verzorgen, maar uitgebreid te evalueren. Met de 28 aanwezigen werd er besproken wat er dit jaar goed was gegaan en wat er volgend jaar beter moet.


30

Tijdens de evaluatie is gebleken dat de huidige werkwijze met betrekking tot de bijeenkomsten niet langer aansluit bij de behoefte van de deelnemende instellingen. Volgend jaar wordt de Werkgroep Kennisdeling anders ingericht. 4.9

PERSBERICHT

Bij het openbaar worden van de resultaten NSE 2015 heeft Studiekeuze123 op 21 mei 2015 een persbericht verspreid. Het persbericht had de kop ‘Nationale Studenten Enquête 2015: Student nog nooit zo tevreden over onderwijs in Nederland’. Het bericht gaf een inhoudelijk beeld van de tevredenheid van de studenten op bepaalde themascores en de respons. Ook werd ingegaan op de inhaalslag van het hbo t.o.v. het wo, omdat hbo-studenten een sterkere stijging lieten zien dan wo-studenten. Het persbericht is zeer goed opgepakt door de landelijke pers, o.a. door NOS.nl, NU.nl, Volkskrant, Algemeen Dagblad, 3FM, BNR Nieuwsradio en diverse regionale dagbladen. Directeur Ingrid Kolkhuis Tanke van Studiekeuze123 is daarnaast live te horen geweest op 3FM tijdens het journaal van NOS op 3. Ook diverse instellingen hebben n.a.v. het persbericht van Studiekeuze123 gecommuniceerd over de resultaten van de NSE op hun eigen website. De Volkskrant heeft op basis van het NSE Benchmarkbestand een analyse gemaakt en daar in de krant van vrijdag 22 mei 2015 een artikel over geschreven. Zij hebben daarin tevens een top 50 gemaakt van instellingen die, conform hun analyse, het beste scoorden op basis van vraag 42 uit de NSE, ‘the ultimate question’.


31

5.

POPULATIE EN RESPONS

5.1

MAILING

Het reguliere veldwerk van de NSE 2015 duurde acht weken, van maandag 12 januari 2015 tot en met zondag 8 maart 2015. Daarnaast heeft het veldwerk van de NSE 2015 een week langer open gestaan voor studenten, zonder dat dit verder werd gecommuniceerd. Het besluit om het veldwerk tijdens de NSE 2015 met een week te verlengen, is gevallen nadat aan het begin van de vijfde week van het veldwerk - na voorbereidende analyse op een tussentijds bestand ten behoeve van de oplevering - bleek dat er één instelling een groep studenten niet had aangeleverd waarna deze studenten alsnog de kans hebben gekregen de vragenlijst in te vullen. Het veldwerk voor deze groep bedroeg daardoor uiteindelijk negen weken in plaats van acht weken. De studenten zijn steeds benaderd op het beschikbare e-mailadres en - indien aangeleverd - ook op een tweede e-mailadres. Voor in totaal 191.424 studenten is een tweede e-mailadres aangeleverd door de participerende instellingen. Elke verzending is gelijkmatig verspreid over de periode van één week. Het tweede e-mailadres is steeds aangeschreven op de maandag of dinsdag na deze verzendweek. In totaal zijn er 4.518.520 e-mails (alle verzonden e-mails naar beide e-mailadressen bij elkaar opgeteld) aan 712.280 studenten verstuurd. Na de initiële uitnodigingsmail volgden nog drie reguliere herinneringsmails (met een interval van steeds twee weken). Studenten die de enquête al hadden ingevuld, of zich hadden afgemeld, zijn niet nogmaals benaderd. In de laatste week is nog een last shot e-mail verstuurd om ook de laatste studenten, die nog niet hadden gereageerd, over de streep te trekken. De verzending van de last shot is verspreid over drie dagen. 5.2

RESPONS

De e-mailadressen van in totaal 712.280 studenten zijn door de onderwijsinstellingen aangeleverd. Een overzicht van de aangeleverde studentenpopulatie is te zien in Tabel 5.1.


32

Tabel 5.1: Samenstelling aangeleverde studentenpopulatie Soort hoger onderwijs Universiteit

Hogeschool Geslacht

Type hoger onderwijs

Studiejaar

Aantal

Percentage

Aantal

Percentage

Aantal

Man

48,5%

217.725

49,0%

128.935

48,7%

346.660

Vrouw

51,5%

231.222

51,0%

134.398

51,3%

365.620

Bachelor

95,5%

428.834

62,4%

164.450

83,3%

593.284

Master

3,2%

14.222

37,6%

98.883

15,9%

113.105

Associate degree

1,3%

5.891

0,0%

0

0,8%

5.891

30,8%

138.167

32,0%

84.333

31,2%

222.500

69,2%

310.780

68,0%

179.000

68,8%

489.780

Totaal

100,0%

448.947

100,0%

263.333

100,0%

712.280

Voltijd

86,1%

386.482

94,4%

248.461

89,1%

634.943

Deeltijd

11,6%

52.278

5,5%

14.451

9,4%

66.729

Duaal

2,3%

10.187

0,2%

421

1,5%

10.608

Totaal

100,0%

448.947

100,0%

263.333

100,0%

712.280

Eerstejaars Ouderejaars

Onderwijsvorm

Totaal

Percentage

In totaal zijn 712.280 studenten benaderd om deel te nemen aan het onderzoek, zie Tabel 5.2. Tabel 5.2: Respons Aantal 2013

Typering

2010

2011

2012

2014

2015

Populatie initieel (bruto) - Aangeleverd, maar buiten de doelgroep - Dubbelingen - E-mailadres niet bereikt (bouncers)

647.139 1.318 0 0

600.749 3.778 0 8.400

682.389 3.745 6.067 22.119

674.489 1.045 0 2.775

695.655 0 0 5.006

712.280 39 0 3.036

Populatie bruikbaar (netto = responsbasis) - Afmelders via unsubscribe button - Afmelders via unsubscribe button (%)

643.615 2.183 0,3%

588.571 6.054 1,0%

650.458 11.658 1,8%

670.669 4.964 0,7%

690.649 4.071 0,6%

709.205 3.481 0,5%

- Respons bruto - Respons bruto (%)

240.704 37,0%

215.333 36,6%

212.002 32,6%

270.961 40,4%

238.545 34,5%

278.759 39,3%

- Respons netto (gecleaned) - Respons netto (%)

225.991 35,0%

207.457 35,2%

202.781 31,2%

264.710 39,5%

232.667 33,7%

275.857 38,9%

Van de 712.280 studenten konden er 3.036 niet deelnemen omdat zij niet via het beschikbare emailadres konden worden bereikt. Dit aantal is beduidend minder dan in 2014 (5.006), zeker gezien de grotere populatie. Deze studenten zijn uit de resultaten gefilterd. De hieruit resulterende netto populatie bedroeg 709.205 studenten. Bij de NSE 2015 waren er 39 studenten die niet tot de doelgroep behoorden. Foutief aangeleverde studenten zijn studenten die geen geaccrediteerd hoger onderwijs volgen, zoals post-masters en pre-masters.


33

Elke student die minimaal de eerste inhoudelijke enquêtevraag (v14: algemene tevredenheid over de opleiding) had ingevuld, is in de respons meegerekend. Op basis hiervan bedroeg de bruto respons 278.759 studenten (39,3%). Na cleaning op invulduur (zie paragraaf 6.1.3) kwam de netto respons uit op 275.857 deelnemende studenten (38,9%). Dat is hoger dan in 2014 (33,7%); mogelijk een positief effect van het “mobile-proof” maken van de vragenlijst. 0,5% van alle studenten heeft zich tijdens de uitvoering van het onderzoek afgemeld voor deelname door te klikken op de afmeldlink in de uitnodigingsmail of reminder (‘unsubscribe’). De betreffende studenten zijn vervolgens binnen het mailsysteem uitgesloten voor verdere benaderingen. In de NSE 2014 bedroeg dit 0,6%. 5.3

RESPONSGEDRAG

De netto respons in 2015 was, zoals hiervoor geschetst, hoger dan in 2014 en ligt op het niveau van 2013 (zie Tabel 5.3). Tabel 5.3: Netto respons Jaar Netto respons 2010 35,1% 2011 35,2% 2012 31% 2013 39,5% 2014 33,7% 2015 38,9%

en veldwerkduur in 2010 tot en met 2015 Veldwerkduur 10 weken 10 weken 10 weken 8-10 weken 8 weken 8-9 weken

Figuur 5.1: Bruto responsverloop cumulatief en per dag


34

Uit het bruto responsverloop in Figuur 5.1 blijkt het effect dat iedere remindermail heeft gehad (respons piekt). Ook is zichtbaar dat meer dan de helft van de uiteindelijke respons is behaald na de initiële uitnodigingsmail en de eerste herinnering. Op de maandag na elke verzendweek, zodra het 2e beschikbare e-mailadres werd aangeschreven, is ook een piek zichtbaar. Dat komt enerzijds doordat het aantal e-mails iets groter was dan bij de reguliere mailings, maar anderzijds werd hier ook gemiddeld beter op gerespondeerd. De laatste piek heeft te maken met de last shot e-mail. Deze piek is hoger dan alle andere tussenherinneringen en ook hoger dan in 2014. 5.4

HOE IS DE NSE INGEVU LD?

De enquête was geprogrammeerd in drie talen: Nederlands, Engels en Duits. Bij de start van de vragenlijst konden studenten een taal kiezen, waarna de student direct werd doorgeleid naar de vragenlijst in de door hem/haar gekozen taal. In totaal vulde 91,7% van de respondenten de Nederlandse vragenlijst in, 6,5% de Engelse en 2,6% de Duitse. Deze percentages zijn vergelijkbaar met die van 2014 (zie Tabel 5.4). Tabel 5.4: Percentage ingevulde vragenlijst 2015, uitgesplitst naar taal3 NSE 2013 NSE 2014 NSE 2010 NSE 2011 NSE 2012 Nederlands 91,8% 90,7% 93,0% 93,0% 91,0% Engels 5,4% 6,3% 5,7% 5,7% 5,7% Duits 2,8% 3,0% 1,3% 1,3% 3,6% Totaal 100% 100% 100% 100% 100%

NSE 2015 91,7% 6,5% 2,6% 100%

De gemiddelde invulduur van de vragenlijst bedroeg 12,6 minuten voor studenten die op locatie onderwijs volgden en 9,4 minuten voor studenten die afstandsonderwijs volgden en als gevolg hiervan een kortere vragenlijst invulden (zie paragraaf 6.1.3)4. Tabel 5.5: Gemiddelde invulduur in minuten voor locatie en afstandsonderwijs Locatie Afstandsonderwijs Jaar NSE NSE NSE NSE NSE NSE

2010 2011 2012 2013 2014 2015

15 15,6 14,6 13,6 12,7 12,6

Niet bekend Niet bekend Niet bekend 10,0 9,2 9,4

Belangrijk voor de datakwaliteit was de mate waarin de vragenlijst volledig (tot het einde, tot en met de ‘ultimate question’) werd ingevuld. Op basis van de netto respons kan geconcludeerd worden dat 88,2% van de respondenten de vragenlijst integraal beantwoordde. Dit betekent een toename ten opzichte van

Als percentages niet tot exact 100% optellen, komt dit door afrondingsverschillen. Omdat er geen maximum gesteld is aan de tijd die respondenten konden nemen voor het invullen van de vragenlijst, is de invulduur voor sommige respondenten extreem lang (bijvoorbeeld omdat zij tijdens het invullen iets anders zijn gaan doen en op een later moment de vragenlijst hebben afgerond. Om die reden zijn alle waarden boven 30 minuten invulduur (of 22 minuten voor studenten in het afstandsonderwijs) buiten beschouwing gelaten bij berekening van de gemiddelde invulduur. 3 4


35

de NSE 2014 (86,2%). In 2013 lag het percentage respondenten dat de vragenlijst integraal invulde overigens hoger dan in 2014 en 2015 (91%).

% van degenen die vraag 14 hebben ingevuld

Figuur 5.2: Niet-volledig ingevulde vragenlijst (verval voor een aantal vragen)

100 100 100 100 98

95

96 96

2013 94

2014 92

93

2015

92

90

91

90

90

89

88 87 85

88 86

Vraag 14 Vraag 15n Vraag 20h Vraag 25d Vraag 30d Vraag 42

Vraag 14: algemeen oordeel over de studie; Vraag 15n: tevredenheid over betrekken student bij opleiding; Vraag 20h: tevredenheid over kennis docenten beroepspraktijk; Vraag 25d: tevredenheid over de mogelijkheid om zonder vertraging de gewenste studieonderdelen te volgen; Vraag 30d: tevredenheid over de manier waarop je opleiding op klachten en problemen reageert; Vraag 42: Zou je jouw opleiding aanraden aan vrienden, familie of collega’s?

In Figuur 5.2 valt na te gaan waar studenten (die zijn meegerekend tot de netto respons) in de vragenlijst uitvielen. Waar in 2013 en 2014 de meeste studenten snel na de algemene tevredenheidsvraag (v14) afvielen, vielen in 2015 de meeste studenten af tussen vraag 15 en vraag 20. Op het einde van de vragenlijst is er nog weinig sprake van uitval, wat erop wijst dat studenten die eenmaal besloten om deel te nemen, over het algemeen niet later tijdens het invullen van de vragenlijst alsnog door de lengte werden ontmoedigd om verder te gaan. Het verval is gelijkmatig, het is niet waarschijnlijk dat dit doelgroepspecifiek is. 5.5

ANALYSE NIEUWE VRAAG 33A (VANAF 2014)

Zoals vermeld in paragraaf 3.7 is omwille van de Wbp in 2014 een nadrukkelijke toestemmingsvraag opgenomen in de vragenlijst voor het delen van de antwoorden van de student met een functiebeperking met de onderwijsinstelling. De studenten die geen toestemming gaven, werden doorgeleid naar het volgende onderwerp in de vragenlijst. In de NSE 2015 is deze toestemmingsvraag nog iets aangescherpt. In de metingen van 2014 en 2015 geven respectievelijk 5656 en 5846 studenten geen toestemming, waardoor het aantal antwoorden in 2014 en 2015 naar verhouding lager ligt dan in de jaren ervóór. Tabel 5.5 laat zien hoeveel studenten wel toestemming hebben gegeven en hoeveel niet.


36

Tabel 5.6: Antwoorden studenten op nieuwe vraag 33a

2014 Vraag 33a Geen toestemming Wel toestemming Totaal

Aantal 5.656 25.968 31.624

2015 % 18,0% 82,0% 100%

Aantal 5.846 34.729 40.575

% 14,4% 85,6% 100%

Het aantal studenten dat aangaf een handicap of beperking te hebben lag dit jaar bijna 10.000 studenten hoger dan vorig jaar. Grotendeels komt dit door de hogere respons in 2015, maar ook doordat verhoudingsgewijs minder studenten hun toestemming onthielden (14,4% in 2015 versus 18% in 2014). 5.6

NON-RESPONSANALYSE

Het netto responspercentage voor de NSE 2015 bedroeg 38,9%. Dat wil zeggen dat ruim een derde deel van de studentenpopulatie heeft deelgenomen aan het onderzoek. In een analyse is uitgezocht in hoeverre er verschillen bestonden tussen degenen die respondeerden en de studenten die dat niet deden. Voor de analyse zijn percentages berekend voor de volgende groepen studenten:  vragenlijst volledig ingevuld: studenten die de vragenlijst volledig hebben ingevuld;  vragenlijst onvolledig ingevuld: studenten die de vragenlijst niet volledig hebben ingevuld, maar wel de algemene tevredenheidsvraag hebben beantwoord;  de non-respons: studenten die de e-mail hebben ontvangen, maar niet hebben meegedaan met het onderzoek;  afmelders: studenten die niet meer mee wilden doen aan het onderzoek;  e-mailadres niet bereikt: studenten bij wie de e-mail niet was aangekomen (“bouncers”). De verschillen waren voor de NSE 2013 geanalyseerd naar de volgende achtergrondkenmerken:  Soort hoger onderwijs (hogeschool of universiteit)  Type hoger onderwijs (Bachelor, Master of anders, bijvoorbeeld Associate degree)  Opleidingsvorm (voltijd, deeltijd of duaal)  Geslacht (man of vrouw)  Studiejaar (eerstejaars of ouderejaars) Voor de NSE 2014 is deze analyse uitgebreid met de volgende achtergrondkenmerken:  Onderwijssector  Landsdeel  Stedelijkheid  Aantal beschikbare e-mailadressen (één of twee) Voor de NSE 2015 is deze analyse op dezelfde manier uitgevoerd als voor de NSE 2014. In Tabel 5.7 worden per onderwerp de verschillen tussen de hiervoor genoemde responscategorieën getoond.


37

Tabel 5.7: Non-responsanalyse NSE 20155 To taal

So o rt ho ger o nderwijs Ho gescho o l Universiteit

Vragenlijst ingevuld (geheel o f gedeeltelijk) -Vragenlijst vo lledig ingevuld -Vragenlijst gedeeltelijk ingevuld No n-respo ns

38,9%

41,8%

34,0%

Type ho ger o nderwijs A sso ciate B achelo r M aster Degree 39,7%

34,6%

42,0%

A antal e-mailadressen 1

2

38,1%

41,1%

34,3%

36,9%

29,9%

34,9%

31,2%

36,6%

33,7%

4,6%

4,9%

4,0%

4,8%

3,4%

5,4%

4,4%

36,0% 5,2%

60,6%

57,8%

65,6%

59,9%

64,8%

57,6%

61,7%

57,8%

A fmelders

0,5%

0,5%

0,5%

0,4%

0,6%

0,4%

0,2%

1,0%

To taal (excl. e-mailadres niet bereikt)

100%

100%

100%

100%

100%

100%

100%

100%

E-mailadres niet bereikt (als % van bruto steekpro ef)

0,4%

0,4%

0,5%

0,4%

0,6%

0,9%

0,2%

1,0%

To taal


38,9%

Opleidingsvo rm (vt dt du)

Geslacht

Studiejaar

Vo ltijd

Deeltijd

Duaal

M an

Vro uw

39,2%

36,1%

36,5%

34,8%

42,8%

Eerstejaars Ouderejaars 45,0%

36,1%

34,3%

34,6%

32,1%

32,1%

30,6%

37,8%

39,4%

32,0%

4,6%

4,6%

4,0%

4,4%

4,2%

5,0%

5,6%

4,1%

60,6%

60,3%

63,3%

62,8%

64,6%

56,9%

54,6%

A fmelders

0,5%

0,4%

0,6%

0,8%

0,6%

0,3%

0,4%

0,5%


100%

100%

100%

100%

100%

100%

100%

100%


0,4%

0,4%

1,0%

0,4%

0,5%

0,4%

0,6%

0,3%



 

  

63,4%

De respons was hoger voor hogescholen (41,8%) dan voor universiteiten (34,0%). Het responsverschil tussen hogescholen en universiteiten is in 2015 iets groter dan in 2014 (toen: hbo: 36,3%, wo: 29.1%). De totale respons was hoger bij bachelorstudenten (39,7%) dan bij masterstudenten (34,6%); studenten uit de groep Associate degree hadden met 42,0% de hoogste respons. Van iets meer dan een kwart van de studenten was naast het e-mailadres van de instelling óók een tweede e-mailadres bekend. Onder deze laatste groep was de respons hoger (41,1%) dan onder de groep met slechts één e-mailadres (38,1%). Het aantal ‘afmelders’ bij studenten met twee e-mailadressen lag iets boven dat van studenten met één e-mailadres. Ook was het aandeel onbestelbare e-mails bij studenten met twee e-mailadressen hoger (1,0% versus 0,2% bij studenten met één e-mailadres). Deeltijd- en duaalstudenten respondeerden in ongeveer gelijke mate (36,1% en 36,5%), onder voltijdstudenten was de respons iets hoger (39,0%). Vrouwen lieten een hoger responspercentage zien (42,8%) dan mannen (34,8%), net als tijdens de NSE 2014. Eerstejaars (45,0%) respondeerden vaker dan ouderejaars (36,1%). Het verschil tussen beide groepen is groter dan tijdens de NSE 2014 (eerstejaars 38,3%; ouderejaars 31,5%).

Als percentages niet tot exact 100% optellen, komt dit door afrondingsverschillen. ___________________________________________________ Onderzoeksverantwoording Nationale Studenten Enquête 2015 5

38

Tabel 5.7: Non-responsanalyse NSE 2015 (vervolg) To taal


38,9%

Onderwijssecto r

Onderwijs

Landbo uw & Natuurlijke Omgeving

Natuur

Techniek

Gezo ndheidszo rg

Eco no mie

Recht

Gedrag & M aatschappij

Taal & Cultuur

Secto ro verstijgend

43,8%

43,4%

37,5%

41,5%

44,0%

36,7%

26,3%

38,0%

36,9%

39,2%

34,3%

39,0%

38,5%

33,4%

36,4%

39,1%

32,3%

22,9%

33,5%

32,7%

4,6%

4,8%

4,8%

4,1%

5,1%

4,9%

4,4%

3,4%

4,5%

4,2%

55,9%

A fmelders

0,5%

0,3%

0,3%

0,4%

0,9%

0,3%

0,5%

0,4%

0,3%

0,4%

0,3%


100%

100%

100%

100%

100%

100%

100%

100%

100%

100%

100%


0,4%

0,3%

0,5%

0,4%

0,4%

0,3%

0,5%

0,7%

0,5%

0,6%

0,4%

Sterk stedelijk

Stedelijkheid M atig stedelijk

Weinig stedelijk

Niet stedelijk

43,0%

46,0%

46,1%

63,5%


38,9%

62,1%

57,6%

55,8%

62,9%

Landsdeel No o rd

Oo st

West

Zuid

Zeer sterk stedelijk

40,5%

43,3%

35,5%

43,1%

36,1%

73,3%

61,7%

34,3%

36,3%

38,4%

31,1%

38,2%

31,7%

38,0%

41,3%

40,7%

4,6%

4,2%

4,9%

4,4%

4,9%

4,3%

5,0%

4,6%

5,5%

A fmelders

0,5%

0,4%

0,3%

0,5%

0,4%

0,5%

0,4%

0,2%

0,7%

0,9%


100%

100%

100%

100%

100%

100%

100%

100%

100%

100%


0,4%

0,6%

0,1%

0,3%

0,9%

0,4%

0,5%

0,1%

0,4%

0,2%



56,5%

63,5%

56,6%

53,9%

53,2%

4,3%

59,1%



63,9%

60,5%

59,2%

60,6%



56,4%

62,7%

5,7%

60,6%

To taal

56,4%

33,5%

35,7%

Tussen de diverse onderwijssectoren zijn duidelijke responsverschillen zichtbaar. Studenten in de sectoren “Onderwijs” (43,8%), “Landbouw & Natuurlijke Omgeving” (43,4%), “Techniek” (41,5%), “Gezondheidszorg” (44,0%) en “Sector overstijgende opleidingen” (39,2%) lieten, net als in 2014, respons zien van boven het gemiddelde; de sectoren “Natuur” (37,5%), “Economie” (36,7%), “Recht” (26,3%) en “Taal en Cultuur” (36,9%) scoorden beneden gemiddeld. De sector “Gedrag en Maatschappij” bevond zich qua respons net even onder het gemiddelde (38,0%). In de sector “Techniek” bevonden zich, evenals in 2014, naar verhouding veel afmelders. Een uitsplitsing naar het landsdeel6 waar de onderwijsinstelling is gevestigd, gaf het volgende beeld: in de landsdelen Oost (43,3%) en Zuid (43,1%) was de respons het hoogst en bovengemiddeld, in Noord (40,5%) was de respons net iets hoger dan gemiddeld en in West (35,5%) was de respons het laagst. Onderwijsinstellingen die in zeer sterk stedelijke gebieden zijn gevestigd lieten de laagste respons (36,1%) zien. Onderwijsinstellingen die in niet stedelijke gebieden zijn gevestigd lieten de hoogste respons (63,5%) zien.

Op basis van bovenstaande analyse kan worden geconcludeerd dat met name het soort onderwijs (hbo of wo), de beschikbaarheid van één of twee e-mailadressen, studiejaar, sekse en onderwijssector van invloed zijn op de respons. Tussen bachelor- (hogere respons) en masterstudenten (lagere respons) is ook een responsverschil te zien, dat komt overeen met het beeld over ‘Studiejaar’ (lagere respons bij ouderejaars). We zien tevens dat in zeer sterk stedelijke gebieden (West-Nederland) de respons lager ligt dan in minder stedelijke gebieden (de overige landsdelen).

Oost = Flevoland, Overijssel en Gelderland. Zuid = Brabant en Limburg. Noord = Groningen, Friesland en Drenthe. West = Noord- en Zuid-Holland, Zeeland en Utrecht. ___________________________________________________ Onderzoeksverantwoording Nationale Studenten Enquête 2015 39 6

5.7

RESPONSOVERZICHTEN

Voor de NSE 2015 is gebruik gemaakt van dezelfde responsmodule als in 2014. Deze tool was destijds ontwikkeld om de responsoverzichten gebruiksvriendelijker te maken, zodat de onderwijsinstellingen beter in staat werden gesteld om hun communicatie naar de studenten aan te passen aan de actuele stand van de respons. Om toegang te krijgen tot de GfK Connect omgeving ontving men een instellings-specifieke toegangscode, waarmee de contactpersonen: 1) Een totaaloverzicht van de meest actuele, tussentijdse respons van alle deelnemende instellingen konden bekijken (Figuur 5.3). 2) Een instellings-specifiek overzicht konden naslaan met de meest actuele respons, uitgesplitst naar organisatieonderdeel, opleidingsnaam, CROHO-code, locatie en onderwijstype (voltijd, deeltijd, duaal). Dit laatste overzicht was alleen toegankelijk voor de instelling zelf en niet voor andere instellingen. De responstabellen toonden in absolute aantallen het aantal benaderde studenten, het aantal ingevulde vragenlijsten en het hieruit resulterende responspercentage (NB: het betrof de bruto respons, nog zonder enige vorm van cleaning of bewerking). Figuur 5.3: Fictief voorbeeld Dashboard I (totaalrespons per instelling)


40

6.

DATACLEANING, BESTANDSBEWERKING EN KWALITEITSCHECKS

Na afronding van het veldwerk zijn de bestanden opgeschoond, gestructureerd en verrijkt met externe gegevens. Vervolgens zijn de gegevens geanalyseerd en zijn themascores berekend. Het responsbestand is gekoppeld aan het bestand met alle aangeleverde studentgegevens en de naamgeving van de variabelen is in overeenstemming gebracht met de naamgeving zoals gehanteerd in het Codeboek (Stichting Studiekeuze123, 2015e). De invulduur van de vragenlijst en de invuldatum zijn bepaald op basis van de in het interviewsysteem vastgelegde gegevens. De respons is als geldig beschouwd als V14 (algemene tevredenheid opleiding) was ingevuld; records van respondenten die de vragenlijsten in een ongeloofwaardige tijdsspanne hebben ingevuld, zijn verwijderd (zie paragraaf 6.1.3). Dit leidde tot een basisbestand, waarvan alle andere bestanden werden afgeleid. 6.1

VERRIJKING EN ANDERE BEWERKINGEN

Aan het basisbestand zijn vanuit externe databases gegevens gekoppeld. Allereerst het CROHO-register: het register van DUO over alle geaccrediteerde opleidingen die in Nederland worden aangeboden in het hoger onderwijs. Het CROHO-register is vanuit Excel ingelezen in SPSS en geaggregeerd op het niveau dat voor de betreffende variabele nodig was. Het laagste aggregatieniveau is CROHO*BRIN*Locatie*Opleidingsvorm. De gemeentenamen in het CROHO-register zijn gesynchroniseerd met de meerjarige benchmarkbestanden, waarin de jaargangen 2010, 2011, 2012, 2013 en 2014 zijn opgenomen. Door de synchronisatie kon tevens worden gecontroleerd of alle codes in het bestand geldige en actuele codes waren. In tegenstelling tot de opleidingen die zijn opgenomen in de Studiekeuzedatabase (alleen opleidingen met instroom), zijn in dit bestand alle opleidingen opgenomen (dus ook de opleidingen die geen instroom meer kennen, maar nog wel aangeboden worden). Aan het bestand zijn verder de variabelen “bekostiging” (bekostigingskenmerken), “CrohoNaam(Actueel)”, “CrohoSector”, “CrohoSectorNaam” en “Fixus” (numerus fixusgegevens) toegevoegd. Ook is er een variabele aangemaakt, waarmee samenwerkingsverbanden zijn te herkennen (combinatie-opleidingen die gezamenlijk door enkele instellingen worden aangeboden, zie hiervoor ook paragraaf 3.2). De variabelen stedelijkheid en landsdeel waren afkomstig uit CBS Statline en zijn op gemeentecode aan het basisbestand gekoppeld. Op basis van de CROHO-code zijn de velden BaMa (bachelor-master: Type hoger onderwijs) en soort hoger onderwijs (hbo-wo: Soort hoger onderwijs) aangemaakt. Missende records in het door instellingen aangeleverde studentenbestand zijn achteraf aangevuld vanuit de antwoorden op de vragenlijst (sekse, leeftijd en vooropleiding); in geval van tegenstrijdige gegevens hebben de door de instellingen aangeleverde gegevens voorrang gekregen. Etniciteit is vanaf de NSE 2013 niet meer bevraagd in de vragenlijst: voor zover de informatie in het basisbestand was opgenomen, betrof het de door instellingen zelf aangeleverde gegevens. Bij de tevredenheidsvragen is er onderscheid gemaakt tussen werkelijk missende scores (-1) en een code voor de vragen die niet van toepassing waren (-2). Beide codes zijn in het bestand gedefinieerd als ‘missing value’. Het voordeel van deze codering is dat deze gegevens niet worden meegerekend bij berekeningen maar nog wel zichtbaar zijn als zodanig in het databestand. 6.1.1 Hercoderen open vragen Handicap & Studie Bij vraag 34 en 35 van dit blok werd gevraagd welke functiebeperkingen, aandoeningen of ziektes de student heeft. Bij beide vragen werd een lijst gepresenteerd met items waar studenten er één of meerdere van konden kiezen. Dit waren dus geen tevredenheidsvragen. Beide vragen hadden een ___________________________________________________ Onderzoeksverantwoording Nationale Studenten Enquête 2015

41

antwoordcategorie “Anders, namelijk …”, waarna de studenten een open antwoord konden geven. Dit is achteraf gerubriceerd. In 2015 leverde dit 8.300 antwoorden op. Deze zijn door een basisarts achteraf (na)gecodeerd. In meer dan 93% van de gevallen konden de open antwoorden herleid worden tot een categorie die in het vragenblok Handicap & Studie werd gebruikt. In 2014 waren er 6.359 antwoorden bij de categorie “Anders, namelijk…” ingegeven. Hiervan kon 95% naar een bestaande categorie worden ingedeeld. 6.1.2 Huurwaarden Er bevonden zich in de NSE 2015 geen onrealistische huurwaarden aan de hoge kant van het spectrum (zie Figuur 6.1): de situatie is daarmee vergelijkbaar met die van de NSE 2014. De meeste afwijkingen waren te vinden aan de lage kant van het spectrum, maar ook hier ging het om relatief beperkte aantallen en bestond geen aanleiding om te denken dat het om irreële bedragen ging. Er is daarom besloten om in 2015 (net als in 2014 en 2013) geen correctie op extreme huurwaarden toe te passen. Figuur 6.1: Histogram van de huurwaarden in de NSE 2015

6.1.3 Invultijd De antwoorden van studenten die de enquête in minder dan 5 minuten invulden zijn, net zoals in eerdere jaren, verwijderd. Een invulduur langer dan 30 minuten is afgekapt op deze 30 minuten, temeer omdat wanneer studenten dat wilden, ze de vragenlijst tussentijds konden onderbreken en later weer konden verder gaan. Omdat studenten afstandsonderwijs een deel van de vragenlijst niet voorgelegd krijgen, is in 2013 door GfK voorgesteld om de minimale invulduur voor studenten afstandsonderwijs op 3,5 minuut te stellen. Dit is toen vastgesteld op basis van de gemiddelde invulduur van de volledige vragenlijst versus die van de vragenlijst voor studenten afstandsonderwijs. De ratio tussen beide cijfers is vermenigvuldigd met de minimale invulduur voor de volledige vragenlijst (invulduur afstandsonderwijs/ invulduur volledige vragenlijst * 5 minuten = 3,5 minuut). ___________________________________________________ Onderzoeksverantwoording Nationale Studenten Enquête 2015

42

De volgende vragen zijn niet gesteld aan studenten die afstandsonderwijs volgden:          

Inhoud en opzet van het onderwijs (9 wel, 2 niet: 16J en 16K); Samenwerking met anderen (17E); Studieroosters (2 vragen); Contacttijd (4 vragen); Groepsgrootte (3 vragen); Stages (6 vragen); Studiefaciliteiten (5 vragen niet, 1 vraag wel: 29F); Studieomgeving (7 vragen); Woonsituatie (2 vragen); Handicap en studie (8 vragen).

6.1.4 Studiejaar student De variabele studiejaar student bevatte het antwoord op vraag 9 uit de vragenlijst, waarbij de student werd gevraagd naar het studiejaar waarin hij/zij studeert. De student werd hier gevraagd het studiejaar in te vullen van het jaar waarin hij/zij de meeste vakken volgde. Deze variabele verschilt van de door de instellingen zelf aangeleverde variabele “studiejaar”, welke bij de NSE als formeel juist wordt beschouwd. Beide variabelen zijn vanaf meetjaar 2014 opgenomen in de bestanden en niet met terugwerkende kracht aangevuld voor voorgaande jaargangen. 6.2

THEMASCORES EN INST ELLINGSVRAGEN

Net als in 2014 zijn de afzonderlijke vraagitems samengevat in een aantal themascores. Dat gebeurde door het berekenen van een gemiddelde score van de bij elk thema horende vraagitems. Studenten hoefden niet alle vraagitems behorende bij het thema te hebben ingevuld, maar er is wel een minimum gehanteerd, volgens de criteria in Tabel 6.2. De criteria zijn afgeleid van de berekeningswijze van de themascores in 2012 en ook toegepast op alle nieuwe themascores die sinds 2013 worden berekend. Tabel 6.1: Minimaal vereiste aantal stellingen voor de berekening van de themascores Aantal stellingen behorende bij thema

Minimum aantal stellingen in themascore

>= 8

6

7

5

6

4

5

4

4

3

3

2

2

1

Hiermee werd aangesloten bij de logica die in voorgaande metingen is gehanteerd. Een voorbeeld: als er acht items bij een thema hoorden, dan diende een student over minimaal zes van deze items een mening te hebben gegeven om te worden meegenomen in de berekening van dit thema. Na de fase van cleaning en bewerking van de resultaatbestanden zijn Principale Componenten- (PCA) en betrouwbaarheidsanalyses (RA = Reliability Analysis) uitgevoerd, waarna de themascores konden worden berekend (zie Tabel 6.3). Het doel van de PCA was om de validiteit van de themascores te ___________________________________________________ Onderzoeksverantwoording Nationale Studenten Enquête 2015

43

controleren. Dat wil zeggen: dekken de stellingen die in 2015 onder het thema vielen nog steeds de inhoudelijke lading van dat thema? Of blijkt uit de empirie dat een stelling eigenlijk inhoudelijk niet goed meer bij het thema past (hetgeen tot uitdrukking zou komen in een lage componentlading)? Een PCA werkt als volgt:  Er wordt een aantal latente (“virtuele”) variabelen aangemaakt, die niet aan elkaar gecorreleerd zijn (de componenten).  De correlaties van de vraagitems met de componenten worden berekend (de componentladingen). Daarbij worden de componenten vaak “geroteerd” 7, wat inhoudt dat de statistische software de componenten dusdanig samenstelt dat de vraagitems met zo min mogelijk componenten sterk correleren. Dat leidt er doorgaans toe dat vraagitems die inhoudelijk bij elkaar passen met dezelfde component correleren (en minder sterk met de andere componenten), waardoor de componenten inhoudelijk sterker van elkaar zullen verschillen en beter interpreteerbaar worden8.  De PCA laat ook zien welk deel van de variantie van de vraagitems wordt verklaard door de component (de communaliteiten), ofwel (in het geval van een enkele component) de gekwadrateerde correlaties (componentladingen) van de items met de component.  Omdat de samenstelling van de componenten reeds bekend was uit de meting van 2013, is in 2014 geen PCA op alle items tezamen uitgevoerd, maar zijn voor elk thema afzonderlijke PCA’s berekend. Daarbij zijn de vraagitems per thema telkens op één component “geforceerd”, ter controle van de componentladingen. Als zou blijken dat één of meer vraagitems een lage componentlading hebben, dan zou exclusie van de vraagitems uit de themascore kunnen worden overwogen, of wellicht zelfs een hernieuwde analyse van alle vraagitems in een enkele PCA 9.



Per component is ook het totale percentage verklaarde variantie weergegeven: dit percentage lag tussen 0% en 100% en geeft aan hoe goed de vraagitems tezamen het achter de component liggende concept (het thema) meten. De verklaarde variantie lag bij alle thema’s rond of ruim boven 50%. Als vuistregel wordt gehanteerd dat waarden rond 50% ruim voldoende zijn, waarden vanaf 60% goed en waarden boven 70% uitzonderlijk goed10.

Het doel van de betrouwbaarheidsanalyse (RA) was om vervolgens de mate van betrouwbaarheid van de stellingen die tezamen de indicator voor het thema vormen (ook wel een schaal genoemd) vast te stellen. Uit de PCA kan namelijk blijken dat de stellingen hetzelfde concept (thema) meten, daarmee is nog niet gezegd dat het opnemen van alle stellingen leidt tot een betrouwbaardere schaal.

Meestal met de Varimax-methode met Kaiser Normalization, zo ook bij de NSE. Missende waarden in de PCA zijn behandeld volgens de methode “pairwise deletion”, dat wil zeggen ook studenten die een missende waarde op een of meer vraagitems hadden, zijn meegenomen in de analyse. Deze aanpak komt overeen met de uiteindelijke berekening van de themascores, waarbij ook, afhankelijk van het aantal vraagitems, één of meer missende waarden zijn toegestaan op de items waaruit de score is opgebouwd. Hierdoor wordt optimaal gebruik gemaakt van de beschikbare gegevens en wordt het - reeds beperkte - aantal missende waarden verder gereduceerd. 9 Alhoewel er geen duidelijke regels voor zijn, kan een componentlading van <0,6 als laag worden beschouwd. In 2015 bestond hier geen aanleiding toe, slechts een enkel item heeft een componentlading van 0,58 (thema Studieomgeving). 10 Deze waarden worden geformuleerd op basis van de gemiddelde onderzoekresultaten van veel sociaalwetenschappelijk uitgevoerd onderzoek. ___________________________________________________ Onderzoeksverantwoording Nationale Studenten Enquête 2015 44 7

8

Met behulp van een RA kan dit worden gecontroleerd, dit komt tot uitdrukking in de statistische maat “Cronbach’s Alpha”. Als de waarde van Cronbach’s Alpha beduidend toeneemt door weglating van een vraagitem uit de schaal (“Alpha if item deleted”), dan is dat een aanwijzing dat het item wellicht beter niet in de berekening van de schaalscore kan worden meegenomen. Cronbach’s Alpha kan een waarde tussen 0 en 1 innemen. In de sociale wetenschappen wordt een Cronbach’s Alpha waarde van 0,7 of hoger als betrouwbaar behandeld. In het geval van de themascores die voor de NSE 2015 werden berekend, is ruimschoots aan dat criterium voldaan. De resultaten van zowel de PCA als de RA zijn bij de NSE door de jaren heen zeer stabiel; zowel factorladingen en betrouwbaarheidsscores verschillen nauwelijks van die van 2014 en eerdere jaargangen. Na berekening van de PCA en RA is vervolgens uit de bij elkaar passende vraagitems een themascore berekend.


45

Tabel 6.2: Principale Componenten- en betrouwbaarheidsanalyses, meting 2015 Communaliteiten

Componentladingen

Alpha if item deleted

Het niveau van je opleiding

0,50

0,71

0,91

De aansluiting van de inhoud bij het beeld dat je van je opleiding had

0,54

0,73

0,91

De aansluiting van je opleiding bij je vooropleiding

0,36

0,60

0,92

De mate waarin de inhoud van je opleiding stimulerend is

0,60

0,78

0,91

De aansluiting van de inhoud van je opleiding bij actuele ontwikkelingen

0,47

0,69

0,91

De samenhang tussen de verschillende onderdelen van je opleiding

0,47

0,69

0,91

De in jouw opleiding gehanteerde werkvormen

0,49

0,70

0,91

De mogelijkheid die je opleiding je biedt om zelf de inhoud te bepalen

0,39

0,62

0,92

De inhoudelijke kwaliteit van het studiemateriaal

0,52

0,72

0,91

De aansluiting bij je werkervaring (nieuw vanaf 2013)

0,66

0,81

0,91

De mate waarin je het geleerde kunt toepassen in je baan (nieuw vanaf 2013)

0,62

0,79

0,91

% verk laarde variantie

51,1

Cronbach's Alpha

0,92

Inhoud (themascore)

Algemene vaardigheden (themascore)

Communaliteiten

Componentladingen


Het aanleren van een kritische houding

0,55

0,74

0,81

Probleemoplossend vermogen

0,61

0,78

0,80

Het onderbouwen van conclusies

0,62

0,79

0,79

Communicatieve vaardigheden (bijv. mondelinge presentaties, gespreksvoering)

0,48

0,69

0,81

Samenwerken met anderen

0,42

0,65

0,82

Argumenteren/redeneren

0,61

0,78

0,79


54,8

Cronbach's Alpha

0,83

Communaliteiten

Componentladingen


Analytisch denken

0,45

0,67

0,85

Het kritisch beoordelen van wetenschappelijk werk

0,62

0,79

0,82

Het schrijven van wetenschappelijke artikelen

0,65

0,81

0,81

Methoden en technieken van onderzoek Het doen van onderzoek (was WetenschappelijkeVaardighedenWo_06 tot 2012, gewijzigde vraagstelling in 2013)

0,71

0,84

0,80

0,68

0,82

0,81


62,2

Cronbach's Alpha

0,85

Communaliteiten

Componentladingen


Analytisch denken

0,60

0,77

0,85

Het kritisch beoordelen van praktijkgericht onderzoek

0,74

0,86

0,80

Het schriftelijk rapporteren over praktijkgericht onderzoek

0,74

0,86

0,81

Methoden en technieken van praktijkgericht onderzoek

0,72

0,85

0,81


70,1

Cronbach's Alpha

0,86

Wetenschappelijke Vaardigheden WO (themascore)

Wetenschappelijke Vaardigheden HBO (themascore)


46

Tabel 6.2: Principale Componenten- en betrouwbaarheidsanalyses (vervolg) Communaliteiten

Componentladingen


Het opdoen van vaardigheden voor de beroepspraktijk

0,79

0,89

0,78

De praktijkgerichtheid van je opleiding

0,82

0,90

0,76

Het contact met de beroepspraktijk (bijv. stages, gastsprekers)

0,72

0,85

0,85


77,6

Cronbach's Alpha

0,85

Communaliteiten

Componentladingen


De inhoudelijke deskundigheid van docenten

0,58

0,76

0,90

De didactische kwaliteit van docenten

0,60

0,78

0,90

De bereikbaarheid van docenten buiten contacturen

0,53

0,73

0,90

De betrokkenheid van de docenten bij de studenten

0,67

0,82

0,89

De kwaliteit van de begeleiding door docenten

0,72

0,85

0,89

De kwaliteit van feedback van docenten

0,62

0,79

0,89

De mate waarin docenten inspirerend zijn

0,64

0,80

0,89

De kennis van de docenten over de beroepspraktijk

0,50

0,71

0,90


60.8

Cronbach's Alpha

0,91

Voorbereiding Beroepsloopbaan (themascore)

Docenten (themascore)

Studiebegeleiding (themascore)

Communaliteiten

Componentladingen


De mogelijkheid tot begeleiding

0,82

0,91

0,81

De kwaliteit van de begeleiding De mate waarin jouw opleiding initiatief neemt in ondersteuning of begeleiding (nieuw vanaf 2013)

0,83

0,91

0,80

0,76

0,87

0,87


80,6

Cronbach's Alpha

0,88

Communaliteiten

Componentladingen


De duidelijkheid van criteria waarop beoordeeld wordt

0,61

0,78

0,85

De aansluiting van toetsing en beoordeling bij de inhoud van de opleiding

0,76

0,87

0,80

De kwaliteit van de toetsing op kennis en inzicht (nieuw vanaf 2013)

0,76

0,87

0,80

De kwaliteit van de toetsing op vaardigheden (nieuw vanaf 2013)

0,69

0,83

0,83


70,6

Cronbach's Alpha

0,86

Communaliteiten

Componentladingen


De informatie over jouw studievoortgang

0,62

0,79

0,71

De informatie over regels en procedures

0,70

0,83

0,68

De informatie over de opzet van de opleiding (nieuw vanaf 2013) Het tijdig bekend maken van resultaten van toetsen en beoordelingen (was voorheen ToetsingBeoordeling_03)

0,63

0,80

0,70

0,46

0,68

0,78


60,2

Cronbach's Alpha

0,77

ToetsingBeoordeling (themascore)

Informatievoorziening (themascore)


47


Componentladingen


Het tijdig bekendmaken van de studieroosters

0,84

0,92

n.v.t.

Het tijdig bekendmaken van wijzigingen in het studierooster

0,84

0,92

n.v.t.


84,0

Cronbach's Alpha

0,81

Communaliteiten

Componentladingen


De spreiding van de studielast over het studiejaar

0,65

0,81

0,74

De haalbaarheid van deadlines De mate waarin de studiepunten (EC) overeenkomen met de daadwerkelijke studielast (was Studielast_03 tot 2012, gewijzigde vraagstelling vanaf 2013) De mogelijkheid om zonder vertraging de gewenste studie-onderdelen te volgen (nieuw vanaf 2013)

0,69

0,83

0,73

0,58

0,76

0,77

0,60

0,77

0,76


63,0

Cronbach's Alpha

0,80

Communaliteiten

Componentladingen


De groepsgrootte bij werkgroepen (nieuw vanaf 2013)

0,68

0,82

0,76

De groepsgrootte bij hoorcolleges (nieuw vanaf 2013) De verhouding kleinschalig versus grootschalig onderwijs in mijn opleiding (nieuw vanaf 2013)

0,72

0,85

0,72

0,74

0,86

0,70


71,3

Cronbach's Alpha

0,80

Communaliteiten

Componentladingen


De kwaliteit van de stagebegeleiding vanuit de opleiding (was VoorbereidingBeroepsloopbaan_04 tot 2012)

0,81

0,90

n.v.t.

De voorbereiding op de stage door de opleiding (nieuw vanaf 2013)

0,81

0,90

n.v.t.


80,7

Cronbach's Alpha

0,76

Communaliteiten

Componentladingen


Studierooster (themascore)

Studielast (themascore)

Groepsgrootte (themascore)

Stage En Opleiding (themascore)

Stage Ervaring (themascore) De begeleiding op je stageplek door het bedrijf of de instelling waar je stage loopt (nieuw vanaf 2013)

0,64

0,80

0,72

Wat je tijdens je stage hebt geleerd (nieuw vanaf 2013) De aansluiting van de stages bij het overige onderwijs (was VoorbereidingBeroepsloopbaan_05 tot 2012)

0,77

0,88

0,58

0,63

0,79

0,73


68,1

Cronbach's Alpha

0,76


48


Componentladingen


De geschiktheid van de onderwijsruimten

0,58

0,76

0,88

De geschiktheid van werkplekken (bv. computers, studieruimten van voldoende kwaliteit)

0,73

0,86

0,86

De beschikbaarheid van werkplekken (bv. voldoende werkplekken)

0,66

0,81

0,87

De bibliotheek/mediatheek

0,62

0,79

0,88

De ICT-faciliteiten

0,71

0,84

0,86

De digitale leeromgeving

0,56

0,75

0,88


64,5

Cronbach's Alpha

0,89

Communaliteiten

Componentladingen


Onderwijsevaluaties die onder studenten plaatsvinden (was Betrokkenheid_01 tot 2012)

0,65

0,80

0,86

Informatie over de uitkomsten van onderwijsevaluaties (was Betrokkenheid_02 tot 2012) De wijze waarop je opleiding gebruik maakt van de uitkomsten van onderwijsevaluaties (was Betrokkenheid_03 tot 2012) De manier waarop je opleiding op klachten en problemen reageert (was Betrokkenheid _04 tot 2012)

0,73

0,85

0,83

0,81

0,90

0,80

0,68

0,83

0,85


71,7

Cronbach's Alpha

0,87

Communaliteiten

Componentladingen


De bereikbaarheid van je instelling (openbaar vervoer e.d.)

0,41

0,64

0,70

De restauratieve voorzieningen op je instelling De sportvoorzieningen vanuit je instelling (was Studieomgeving_03 tot 2012, gewijzigde vraagstelling vanaf 2013)

0,39

0,63

0,69

0,33

0,58

0,73

De horecavoorzieningen in je studiestad (kroegen, eetcafés, restaurants e.d.)

0,68

0,82

0,63

Het cultureel aanbod van je studiestad (bioscopen, theaters, evenementen e.d.)

0,64

0,80

0,65


49,1

Cronbach's Alpha

0,73

Communaliteiten

Componentladingen


De beschikbaarheid van woonruimte in je studiestad

0,88

0,94

n.v.t.

De betaalbaarheid van woonruimte in je studiestad

0,88

0,94

n.v.t.


88,4

Cronbach's Alpha

0,87

Studiefaciliteiten (themascore)

Kwaliteitszorg (themascore, was Betrokkenheid tot 2012)

Studieomgeving (themascore)

Huisvesting (themascore)

6.3

WEGING

Om te corrigeren voor de responsverschillen tussen opleidingen en instellingen, is de netto respons gewogen op het niveau van BRIN*CROHO*Locatie. Hiertoe is eerst de respons bepaald per mogelijke combinatie. De weegfactor is vastgesteld door de proportie in de populatie te delen door de proportie in de respons. ___________________________________________________ Onderzoeksverantwoording Nationale Studenten Enquête 2015

49

Vervolgens is de “range” van de resulterende weegfactoren onderzocht om vast te stellen in hoeverre sprake was van extreme weegfactoren. Er was geen sprake van extreme waarden aan het ‘lage uiteinde’ van het spectrum: de laagste waarde bedroeg 0,39. De weegfactoren boven een waarde van 4 zijn op 4,0 gefixeerd, zoals in 2013 en 2014. In totaal zijn 33 (van de in totaal 2.811) cellen gefixeerd, corresponderend met 89 respondenten. Een cel was in dit geval een BRIN*CROHO*Locatie combinatie. 22 cellen hadden een weegfactor tussen de vier en zes; in acht cellen lag de weegfactor tussen zes en 10 en in drie gevallen had de weegfactor een waarde van meer dan 10. Tot slot is de weegfactor ‘herschaald’ (door de weegfactor te delen door het gemiddelde gewicht), zodat het gemiddelde gewicht wederom uitkwam op een waarde van 1 en aldus voor de totale groep de ongewogen aantallen gelijk waren aan de gewogen aantallen (Stichting Studiekeuze123, 2014f). 6.4

SYNCHRONISATIE MET VOORGAANDE METINGEN

Om de trendbestanden op te stellen, was een synchronisatie van de organisatorische mutaties op basis van het CROHO-register nodig. Dit gebeurde als volgt:  update voor mutaties tussen aanlevering studenten en afsluiting veldwerk NSE 2015;  update voor mutaties die ten opzichte van voorgaande jaren hadden plaatsgevonden. De mutaties konden betrekking hebben op BRIN, CROHO en Locatie. Om dit te inventariseren zijn het meerjarige Benchmarkbestand, de door instellingen aangeleverde studentgegevens (NSE 2015) en het CROHO-register van de door ons in gezamenlijkheid met Studiekeuze123 gekozen peildatum (30-012015) naast elkaar gelegd. Daarnaast is gebruik gemaakt van een door ResearchNed geleverd bestand met BRIN/CROHO mutaties die niet in het CROHO-register zijn verwerkt. Het aantal te synchroniseren zaken was beperkt (ongeveer 20 opleidingen). Echter is in overleg met Studiekeuze123 besloten om de techniekconversie (die per 1-9-2015 in is gegaan) alvast door te voeren in de bestanden. Om die reden is een aantal CROHO-codes overschreven met de nieuwe, toekomstige code, zodat een landelijke vergelijking tussen betreffende opleidingen alvast mogelijk was (voor bepaalde instellingen was de conversie namelijk al wel eerder doorgevoerd). In de door GfK uitgeleverde bestanden (als belangrijkste het meerjarige Benchmarkbestand) was in de variabelen BrinActueel, BrinNaamActueel, CrohoActueel en CrohoNaamActueel de naam en codering van instelling en opleiding terug te vinden (dus ook de nieuwe naam na de eventuele techniekconversie), van de eerder genoemde peildatum. De benaming en codering, als oorspronkelijk aangeleverd door de instelling in het desbetreffende jaar, zijn nog altijd terug te vinden in de variabelen BRIN, BRINNaam, CROHO en CROHONaam. 6.5

AANMAAK RESULTAATBES TANDEN

Op basis van bestanden uit de jaargangen 2013-2014 en het bestand voor de NSE 2015 is door GfK een meerjarig moederbestand gemaakt. Dit moederbestand is gebruikt als basis voor de bestanden voor de NSE 2015. Om het bestand niet te ver in omvang te laten groeien (wat analyse beduidend zou vertragen), is er dit jaar voor gekozen om tot 2013 terug te gaan. Voor eerdere jaargangen is een Benchmarkbestand 2010-2014 beschikbaar.


50

6.6

ANALYSE RESPONS- EN INVULGEDRAG OP TA BLETS EN SMARTPHONES

Het smartphone- en tabletgebruik is de afgelopen paar jaar steeds verder toegenomen. Dat heeft belangrijke gevolgen voor het uitvoeren van online onderzoek. Het voert te ver om deze allemaal te behandelen in deze Onderzoeksverantwoording, maar verreweg de belangrijkste implicatie is dat respondenten minder bereid zijn om lange vragenlijsten op een smartphone in te vullen 11. Een vragenlijstontwerp dat speciaal is toegerust op mobiel invullen (met name op smartphone) is daarom van cruciaal belang. “Mobile research” is inmiddels mainstream geworden, ongeacht of onderzoekers dat prettig vinden of niet. Zo vult inmiddels gemiddeld meer dan 15% van de respondenten in het GfK online panel de vragenlijsten in op een tablet of smartphone. Om het mobiel invullen zo eenvoudig mogelijk te maken is de vragenlijst van de NSE 2015 volledig geschikt gemaakt voor invullen op smartphone of tablet. De interviewsoftware detecteerde automatisch op welk apparaat de vragenlijst werd ingevuld; de respondent kreeg vervolgens de vragenlijst te zien in een lay-out die het meest geschikt was voor invullen op het gebruikte apparaat. Dat studenten steeds vaker vragenlijsten mobiel invullen en daarin optimaal gefaciliteerd willen worden, zorgt ervoor dat onderzoeken “bij de tijd” blijven. Het mobiel invullen van de NSE riep echter wel een aantal methodologische vragen op. De belangrijkste daarvan waren het mogelijke effect op de themascores en de eventuele effecten van het switchen van het ene apparaat naar het andere gedurende het invullen. Deze zijn getest en worden in de volgende subparagrafen beschreven, na een kort overzicht van de omvang van het mobiel invulgedrag in de NSE. 6.6.1 Mobiel invullen van de NSE Bij de NSE 2015 werd de vragenlijst door 79,9% van de respondenten (die minimaal vraag 14A hebben ingevuld) op de PC geopend, 3,5% opende de vragenlijst op een tablet en 16,6% opende de vragenlijst op een smartphone. Respondenten die de vragenlijst op een PC/Mac openden, maakten de vragenlijst in vrijwel alle gevallen op hetzelfde apparaat af, tabletgebruikers (4%) en smartphonegebruikers (6%) wisselden vaker van apparaat voor verder invullen. Invullers op de smartphone braken vaker de vragenlijst af (na vraag 14A) vergeleken PC/laptop- en tabletgebruikers. Tabel 6.3: Devicegebruik begin / eind vragenlijst (respons, vraag 14A ingevuld), rijpercentages Desktop PC Tablet Telefoon Afgebroken --> start op:

<-eindigt op

Desktop PC

89%

0%

0%

11%

100%

Tablet

3%

85%

1%

11%

100%

Smartphone

6%

0%

78%

16%

100%

Voor degenen die de gehele vragenlijst op hetzelfde apparaat hebben ingevuld is de gemiddelde invulduur bekeken12. De tabel laat zien dat de gemiddelde invulduur van de vragenlijst op tablets iets hoger lag dan bij PC/laptop en smartphone.

De geïnteresseerde lezer verwijzen wij graag naar “The Handbook of Mobile Market Research” van Ray Pointer, Navin Williams en Sue York, Wiley, 2014. 12 Die kan in theorie liggen tussen 3 minuten (de minimaal geaccepteerde vragenlijstduur voor studenten in het afstandsonderwijs) en 30 minuten (invulduur boven 30 minuten betreft vrijwel zeker studenten die de vragenlijst hebben gepauzeerd om deze op later moment in te vullen, deze zijn daarom niet in deze berekening meegenomen). ___________________________________________________ Onderzoeksverantwoording Nationale Studenten Enquête 2015 51 11

Tabel 6.4: Gemiddelde invulduur per device (in minuten) PC/Laptop Gemiddelde tijdsduur

12,5

Tablet Smartphone 12,8

12,6

Minimum

3,5

4,3

4,0

Maximum

30,0

30,0

30,0

5,1

4,9

4,9

St.dev.

6.6.2 Kwaliteit van de gegevens De themascores in de NSE worden berekend vanuit vijfpunts likertschalen (vraagitems). Deze werden op de PC / Mac per thema aan de respondenten voorgelegd in een matrixvraag (grid). Op een smartphone werkte een dergelijke aanpak niet wegens de beperkte omvang van het scherm. De vragen werden door de interviewsoftware automatisch voorgelegd in de vorm van scrollmatrices, waarbij slechts één vraagitem tegelijk in beeld is. Dit kan potentieel leiden tot een ander antwoordpatroon dan bij het standaard matrixvraagformat (zie ook Sikkel et.al., 201413). Niet alleen de vragenlijstlay-out, ook de omgeving waarin men de vragenlijst invult, kan potentieel van invloed zijn op de resultaten. Het kan bijvoorbeeld nogal schelen of men de vragenlijst rustig thuis achter de PC invult, of op een smartphone in een volle tram. Om bovenstaande redenen is nagegaan of het apparaat waarop men de vragenlijst invulde van invloed was op de gemiddelde themascores (Figuur 6.2)14. Figuur 6.2: Gemiddelde themascores per device

13

Dirk Sikkel, Sjoerd Gras, Reinder Steenbergen en Paul Oosterveld: Klikken of Slepen: een vergelijking tussen vraagformats, gebaseerd op een verschillend gebruik van de muis, MOA jaargids 2014, p.87. 14 De gegevens zijn gewogen berekend ___________________________________________________ Onderzoeksverantwoording Nationale Studenten Enquête 2015

52

Uit de figuur valt af te lezen dat het apparaat waarop men de vragenlijst invulde slechts een marginale invloed had op de resultaten. De gemiddelde themascores verschilden niet systematisch (soms marginaal hoger, soms marginaal lager) en in de meeste gevallen was het verschil pas in het tweede cijfer achter de komma te zien15. 6.6.3 Switchgedrag Een beperkt deel van de respondenten wisselde van apparaat waarop de vragenlijst werd ingevuld. Zoals we eerder zagen, schakelde men meestal over van smartphone of tablet naar een PC/Mac en nauwelijks andersom. In Figuur 6.3 zijn de themascores weergegeven voor “switchers” en degenen die de vragenlijst volledig op hetzelfde apparaat invulden. Figuur 6.3: Gemiddelde themascores niet-switchers, switchers en partiële respondenten

Switchgedrag bleek nauwelijks van invloed op de resultaten: de gemiddelde themascores tussen switchers en niet-switchers verschilden slechts marginaal. Degenen die de vragenlijst voortijdig hebben afgebroken lieten gemiddeld iets lagere themascores zien, maar ook hier zijn de verschillen gering. 6.6.4 Conclusie Het apparaat waarop de vragenlijst werd ingevuld blijkt geen noemenswaardige gevolgen te hebben voor de kwaliteit van de verzamelde data. Wel duurde het invullen van de vragenlijst op mobiele apparaten gemiddeld iets langer en was – bij smartphones – de uitval na vraag 14A groter. Een verdere toename van invullen op smartphones zou dus tot een hogere item non-respons aan het eind van de vragenlijst kunnen leiden. 6.7

ANALYSE E-MAILADRESSEN

Een deel van de instellingen had naast het e-mailadres van de instelling een tweede e-mailadres aangeleverd voor het versturen van de uitnodigingen van het onderzoek. De veronderstelling is dat door

15

De verschillen in invulgedrag per device zijn alleen bekeken voor degenen die niet van device zijn geswitched tijdens het invullen en gewogen berekend. ___________________________________________________ Onderzoeksverantwoording Nationale Studenten Enquête 2015 53

de hogere trefkans (niet alle studenten gebruiken even intensief hun instellingse-mailadres) de responskansen worden vergroot. Om na te gaan of die veronderstelling klopt, is de gemiddelde respons per instelling berekend en zijn de instellingen die twee emailadressen hadden aangeleverd vergeleken met die waar slechts één emailadres beschikbaar was16. De (ongewogen) gemiddelde respons van de instellingen met een enkel e-mailadres was 38,9%, met een standaarddeviatie van 14,1. Instellingen met dubbele e-mailadressen hadden een gemiddelde respons van 45,7%, met een standaarddeviatie van 9,1. We kunnen hieruit concluderen dat de veronderstelling dat het aanleveren van twee e-mailadressen in potentie respons verhogend werkt klopt. 6.8

ANALYSE EXTRA WEEK V ELDWERK

De Vrije Universiteit Amsterdam (VU) had circa 7.000 studenten - in eerste instantie - niet uitgenodigd voor deelname aan de NSE 2015. Het betrof studenten die bij hun inschrijving hadden aangegeven niet benaderd te willen worden voor zaken anders dan noodzakelijk voortvloeiend uit de studie. Omdat het om een substantieel deel van de studentenpopulatie van de VU ging, is op later moment besloten deze studenten toch uit te nodigen. De interviews in deze groep hebben plaatsgevonden in de laatste week van de normale velwerkperiode (8 weken); de standaard veldwerkperiode is met een week verlengd naar 9 weken, zodat de uiteindelijke veldwerkperiode van het extra onderzoek (bijna) twee weken bedroeg. Er is onderzocht in hoeverre de verlate uitnodiging van invloed is geweest op de resultaten. De volgende hypothesen zijn daarbij onderzocht17: 1. Zijn de uitkomsten van de extra uitgezette groep studenten (groep II) significant gunstiger of ongunstiger dan de resultaten van de in eerste instantie aangeleverde groep studenten (groep I)? 2. Zo ja, is de verkorte responstijd hier de oorzaak van? Met andere woorden: heeft de kortere veldwerkduur voor deze groep ervoor gezorgd dat de resultaten (on)gunstiger zijn voor deze groep? 3. Zo ja, zijn de uitkomsten van de VU (on)gunstiger dan anders het geval zou zijn geweest? Met andere woorden: heeft deze extra actie de resultaten van de VU op een significant (on)gunstige wijze beïnvloed? De antwoorden op deze vragen zijn al volgt18: Hypothese 1: De extra uitgezette groep studenten (groep II) was gemiddeld genomen iets kritischer dan de totale groep; het betrof echter een dermate gering verschil dat het effect op de totaalcijfers voor de VU verwaarloosbaar was. 16

Elke instelling weegt daarbij even zwaar mee. Bij sommige grotere instellingen zijn zowel enkele als dubbele emailadressen aangeleverd, al naar gelang beschikbaarheid per student. Als meer dan 100 studenten in één van beide categorieën (enkel of dubbel adres) kon worden geplaatst, is gedaan alsof het om een afzonderlijke instelling ging. 17 In deze Onderzoeksverantwoording beperken we ons tot de hoofdconclusies uit de analyse. Er is bij Studiekeuze123 een uitgebreide notitie beschikbaar met een volledige beschrijving van de achtergronden en details van de analyse. 18 Beide groepen – normale veldwerkperiode en verkorte veldwerkperiode – zijn middels een weging zoveel mogelijk ceteris paribus vergeleken. ___________________________________________________ Onderzoeksverantwoording Nationale Studenten Enquête 2015 54

Hypothese 2: In de eerste veldwerkweken werd bij de standaard groep iets positiever geoordeeld dan in de laatste weken. Het verschil was echter marginaal. De later uitgenodigde groep was als geheel wat kritischer: als de resultaten van deze groep worden vergeleken met die uit de eerste twee veldwerk weken van de standaardgroep, dan blijken de scores voor de late groep marginaal lager. Het verschil is echter gering; het is niet aannemelijk dat bij een langere veldwerkperiode de scores van de verlate groep wezenlijk anders zouden zijn geweest dan die van de standaard groep. Hypothese 3: Het antwoord volgt uit de twee eerdere hypothesen: het is niet aannemelijk dat de resultaten anders zouden zijn geweest als de late groep tegelijk met de andere groep zou zijn uitgenodigd. Daarvoor zijn de gevonden verschillen te klein.


55

7.

OPGELEVERDE PRODUCTEN

7.1

BESTANDEN

Na afloop van het veldwerk is er een aantal bestanden geproduceerd. Het betrof databestanden:  voor de deelnemende instellingen;  voor verwerking van de NSE-resultaten door Studiekeuze123 en door anderen. Daarnaast is er per instelling een factsheet welke (zowel in het Nederlands als in het Engels) is verstuurd naar het CvB/de directie van elke deelnemende instelling. De NSE oordelen zijn geïntegreerd in de Studiekeuzedatabase van Studiekeuze123 voor publicatie op de website www.studiekeuze123.nl. De oplevering van bestanden vond plaats in de beveiligde GfK Drive omgeving. Met inloggegevens kon men daar de door GfK voor de gebruiker klaargezette bestanden downloaden. Hieronder volgt een algemene beschrijving van alle in het kader van de NSE 2015 uitgeleverde bestanden. 7.1.1 Bestanden voor deelnemende instellingen Codeboek De wijzigingen in het openbaar Benchmarkbestand worden elk jaar gedocumenteerd in het Codeboek (2015e). Het Codeboek geeft de semantiek van de variabelen in het SPSS bestand. Het bevat ook een gedetailleerde beschrijving van hoe wijzigingen in de vragenlijst sinds 2013 zijn doorgevoerd in het huidige Benchmarkbestand. De basis voor het huidige Codeboek is gelegd tijdens de NSE 2013, toen door een aantal wijzigingen in de vragenlijst het Benchmarkbestand qua opbouw was veranderd. Studiekeuze123 heeft er toen voor gekozen om de wijzigingen in de vragenlijst met terugwerkende kracht door te voeren in het Benchmarkbestand. Zie voor meer informatie paragraaf 6.3. Bij de NSE 2015 is de structuur van het bestand niet gewijzigd. In het Codeboek en in het SPSS-bestand zijn in de beschrijving van de variabelen aantekeningen gemaakt over wijzigingen, zodat een verwerker die het Codeboek niet bij de hand heeft, toch een indicatie heeft van de wijzigingen. Zie Tabel 7.1 en 7.2. Tabel 7.1: Voorbeeld documentatie SPSS-bestand (betreft wijziging per 2014)

Tabel 7.2: Voorbeeld documentatie SPSS-bestand (betreft wijziging per 2013)


56

Openbaar Benchmarkbestand (2013-2015) Dit bestand bevatte voor alle deelnemende instellingen alle antwoorden sinds 2013 op de standaard NSE vragenlijst. Het bestand is geanonimiseerd. Bovendien zijn door middel van verrijking gegevens uit externe bronnen (als het CROHO-register, peildatum 30 januari 2015) en gegevens uit de door instellingen aangeleverde informatie over studenten toegevoegd (zie ook hoofdstuk 3). Het bestand bevatte geen instellings-specifieke vragen of informatie (labels) en ook geen privacygevoelige gegevens. Het Benchmarkbestand was te openen en te bewerken in het softwarepakket SPSS (Statistical Package for the Social Sciences) van IBM Corp (2013). Dit bestand is tevens een openbaar bestand, in die zin dat het bij Studiekeuze123 opvraagbaar is door externe partijen. Het Benchmarkbestand voor de NSE 2015 heette ‘150511 Definitief Benchmarkbestand (2013-2015) v1.0’19. Met een digitale handtekening kon de authenticiteit van het bestand vastgesteld worden. De digitale handtekening voor dit bestand (2015) was: 7763edf5ab347079f078b9851a09ba1c. Het bestand bevatte de volgende variabelen: random volgnummer, jaar, weegfactor, actuele instellingscode, actuele instellingsnaam, oorspronkelijke instellingscode, oorspronkelijke instellingsnaam, actuele opleidingscode, actuele opleidingsnaam, oorspronkelijke opleidingscode, oorspronkelijke opleidingsnaam, locatie zoals aangeleverd door de instellingen, sector, sectornaam, soort hoger onderwijs, type hoger onderwijs, gemeentecode, stedelijkheid, landsdeel, numerus fixus, decentrale selectie, bekostiging, opleidingsvorm (vt/dt/du), opleidingsvorm (vt/dt), studiejaar volgens instelling, studiejaar volgens student, alle tevredenheidsoordelen, duidingsvragen, contacttijd, huur, woonsituatie en de antwoorden op de ultimate question. De antwoorden op de vragen over Handicap & Studie, internationale studenten en Engels taalaanbod waren niet opgenomen. Instellingsbestand Het Instellingsbestand is een extract uit het Benchmarkbestand met de antwoorden van alle deelnemende studenten van een specifieke instelling. Het is geleverd in SPSS formaat en op verzoek in Microsoft Office Excel formaat. Bovendien bevatte het Instellingsbestand de instellings-specifieke vragen (indien gesteld), de informatie die door de instelling zelf was aangeleverd in labels, de achtergrondkenmerken (leeftijd, geslacht, vooropleiding en etniciteit) en de antwoorden op Handicap & Studie, internationale studenten en Engels taalaanbod. Sleutelbestand Het Sleutelbestand legt de relatie tussen het ID als gebruikt in de NSE en het StudentID als aangeleverd door de instelling. Dit Sleutelbestand stelde instellingen in staat om de NSE-resultaten te koppelen aan andere gegevens die in hun studentenregistratie beschikbaar waren (denk bijvoorbeeld aan studievoortgang). Het bestand werd geleverd in SPSS formaat. Dit bestand is alleen geleverd aan instellingen waarmee de aanvullende overeenkomst is afgesloten. Open vraag bestand Dit bestand bevatte voor iedere instelling antwoorden van alleen de eigen studenten op de volgende open vraag, die als afsluiting van de NSE vragenlijst werd gesteld: “Heb je nog wensen of ideeën voor de verbetering van je opleiding of heb je verder nog opmerkingen? De door jou geplaatste opmerkingen worden doorgegeven aan jouw instelling. Zij gebruiken deze informatie voor het verbeteren van het onderwijs.” Om het bestand niet te omvangrijk te laten worden (wat analyses kan vertragen) zijn de jaargangen vóór 2013 niet in het bestand opgenomen. Voor jaargangen vóór 2013 is een afzonderlijk bestand beschikbaar (2010-2014). ___________________________________________________ Onderzoeksverantwoording Nationale Studenten Enquête 2015 57 19

De open antwoorden op bovengenoemde vraag zijn achteraf niet bewerkt en werden dus in ruwe vorm uitgeleverd aan de instellingen. Naar aanleiding van de NSE 2014 bleek bij diverse instellingen de behoefte te bestaan om de open antwoorden tot op een nog lager niveau te kunnen terugkoppelen dan in 2014 en zo beter te kunnen gebruiken voor een kwaliteitsverbetering binnen hun instellingen. In samenspraak met Studiekeuze123 is daarom besloten om – naast de opleidingsnaam, locatie, opleidingsvorm, Studiejaar en StudiejaarStudent - twee extra kenmerken mee te leveren: Organisatieonderdeel en de opleidingscode. Het bestand werd geleverd in Excel formaat via de beveiligde downloadomgeving (GfK Drive). 7.1.2 Overige verwerking Populatiebestand Het Populatiebestand is een bestand waarin de populatie (bruto N) en de respons (netto n) is opgenomen en wordt uitgesplitst naar alle mogelijke combinaties van de volgende achtergrondkenmerken: BRINActueel, CROHOActueel, Locatie, Fixus, Decentraal, Bekostiging, Opleidingsvorm3, Geslacht, Leeftijd, Etniciteit, Vooropleiding, Studiejaar en Woonsituatie. Dit bestand is de basis voor de beslissing op welk niveau wel/niet wordt gerapporteerd in de Studiekeuzedatabase en wordt door Studiekeuze123 gebruikt als naslagwerk. Dit bestand werd gebruikt bij de beslisregels voor het tonen van NSE resultaten op www.studiekeuze123.nl en voor Studie in Cijfers. Tevens werd (een aggregatie van) dit bestand gebruikt voor de Studiekeuzedatabase. De beslisregels staan op de website Studiekeuzeinformatie.nl. Benchmarkbestand Plus Het Benchmarkbestand Plus is een versie van het reguliere Benchmarkbestand aangevuld met de achtergrondkenmerken Leeftijd en Geslacht plus alle antwoorden van het blok Handicap & Studie (vraag 33-40). Dit bestand is gebruikt voor verwerking door Studiekeuze123 voor Studie in Cijfers (www.studiekeuzeinformatie.nl/studieincijfers) en de Studiekeuzedatabase (zie paragraaf 7.3). 7.2

FACTSHEETS

Iedere deelnemende instelling ontving bij de definitieve bestandoplevering (15 mei 2015) ook een Factsheet op instellingsniveau (in twee talen; Nederlands en Engels). De voorkant van de Factsheet bestond uit een overzicht van de themascores en de tevredenheidsoordelen. (zie Figuur 7.2):  Bovenaan, horizontaal, was te vinden: algemene tevredenheid over de opleiding, sfeer op de opleiding en of de student de studie zou aanraden aan anderen.  Van boven naar beneden de themascores van de instelling voor de NSE 2015, inclusief vergelijking met vorig jaar en met de landelijke themascores dan wel met een door de instelling aangegeven referentiegroep. Instellingen konden zelf kiezen met welke instellingen zij werden vergeleken op de Factsheets. Zij konden worden vergeleken met het landelijk gemiddelde (uitgesplitst naar wo of hbo). In plaats van dit landelijk gemiddelde hadden zij de mogelijkheid om zichzelf te vergelijken met maximaal zeven zelf te kiezen instellingen (zelf gekozen referentiegroep). Negen instellingen hebben gebruik gemaakt van de mogelijkheid zichzelf te vergelijken met een referentiegroep naar keuze. ___________________________________________________ Onderzoeksverantwoording Nationale Studenten Enquête 2015

58

Op de achterkant van de Factsheet zijn de scores voor de onderliggende items (2014 en 2015) vermeld, waarbij ook is aangegeven of de score in 2015 significant lager of hoger was dan in 2014. Middels een symbool is getoond of het item significant hoger, lager, of dat er geen significant verschil was met het landelijk gemiddelde of een zelf gekozen referentiegroep. Zie Figuur 7.1. Figuur 7.1: Gebruikte symbolen op Factsheet NSE 2015

Een wens van de instellingen was om de Factsheet meer eigen te maken. Daarom was het voor de instelling mogelijk een logo op te laten nemen op de Factsheet. Van deze mogelijkheid hebben 36 instellingen gebruik gemaakt. Naast een Factsheet voor de deelnemende instellingen is er ook een Factsheet ontwikkeld voor respectievelijk het gehele wo en het gehele hbo (wederom tweetalig; een Nederlandse versie en een Engelse versie). Deze staan op www.studiekeuzeinformatie.nl.


59

Figuur 7.2: Fictief voorbeeld van de voorzijde van de Factsheet NSE 2015


60

De Factsheets zijn op schrift verstuurd naar het CvB dan wel de directie van deelnemende instellingen en via de downloadomgeving (via GfK Drive) digitaal beschikbaar gesteld aan de Contactpersonen NSE van de instellingen. De voor de Factsheets gehanteerde methode voor het statistisch toetsen Figuur 7.3: Overlappende van de verschillen tussen twee percentages is gebaseerd op het betrouwbaarheidsmarges 50% berekenen van de betrouwbaarheidsmarges (95%) rond beide percentages. Vervolgens werd onderzocht of deze marges met elkaar overlapten (zie Figuur 7.3 voor het principe). Zo ja, dan verschilden de 40% gemiddelde percentages niet van elkaar. Zo nee, dan mocht worden geconcludeerd dat er sprake was van een statistisch significant verschil. 30% De berekening van de betrouwbaarheidsmarges rond de gemiddelde scores vond plaats volgens de volgende formule: 1,96*SD/wortel(n).

20%

10% Deze methode is wel iets conservatiever (er komen minder significante verschillen uit) dan de methode die het verschil tussen beide percentages toetst. Nadeel van deze laatste toets is echter dat die 0% Percentage A Percentage B moeilijker te visualiseren is. Voordeel is wel dat de resultaten bij de tweede toets-optie makkelijker in SPSS zijn na te rekenen (door middel van ‘Compare Means’).

7.3

VERWERKING STUDENTEN OORDELEN IN STUDIEKEUZEDA TABASE (DB15.4.1)

7.3.1 Cleaning ten behoeve van koppeling met de Studiekeuzedatabase De Studiekeuzedatabase van Studiekeuze123 bevat alleen opleidingen waarbij nieuwe instroom van studenten mogelijk is. In de NSE zijn ook studenten ondervraagd van opleidingen die nog actueel zijn, maar waar geen nieuwe instroom mogelijk is. De resultaten van deze opleidingen zijn dus niet opgenomen in de Studiekeuzedatabase, omdat deze opleidingen niet meer voorkomen in de database. Het betreft 76 opleidingen waarbij studenten wel deelnamen aan de NSE, maar die geen nieuwe instroom meer accepteerden. Om te kunnen koppelen met de Studiekeuzedatabase zijn de opleidingsgegevens van 195 opleidingen omgezet naar de actuele situatie20. Hierbij gaat het om gewijzigde instellingen, opleidingen en locaties. Voor drie opleidingen is de brincode gewijzigd, omdat de opleidingen aan een andere instelling worden gegeven. Bij één particuliere instelling zijn alle locaties samengevoegd tot één locatie ‘Diverse locaties’, omdat de Studiekeuzedatabase deze samenvoeging ook hanteert. Voor 68 opleidingen is de locatie gewijzigd om de opleiding te kunnen koppelen met de Studiekeuzedatabase. Voor 81 combinaties van instellingen, opleidingen en locaties is de opleidingscode gewijzigd. Voor 2.893 van de in totaal 4138 bachelor- en masteropleidingen en Associate degrees zijn studentenoordelen opgenomen in de Studiekeuzedatabase. Dat betekent dat er studentenoordelen zijn voor respectievelijk 85%, 49% en 36% van de opleidingen waarvoor instroom in het collegejaar 20152016 mogelijk is. De exacte cijfers zijn te vinden in Tabel 7.3. Om de resultaten van de NSE op te kunnen nemen in de Studiekeuzedatabase is een aantal bewerkingsstappen gezet die in onderstaande paragrafen worden toegelicht.

20

Peildatum CROHO: 20 april 2015 ___________________________________________________ Onderzoeksverantwoording Nationale Studenten Enquête 2015

61

Allereerst is het opleidingsaanbod uit de NSE en de Studiekeuzedatabase gecontroleerd op inconsistenties. Vervolgens zijn de gemiddelde scores per vraag en themascore per opleiding berekend. Bij het berekenen van de geaggregeerde resultaten is telkens gecontroleerd op voldoende respons binnen een opleiding. Tabel 7.5 toont het aantal opleidingen dat is opgenomen in de database. Voor instellingen die niet deelgenomen hebben aan de NSE 2015, worden de oordelen van de NSE 2014 opgenomen in de Studiekeuzedatabase. Indien ook deze ontbreken, worden er geen studentenoordelen opgenomen in de Studiekeuzedatabase. 7.3.2 Beslisregels en controle van respons per opleiding Aangezien de oordelen middels een enquête zijn verkregen, zijn criteria opgesteld op basis waarvan een oordeel al dan niet wordt meegenomen in de Studiekeuzedatabase. Zo wordt voorkomen dat het gemiddelde oordeel is gebaseerd op een niet-representatieve selectie van studenten. Opname in de Studiekeuzedatabase gebeurt op grond van onderstaande criteria. (1) Minimale respons van 5 (2) Maximale betrouwbaarheidsmarge van 0.5 Oordelen over opleidingen worden opgenomen in de Studiekeuzedatabase wanneer voldoende studenten van de opleidingen hebben deelgenomen aan de NSE. De grens ligt bij een minimale respons per opleiding van vijf respondenten. Dit houdt in dat minstens vijf studenten de vragenlijst tot en met de algemene oordeelvragen hebben ingevuld (criterium Benchmarkbestand). Ook wordt sinds 2013 gekeken naar de betrouwbaarheidsmarge van het oordeel. Deze mag niet meer dan .5 bedragen, hetgeen inhoudt dat de gemiddelde score .5 hoger of .5 lager kan liggen. Met andere woorden, een getoond studentenoordeel van 3,5 ligt in theorie maximaal tussen de 3,0 en 4,0. Overigens is bij de berekening van de marge een eindigheidscorrectie toegepast21. De eindigheidscorrectie houdt rekening met het feit dat het aantal oordelen af en toe de populatie aan oordelen benadert (binnen bijvoorbeeld een opleiding). 7.3.4 Controleren van respons en marge per vraag De beslisregels zoals die in voorgaande paragraaf staan beschreven worden toegepast op elk gemiddelde dat wordt berekend. Omdat niet alle respondenten alle vragen invullen (‘missing values’ of ‘niet van toepassing’), kan het dus voorkomen dat sommige oordelen niet gevuld zijn. Bijvoorbeeld wanneer een bepaalde vraag door minder dan vijf respondenten is beantwoord, dan is de kans te groot dat deze score niet betrouwbaar is. 7.3.5 Samenvoegen van opleidingen bij onvoldoende respons Indien een opleiding te weinig respons had, is gekeken of de opleiding met een andere locatie van dezelfde opleiding kon worden samengevoegd. Daarnaast zijn de oordelen van de éénjarige universitaire lerarenopleidingen samengevoegd. Hoeveel opleidingen zijn samengevoegd is te zien in Tabel 7.3. Opleidingen zijn niet opgenomen indien de respons te laag was, de marge te groot was en/of er geen aanpalende opleiding kon worden gevonden.

21

Een eindigheidscorrectie betreft een statistische correctie om te corrigeren voor discrepanties tussen steekproef en populatie. Het wordt voornamelijk gebruikt wanneer de populatie relatief klein is en de steekproef (gerelateerd aan de populatie) groot. Voor meer informatie zie ook: http://www.studiekeuzeinformatie.nl/studiekeuzedatabase/over-studiekeuzedatabase/beslisregels-voor-tonen-vannse-resultaten ___________________________________________________ Onderzoeksverantwoording Nationale Studenten Enquête 2015 62

Van de 1.484 voltijd bacheloropleidingen hebben 95 opleidingen geen studentenoordelen in de Studiekeuzedatabase vanwege een te lage respons of omdat de opleiding niet deelnam aan de NSE. Voor 43 opleidingen zijn de oordelen van verschillende locaties of van verwante opleidingen (éénjarige universitaire lerarenopleidingen) samengevoegd om te komen tot een voldoende grote steekproef of een kleinere marge (op opleidingsniveau). Wanneer een opleiding is samengevoegd met een andere opleiding is dit vermeld in het veld ‘Noot’ in de Studiekeuzedatabase. Ook voor de deeltijd- en duale opleidingen zijn de aantallen berekend (zie Tabel 7.3). Tabel 7.3: Opname studentenoordelen in de Studiekeuzedatabase Voltijd

Aantal opleidingen in DB Aantal opleidingen met oordeel Waarvan een samenvoeging Geen oordeel

Deeltijd

Duaal

Totaal

Ba

Ma

Ad

Ba

Ma

Ad

Ba

Ma

Ad

1.484

993

69

651

550

118

174

71

28

4.138

1.389

722

44

422

183

35

65

26

7

2.893

43

70

8

26

22

-

-

-

-

169

95

271

25

229

367

83

109

45

21

1.245

in % Gevuld

93,6% 72,7% 63,8% 64,8% 33,3% 29,7% 37,4% 36,6%

25,0% 69,9%

Niet gevuld

6,4%

75,0% 30,1%

27,3% 36,2% 35,2% 66,7% 70,3% 62,6% 63,4%

7.3.6 Aggregeren: het berekenen van de scores per opleiding Per opleiding zijn de gemiddelde scores per vraag berekend. Om te corrigeren voor responsafwijkingen zijn gewogen gemiddelden meegenomen. Hierbij is gebruikgemaakt van de weegfactor aanwezig in het Benchmarkbestand. Naast een gewogen gemiddelde is per opleiding het aantal respondenten, de standaarddeviatie en de betrouwbaarheidsmarge per vraag opgenomen in de Studiekeuzedatabase. Bij de berekening van de betrouwbaarheidsmarge is rekening gehouden met de eindigheidscorrectie (om te corrigeren voor benadering populatie van respons). In Tabel 7.4 staan de verschillende aggregatieniveaus weergegeven. In de Studiekeuzedatabase zijn eveneens oordelen opgenomen die specifiek aan studenten met een handicap zijn voorgelegd. Op basis van deze oordelen is een tabel berekend per instellingslocatie. Bij de berekening van deze tabel zijn dezelfde beslisregels gebruikt als bij de andere tabellen. Tabel 7.4: Overzicht tabellen met studentenoordelen in de Studiekeuzedatabase Tabel in Studiekeuzedatabase

Omschrijving

Ba voltijd Ma voltijd Ba en Ma deeltijd Ba en Ma duaal Opleidingen_Vestigingen Studies Steden Vestigingen Handicapoordelen per vestiging

Alle voltijd bachelor opleidingen Alle voltijd master opleidingen Alle deeltijdopleidingen (Ba & Ma) Alle duale opleidingen (Ba & Ma) Alle opleiding-vestigingslocaties Oordelen per studie (aggregatieniveau in SKDB) Oordelen per studiestad Oordelen per instellingslocatie Handicapoordelen per instellingslocatie


63

7.4

VERWERKING STUDENTEN OORDELEN IN STUDIE IN CIJFERS 2015 -2016

Om in één oogopslag een aantal relevante kenmerken van een opleiding weer te kunnen geven, biedt Studiekeuze123 het product Studie in Cijfers (SiC) - ook wel bekend als de Studiebijsluiter - aan. De plaatjes aan de hand waarvan de kernindicatoren van zowel de opleiding zelf als de landelijke gemiddelden worden getoond, zijn voor deelnemende instellingen geïntegreerd in de aangeboden opleidingsinformatie op www.studiekeuze123.nl. Daarnaast bestaat de mogelijkheid om de plaatjes op te nemen in voorlichtingsmateriaal zoals bijvoorbeeld informatiefolders en (opleidings)websites van de instellingen zelf. Vanwege inhoudelijke overwegingen zijn niet alle gepubliceerde indicatoren voor hbo- en wo-opleidingen exact gelijk. Voor beide type opleidingen geldt evenwel dat enkele Studie in Cijfers-gegevens afkomstig zijn uit de NSE 2015 of met behulp van NSE-data worden samengesteld. Het algemene oordeel over de studie (hbo en wo) en de door eerstejaarsstudenten ervaren hoeveelheid contacttijd (hbo) zijn volledig te herleiden vanuit de responsgegevens van de NSE. Evenals de Studiekeuzedatabase wordt Studie in Cijfers ingezet om studiekiezers te informeren. De op dat moment meest actuele versie van de Studiekeuzedatabase (DB15.4.0) diende als basis voor Studie in Cijfers 2015-2016. Hiervoor zijn enkel opleidingen met de mogelijkheid tot nieuwe inschrijvingen voor het studiejaar 2015-2016 geselecteerd. Voor Studie in Cijfers is deze selectie echter teruggebracht tot alle bekostigde bacheloropleidingen die in voltijd worden aangeboden. In het vervolg van deze paragraaf wordt per Studie in Cijfers-indicator, waar de NSE een rol in speelt, beschreven waar de bewerkingen uit bestaan en op hoeveel opleidingen deze van toepassing zijn voor de uitvoering van Studie in Cijfers 2015-2016. Tabel 7.5 toont een beknopt overzicht van de uiteindelijk meegenomen aantallen opleidingen en locaties naar onderwijsniveau. Sommige opleidingen starten voor het eerst in studiejaar 2015-2016 en worden daarom opgenomen in Studie in Cijfers, maar deze opleidingen hebben nog niet deel kunnen nemen aan de NSE. Tabel 7.5: Aantallen per vertegenwoordigde indicator Studie in Cijfers 2015-2016 Opleidingen hbo Studie in Cijfers totaal Algemeen oordeel studie Ervaren contacttijd eerstejaars

827 803 729

Locaties hbo 998 965 n.v.t.

Opleidingen wo 404 389 n.v.t.

Locaties wo 410 392 n.v.t.

Bij opleidingen wo is gebruikgemaakt van cijfers van de instellingen zelf (geprogrammeerde contacturen) in plaats van cijfers uit de NSE. Vandaar dat hier n.v.t. staat. Het cijfer over de contacttijd voor hbo werd per opleiding en niet per locatie getoond. Vandaar dat ook daar n.v.t. staat. 7.4.2 Studenttevredenheid in Studie in Cijfers De studenttevredenheid zoals opgenomen in Studie in Cijfers staat gelijk aan de beoordeling van de eerste tevredenheidsvraag “Hoe tevreden ben je over je studie in het algemeen?” in de Nationale Studenten Enquête. Teneinde de gehele opleiding in kaart te brengen en niet alleen de mening van eerstejaarsstudenten is het gemiddelde van alle voltijdstudenten binnen een opleiding meegenomen. Indien van toepassing werd de gemiddelde tevredenheid per leslocatie gepresenteerd. ___________________________________________________ Onderzoeksverantwoording Nationale Studenten Enquête 2015

64

Om te corrigeren voor responsafwijkingen zijn de gegevens gewogen. Hierbij is gebruikgemaakt van de weegfactor uit het Benchmarkbestand. Naast het gewogen gemiddelde is per opleiding/locatie het aantal respondenten, de standaarddeviatie en de betrouwbaarheidsmarge meegenomen. Uiteindelijk werd – mits aan de verderop beschreven voorwaarden werd voldaan – de gemiddelde schaalscore, met mogelijke waarden tussen één en vijf (1=zeer ontevreden; 5=zeer tevreden) gepresenteerd. In het responsbestand zijn enkele wijzigingen doorgevoerd om opleidingsgegevens naar de actuele situatie van het moment van leveren te converteren. Voor opleidingen in de NSE gold derhalve het volgende: Voor Markus Verbeek Praehep, Codarts Rotterdam en Maastricht School of Management zijn bij alle 13 opleidingen de oordelen van de NSE 2014 meegenomen, omdat deze instellingen in 2015 niet hebben meegedaan aan de NSE. Het samenvoegen van 20 combinaties van instelling, opleiding en locatie tot 11 joint degrees/samenwerkingsverbanden. Voor één opleiding is de BRIN gewijzigd. Voor 37 combinaties van instelling, opleiding en locatie is de opleidingscode aangepast. Voor 39 combinaties van instelling, opleiding en locatie is de leslocatie aangepast. De gemiddelde oordelen van opleidingen/locaties zijn alleen opgenomen in Studie in Cijfers wanneer voldoende studenten van de betreffende opleiding/locatie de gebruikte vraag van de NSE hadden beantwoord. Om de privacy van respondenten van kleine opleidingen te waarborgen, lag de grens bij een minimale respons van vijf respondenten per opleiding/locatie. Dit houdt in dat minstens vijf studenten een oordeel moeten hebben gegeven (criterium benchmarkbestand). De respons bij 17 studies was lager dan vijf. Bij de beslissing/overweging of een cijfer zou worden gepubliceerd is gekeken naar de 95%betrouwbaarheidsmarge van het oordeel. Deze mocht niet meer dan .5 bedragen, hetgeen inhoudt dat bij een gemiddelde populatiescore die .5 hoger of .5 lager lag, de kans op de steekproefuitkomst minder dan vijf procent was. Bovendien is bij de berekening van de marge een eindigheidscorrectie toegepast. Dit houdt in dat er rekening is gehouden met het feit dat bij kleine populaties de marges relatief klein zijn. Zie voor meer informatie de uitleg op www.studiekeuzeinformatie.nl. Voor tien opleidingen geldt dat bij voldoende respons niet aan het betrouwbaarheidscriterium werd voldaan. In het hbo voldeden in totaal 803 opleidingen en 965 locaties aan de beschreven opnamecriteria. Voor het wo waren dat 389 opleidingen en 392 locaties. 7.4.3 Contacttijd eerstejaars Voor hbo-opleidingen bevat het Studie in Cijfers-plaatje een indicatie van de door eerstejaarsstudenten ervaren contacttijd. Deze is gebaseerd op de vraag “In deze onderwijsperiode wordt mij de volgende hoeveelheid contacttijd aangeboden:……” uit de NSE. Sinds 2013 wordt het aantal klokuren in het antwoord uitgedrukt in vooraf bepaalde categorieën (minder dan 6, 6-12, 12-18, 18-24, 24-30 en 30 of meer). Bij de verwerking hiervan voor Studie in Cijfers is gekozen om per opleiding de modus te tonen. Bij wo-opleidingen wordt gebruikgemaakt van cijfers van de instellingen zelf (geprogrammeerde contacturen) in plaats van cijfers uit de NSE. Ook bij het gebruik van deze gegevens zijn bepaalde opleidingskenmerken uit het NSEbenchmarkbestand omgezet naar de actualiteit van dat moment: ___________________________________________________ Onderzoeksverantwoording Nationale Studenten Enquête 2015

65

-

Voor Markus Verbeek Praehep, Codarts Rotterdam en Maastricht School of Management zijn bij alle 13 opleidingen de oordelen van de NSE 2014 meegenomen, omdat deze instellingen in 2015 niet hebben meegedaan aan de NSE.Vijf oorspronkelijk als afzonderlijk opgenomen opleidingen werden verdeeld over drie joint degrees/samenwerkingsverbanden.Voor vijf combinaties van instelling, opleiding en locatie is de opleidingscode aangepast.Voor 17 combinaties van instelling, opleiding en locatie is de leslocatie aangepast.

Met betrekking tot deze indicator is, net als bij de cijfers van Studie in Cijfers die niet met behulp van de NSE tot stand zijn gekomen, het minimale aantal studenten waar uitspraken over wordt gedaan, vastgesteld op tien. Inzake de ervaren contacttijd van eerstejaarsstudenten bleek dat voor 78 opleidingen de respons te laag was. De modus van de contacttijd is in eerste instantie bepaald door per opleiding te kijken welke antwoordcategorieën door de meeste eerstejaarsstudenten zijn gekozen. Vervolgens zijn de volgende beslisregels geactiveerd: Bij één vaakst gekozen antwoord werd die categorie getoond. Wanneer twee verschillende antwoorden even vaak waren aangekruist en dit twee opeenvolgende categorieën betrof, zijn deze als één grote categorie meegenomen (bijvoorbeeld 6-12 en 12-18 wordt dan 6-18). Bij twee modi gescheiden door ten minste één minder vaak gekozen antwoord is er geen cijfer voor contacttijd opgenomen. In het geval van drie vaakst gekozen categorieën die een ordinale reeks vormen, is de middelste van deze afgebeeld (bijvoorbeeld 12-18, 18-24 en 24-30 is gelijk aan 18-24). Drie modi die geen aaneengesloten geheel vormden, zorgden voor het ontbreken van een contacttijdcijfer. Indien er vier of meer meest gegeven antwoorden waren, bleef het veld dat de contacttijd representeerde leeg. Bij één opleiding met voldoende respons op de betreffende NSE-vraag kon als gevolg van bovenstaande beslisregels geen eenduidige modus worden aangewezen. Het uitsluiten van verscheidene opleidingen ten gevolge van een te lage respons of het ontbreken van een duidelijk aanwijsbare modus resulteerde in de opname van contacttijdgegevens voor 729 opleidingen (88,1%) in het hbo.


66

8.

VALORISATIE

De resultaten uit de NSE worden voor diverse doeleinden gebruikt: in analyses naar de staat van het Nederlandse hoger onderwijs en onderwijsverbetering en studiekeuze-informatie. Daarnaast zijn er overige geïnteresseerden, waaronder journalisten en studenten zelf. 8.1. MONITORING VAN HET ONDERWIJS Hoger onderwijsinstellingen Hoger onderwijsinstellingen gebruiken de resultaten als sturingsinformatie voor hun opleidingen. Op welke punten zijn studenten meer of minder tevreden geworden ten opzichte van vorig jaar of ten opzichte van andere opleidingen of instellingen? De NSE resultaten worden gebruikt in visitaties en de accreditatie door de NVAO. Inspectie van het Onderwijs Jaarlijks brengt de Inspectie van het Onderwijs het Onderwijsverslag ‘De Staat van het Onderwijs’ uit. Hierin wordt ook gerapporteerd over de tevredenheid van studenten in het hoger onderwijs. Dit rapport is te vinden op http://www.onderwijsinspectie.nl/binaries/content/assets/Onderwijsverslagen/2015/onderwijsverslag2013-2014.pdf Ministerie van OCW Het Ministerie van OCW gebruikt de NSE-resultaten voor het monitoren van de ambities uit de Lerarenagenda (Kamerstukken II 2013/14, 27 923, nr. 171). De voortgangsrapportage van 8 oktober 2014 is te vinden op de website www.trendsinbeeldocw.nl. De ‘Monitor Beleidsmaatregelen’ is een onderzoek uitgevoerd door ResearchNed in opdracht van het ministerie van OCW. Dit onderzoek volgt de studiekeuze, het studiegedrag en het leengedrag van studenten in relatie tot de beleidsmaatregelen die sinds 2010 in het hoger onderwijs zijn ingevoerd. Hier zijn mede de studentenoordelen uit de NSE voor gebruikt. Het rapport is te vinden op: http://www.rijksoverheid.nl/documenten-en-publicaties/rapporten/2014/12/01/monitorbeleidsmaatregelen-2014.html Expertisecentrum Handicap en Studie Jaarlijks stelt Expertisecentrum Handicap en Studie een jaarrapport op “Gebruikerstoets studeren met een handicap”. Hiervoor worden de resultaten van het vragenblok Handicap & Studie gebruikt uit de Nationale Studenten Enquête. Ook worden web grafieken met gemiddelde scores per instelling gepubliceerd op http://www.handicapstudie.nl/onderwijsinstellingen.aspx over de volgende onderwerpen: De voorlichting en informatievoorziening over studeren met een handicap of beperking. De opvang die je opleiding aan studenten met jouw handicap bij de start van hun studie biedt. De beschikbare hulpmiddelen en faciliteiten. De aanpassingen in het onderwijs die je opleiding biedt. De mate waarin de docenten en overige medewerkers begrip voor jou hebben. De mate waarin de docenten en overige medewerkers voldoende kennis van zaken hebben. De speciale begeleiding die je tijdens je studie krijgt. ___________________________________________________ Onderzoeksverantwoording Nationale Studenten Enquête 2015

67

8.2 STUDIEKEUZE-INFORMATIE C.H.O.I. Het Centrum Hoger Onderwijs Informatie (C.H.O.I.) gebruikt de NSE resultaten voor haar website www.kiesjestudie.nl en voor de jaarlijkse uitgifte van de Keuzegidsen-reeks. Op www.keuzegids.org is te lezen welke gegevens uit de NSE zijn gebruikt. Elsevier Ook Weekblad Elsevier vergelijkt alle opleidingen in het hoger onderwijs. Het onderzoek van Elsevier is gebaseerd op oordelen van studenten en hoogleraren. De studentenoordelen komen uit de Nationale Student Enquête, de oordelen van hoogleraren uit de Elsevier Faculty Rating (EFR). Zie ook: http://bestestudies.elsevier.nl/onderzoek/beste-studies-2014/7 8.3 OVERIGE INZET VA N NSE-RESULTATEN Studenten en docenten Er zijn geregeld studenten die de studentenoordelen gebruiken voor hun scripties en (research)masters, over bijvoorbeeld de studenttevredenheid binnen een opleiding, de kwaliteit van het onderwijs of de onderwijsvoorzieningen binnen een instelling. Ook zijn er docenten die de resultaten voor onderwijsdoeleinden gebruiken, waaronder de Technische Universiteit Eindhoven. Studiekeuze123 Studiekeuze123 bestond in 2014 vijf jaar en in dat kader zijn de resultaten van de Nationale Studenten Enquête over een langere periode bekeken. Dit heeft geleid tot een rapport waarin een analyse is gemaakt van de studenttevredenheid per opleidingssector, voor zowel het hbo als het wo, gedurende 2010-2014. Op deze wijze ontstond een landelijk beeld van de studentenoordelen, waarin ook vergelijking tussen hbo en wo en tussen de NSE-thema’s en opleidingssectoren mogelijk is. Dit rapport is te vinden op www.studiekeuzeinformatie.nl. Overigen In toenemende mate merken wij belangsteling voor het gebruik van de NSE-resultaten als input voor beleidsvoorbereiding. Bijvoorbeeld bij gemeenten die onderwijsinstellingen binnen hun grenzen hebben.


68

NAWOORD De NSE wordt gebruikt voor studiekeuzevoorlichting en voor kwaliteitszorg. In 2015 is onze aandacht onder meer gegaan naar het vinden van instrumenten en maatregelen om de respons te verhogen. Aanleiding was de tegenvallende respons van 2014: 33,7% terwijl we minimaal 35% hadden verwacht. Voor de bruikbaarheid van de NSE is, naast een goede vragenlijst, een hoog responspercentage belangrijk. Enerzijds omdat hoe meer studenten de vragenlijst invullen hoe betrouwbaarder de resultaten zijn, maar ook vanwege de evenwichtige celvulling. Vanwege privacy-overwegingen worden oordelen niet altijd getoond op de website van Studiekeuze123 als het aantal respondenten laag is. Dit speelt vooral bij kleinere opleidingen en specifieke subgroepen (bijv. masterstudenten). In 2015 hebben we een aantal maatregelen getroffen die bedoeld waren om de respons te verhogen. Het blijft altijd gissen of dit gewerkt heeft, maar de netto respons was dit jaar in elk geval 38,9%, dat is 5,4% hoger dan in 2014. Het netto aantal studenten, dat de NSE heeft ingevuld, was ook nog nooit zo hoog, namelijk 275.857. De belangrijkste maatregelen vanuit Studiekeuze123 waren: Promotiemateriaal Posters en banners zijn opnieuw ontworpen. Verder is er ook een video gemaakt die gebruikt kan worden. Daarnaast hebben er diverse campagnes gelopen op sociale media (Facebook en Twitter) om de NSE onder de aandacht te brengen. Ook de website www.nse.nl is vernieuwd en uitgebreid. Handboek Vanuit de docenten kregen we veel vragen over hoe ze de NSE onder de aandacht konden brengen bij studenten zonder dat er sprake is van beïnvloeding. We hebben een webpagina gemaakt met tips, tricks en een FAQ met antwoorden over o.a. privacy, hoe de NSE wordt uitgevoerd, en wat er gedaan wordt met de resultaten. Smartphone De vragenlijst is geheel opnieuw geprogrammeerd en kon nu gemakkelijk op zowel laptop/pc, tablet als smartphone ingevuld worden. Gebruikers konden tijdens het invullen overstappen van het ene apparaat op het andere. In één keer invullen van de vragenlijst hoeft dus niet. De nieuwe vragenlijstsoftware is geoptimaliseerd voor kleine schermen en invullen met de vingers. Inmiddels beschikt 96% van de jongeren in Nederland over een smartphone. Uit de gegevens zagen we dat ongeveer 15% van de respondenten de NSE invulde op een smartphone of tablet. Responsontwikkeling Deelnemende instellingen konden de ontwikkeling van de respons vrijwel real-time bijhouden op een website. Per opleiding kon de respons worden bekeken. Studiekeuze123 maakte ook wekelijks een overzicht van de algemene respons van alle instellingen. In 2015 heeft Studiekeuze123 meer dan in andere jaren de ontwikkeling van de respons actief geanalyseerd en heeft contact opgenomen met instellingen waar de respons achterbleef. Incentives ___________________________________________________ Onderzoeksverantwoording Nationale Studenten Enquête 2015

69

Dit jaar hebben we gekozen voor een beperkt aantal grote incentives en een groter aantal kleinere. We hebben vier keer een halfjaar collegegeld, zes Apple watches en tweehonderdennegen BOL.com bonnen verloot. Vooral het halfjaar collegegeld viel op. Nieuw ook dit jaar is dat we de naam en instelling van alle winnaars, met hun toestemming, gepubliceerd hebben op www.nse.nl. Hierdoor konden studenten ook zien dat de incentives ook daadwerkelijk werden uitgekeerd. We denken dat we het instrument van de incentives de komende jaren nog kunnen aanscherpen. Naast genoemde maatregelen die Studiekeuze123 zelf heeft getroffen zien we ook dat er bij een toenemend aantal instellingen structureel meer aandacht wordt besteed aan het invullen van de NSE. Naast de communicatie die verzorgd wordt vanuit Studiekeuze123, ondernemen steeds meer instellingen ook zelf activiteiten om het belang van het invullen van de NSE onder de aandacht te brengen. Meer en meer instellingen werken met een communicatieplan voor de NSE en ook vanuit de directies wordt het belang van het invullen van de NSE in toenemende mate onder de aandacht gebracht. Er was voor de NSE 2015 ook een werkgroep opgericht waarin Studiekeuze123 en een aantal deelnemende instellingen bespraken wat de ervaringen zijn met de communicatie vanuit Studiekeuze123 en binnen de instellingen. Wat kunnen we van elkaar leren? Een aantal andere belangrijke zaken die dit jaar speelden waren onder andere: Factsheet beschikbaar onder Creative Commons In 2014 heeft Studiekeuze123 de factsheet van de NSE opnieuw laten ontwerpen. Deze factsheet bevat de resultaten van de NSE van een instelling op 2 A4-tjes. Het ontwerp van de factsheet is goed in de smaak gevallen, want Studiekeuze123 kreeg herhaaldelijk verzoeken of het ontwerp gebruikt mocht worden. Dit verzoek is gehonoreerd en het ontwerp – let op: het ontwerp, niet de inhoud - van de factsheet wordt nu door Studiekeuze123 beschikbaar gesteld onder een Creative Commons licentie. Met een Creative Commons-licentie behoudt Studiekeuze123 alle rechten, maar geeft Studiekeuze123 aan anderen toestemming om de factsheets te verspreiden, met anderen te delen of te bewerken. Zie verder de website van Creative Commons (http://creativecommons.nl). Studiekeuze123 ziet de NSE vooral als een instrument dat gebruikt moet worden en steunt dit soort initiatieven dan ook van harte. Evaluatie vragenlijst In 2015 is er een evaluatie van de vragenlijst uitgevoerd. De vragenlijst bestaat uit twee delen, een zogenaamd trend-deel met vragen die voornamelijk over het onderwijs zelf gaan en een niet-trend-deel met vragen over ondersteunende zaken. In 2015 was een evaluatie van het niet-trend deel voorzien. Studiekeuze123 heeft met een groot aantal stakeholders gesprekken gevoerd over de verdere ontwikkeling van de vragenlijst. Vanuit de instellingen is een groot aantal suggesties ontvangen. Studiekeuze123 gaat daarom een werkgroep Vragenlijst inrichten die alle reacties door zal nemen en een advies zal uitbrengen aan het bestuur Studiekeuze123 voor de NSE 2017. Studiekeuze123 stelt de inbreng en het enthousiasme van de instellingen zeer op prijs. Daaruit blijkt dat de NSE leeft en gewaardeerd wordt. Non-respons onderzoek In deze Onderzoeksverantwoording staat in hoofdstuk 5 een analyse van studenten die de NSE niet hebben ingevuld, de zogenaamde non-respons. Dit is een kwantitatieve analyse op basis van door de instellingen aangeleverde gegevens. Hiermee wordt op basis van een aantal achtergrondkenmerken, zoals geslacht, studiejaar, eerstejaars/ouderejaars e.d., inzichtelijk gemaakt hoeveel studenten de NSE niet hebben ingevuld. ___________________________________________________ Onderzoeksverantwoording Nationale Studenten Enquête 2015

70

Wat hiermee niet duidelijk wordt zijn de redenen voor deze non-respons. Om hier meer inzicht in te krijgen heeft Studiekeuze123 in 2015 een separaat, kwalitatief, non-respons onderzoek (2015f) uitgevoerd. In dit onderzoek zijn 68 studenten geïnterviewd. Hen is onder meer gevraagd naar de redenen waarom ze de NSE niet hebben ingevuld. De belangrijkste conclusies zijn:  





De bekendheid van de NSE is goed, maar er zijn vragen over de onafhankelijkheid omdat de emails namens de instelling worden verstuurd, niet namens Studiekeuze123 of de NSE; Studenten zijn enquetemoe. De NSE moet zeker in het wetenschappelijk onderwijs concurreren met veel interne verzoeken voor het evalueren van o.a. docenten en vakken en ook met enquêtes van medestudenten; E-mail blijkt een minder effectief middel om studenten te bereiken. Mail wordt niet regelmatig gelezen. Studenten gebruiken onderling middelen als Whatsapp, Instagram e.d.. Ook worden de e-mails van de NSE onvoldoende bevonden (te lang, te veel); Men ziet als verreweg het belangrijkste nut van de NSE de mogelijke verbetering van de kwaliteit van onderwijs en studiefaciliteiten binnen de eigen opleiding. Het geven van voorlichting voor studiekeuze speelt veel minder. Tegelijkertijd geeft men aan zich niet te kunnen herinneren dat de enquêteresultaten of verbeteracties worden teruggekoppeld.

Verder waren er suggesties over o.a. communicatie (mails), promotie, open vragen en het gebruik van incentives. De resultaten van dit onderzoek zullen gebruikt worden voor de NSE's van de komende jaren. Studiekeuze123 gaat dit onderzoek om de paar jaar herhalen. De NSE is een onderzoek dat gewaardeerd wordt door de gebruikers en een goede naam heeft in Nederland. Dat komt mede doordat het een gevalideerd onderzoek is: de betrouwbaarheid, validiteit en representativiteit zijn aantoonbaar op orde bij de NSE. Maar ook hier geldt dat stilstand achteruitgang is. Vandaar dat Studiekeuze123 samen met de deelnemende instellingen elk jaar op zoek gaat naar verbeterpunten om op een aantal punten de uitvoering te verbeteren. We denken dat deze aanpak van verbetering met kleine stapjes goed past bij de NSE.


71

BRONVERMELDING

IBM Corp. (2013). IBM SPSS Statistics for Windows, Version 22.0. Armonk, NY: IBM Corp. Stichting Studiekeuze123. (2015a). Onderzoeksverantwoording Nationale Studenten Enquête 2015. Stichting Studiekeuze123. (2015b). Vragenlijst Nationale Studenten Enquête 2015 Nederlands. Stichting Studiekeuze123. (2015c). Vragenlijst Nationale Studenten Enquête 2015 Engels. Stichting Studiekeuze123. (2015d). Vragenlijst Nationale Studenten Enquête 2015 Duits. Stichting Studiekeuze123. (2015e). Codeboek NSE. Nationale Studenten Enquête 2015. Stichting Studiekeuze123. (2014f). Weging data Nationale Studenten Enquête. Dirk Sikkel, Sjoerd Gras, Reinder Steenbergen en Paul Oosterveld (2014). Klikken of Slepen: een vergelijking tussen vraagformats, gebaseerd op een verschillend gebruik van de muis, MOA jaargids, p.87. QUO-communications. (2015f). Rapportage kwalitatief onderzoek ‘Non-respons Nationale Studenten Enquête 2015’ ten behoeve van Studiekeuze123.


72

TABELLEN- EN FIGURENOVERZICHT Figuren Figuur 2.1: Figuur 2.2: Figuur 3.1: Figuur 4.1: Figuur 4.2: Figuur 4.3: Figuur 4.4: Figuur 5.1: Figuur 5.2: Figuur 5.3: Figuur 6.1: Figuur 6.2: Figuur 6.3: Figuur 7.1: Figuur 7.2: Figuur 7.3:

Tabellen Tabel 1.1: Tabel 3.1: Tabel 3.2: Tabel 3.3: Tabel 3.4: Tabel 3.5: Tabel 4.1: Tabel 5.1: Tabel 5.2: Tabel 5.3: Tabel 5.4: Tabel 5.5: Tabel 5.6: Tabel 5.7: Tabel 6.1: Tabel 6.2: Tabel 6.3: Tabel 6.4: Tabel 7.1: Tabel 7.2: Tabel 7.3: Tabel 7.4: Tabel 7.5:

GfK Atlas Technische omgeving GfK Drive Schermafbeelding vraag 20 vragenlijst NSE 2015 Postercampagne (reeks) NSE 2015 Postercampagne (algemeen) NSE 2015 Reminder met beeld Screenshot www.nse.nl Bruto responsverloop cumulatief en per dag Niet-volledig ingevulde vragenlijst (verval voor een aantal vragen) Fictief voorbeeld Dashboard I (totaalrespons per instelling) Histogram van de huurwaarden in de NSE 2015 Gemiddelde themascores per device Gemiddelde themascores niet-switchers, switchers en partiële respondenten Gebruikte symbolen op Factsheet NSE 2015 Fictief voorbeeld van de voorzijde van de Factsheet NSE 2015 Overlappende betrouwbaarheidsmarges

Populatie- en responsgegevens van de NSE 2010 tot en met de NSE 2015 Aantal deelnemende instellingen per NSE-jaar Deelnemende instellingen NSE 2015 Samenwerkingsverbanden voor de NSE 2015 Aantal instellingen dat Sleutelbestand heeft aangevraagd en ontvangen Beschrijving NSE vragenlijst Aantal tweets van Studiekeuze123 tijdens de NSE 2015 (ten opzichte van 2014) Samenstelling aangeleverde studentenpopulatie Respons Netto respons en veldwerkduur in 2010 tot en met 2015 Percentage ingevulde vragenlijst 2015, uitgesplitst naar taal Gemiddelde invulduur in minuten voor locatie en afstandsonderwijs Antwoorden studenten op nieuwe vraag 33a Non-responsanalyse NSE 2015 Minimaal vereiste aantal stellingen voor de berekening van de themascores Principale Componenten- en betrouwbaarheidsanalyses, meting 2015 Devicegebruik begin / eind vragenlijst (respons, vraag 14A ingevuld), rijpercentages Gemiddelde invulduur per device (in minuten) Voorbeeld documentatie SPSS-bestand (betreft wijziging per 2014) Voorbeeld documentatie SPSS-bestand (betreft wijziging per 2013) Opname studentenoordelen in de Studiekeuzedatabase Overzicht tabellen met studentenoordelen in de Studiekeuzedatabase Aantallen per vertegenwoordigde indicator Studie in Cijfers 2015-2016


73

BIJLAGEN Bijlage 1: Overzicht uitgenodigde instellingen NSE 2015 en wel/niet deelname Deelname 2015

Bekostigd

Soort HO

Instelling*

BRIN

ABC Opleidingen

25FM

HBO

nee

nee

Academie Artemis

30DZ

HBO

nee

nee

Academie voor Wetgeving

30ND

WO

nee

nee

Actuarieel Genootschap & Actuarieel Instituut

30FA

HBO

nee

nee

Amsterdam School of Real Estate

29VN

HBO

nee

nee

Amsterdamse Hogeschool voor de Kunsten

21QA

HBO

ja

ja

ArtEZ Hogeschool voor de Kunsten

27NF

HBO

ja

ja

Avans Hogeschool

07GR

HBO

ja

ja

Avans+

27WV

HBO

nee

nee

Business School Nederland

28DX

HBO

nee

nee

Business School Notenboom

24GE

HBO

nee

ja

Centre for Latin American Research & Documentation

28BM

HBO

nee

nee

Christelijke Hogeschool Ede

25BA

HBO

ja

ja

Codarts Rotterdam

14NI

HBO

ja

nee

Cursus Godsdienst Onderwijs

27VW

HBO

nee

nee

De Haagse Hogeschool

27UM

HBO

ja

ja

Design Academy Eindhoven

02NT

HBO

ja

ja

Driestar Hogeschool

15BK

HBO

ja

ja

Duisenberg School of Finance

30PB

HBO

nee

ja

Erasmus Universiteit Rotterdam

21PE

WO

ja

ja

EuroCollege Hogeschool

27WC

HBO

nee

nee

European Institute For Brand Management

30RB

HBO

nee

nee

EuroPort Business School

28DT

HBO

nee

nee

Fontys Aangewezen HBO Opleidingen

28CC

HBO

nee

nee

Fontys Hogescholen

30GB

HBO

ja

ja

Gereformeerde Hogeschool

22HH

HBO

ja

Gereformeerde Hogeschool II

27VY

HBO

ja

Gerrit Rietveld Academie

02BY

HBO

ja

nee

Hanzehogeschool Groningen

25BE

HBO

ja

ja

HAS Hogeschool

21CW

HBO

ja

ja

HBO Da Vinci Drechtsteden

30WG

HBO

nee

ja


74

Bijlage 1: Overzicht uitgenodigde instellingen NSE 2015 en wel/niet deelname (vervolg) Deelname 2015

Bekostigd

Soort HO

Instelling*

BRIN

HES Consultancy BV

28EA

HBO

nee

nee

Hogeschool Dansacademie Lucia Marthas

23TG

HBO

nee

nee

Hogeschool De Kempel

08OK

HBO

ja

ja

Hogeschool der Kunsten Den Haag

23KJ

HBO

ja

nee

Hogeschool Dirksen

25RR

HBO

nee

ja

Hogeschool E3

29WJ

HBO

nee

nee

Hogeschool HBO Nederland (opgeheven)

24KX

HBO

nee

nee

Hogeschool Inholland

27PZ

HBO

ja

ja

Hogeschool iPabo

21UG

HBO

ja

ja

Hogeschool Leiden

21RI

HBO

ja

ja

Hogeschool NCOI

29PZ

HBO

nee

nee

Hogeschool NOVI

24HR

HBO

nee

ja

Hogeschool PBNA

24FW

HBO

nee

nee

Hogeschool ProgreSZ

30HC

HBO

nee

nee

Hogeschool Rotterdam

22OJ

HBO

ja

ja

Hogeschool Schoevers

24GP

HBO

nee

ja

Hogeschool SDO

30KA

HBO

nee

nee

Hogeschool Tio

23NG

HBO

nee

ja

Hogeschool Utrecht

25DW

HBO

ja

ja

Hogeschool van Amsterdam

28DN

HBO

ja

ja

Hogeschool van Arnhem en Nijmegen

25KB

HBO

ja

ja

Hogeschool Van Hall Larenstein

30HD

HBO

ja

Hogeschool voor de Kunsten Utrecht

00MF

HBO

ja

ja

Hogeschool voor Pedagogisch en Sociaal-Agogisch Onderwijs Groningen

27WH

HBO

nee

ja

Hogeschool West-Nederland voor Vertaler en Tolk

24KF

HBO

nee

nee

Hotelschool The Hague

02NR

HBO

ja

ja

HZ University of Applied Sciences

21MI

HBO

ja

ja

Instituut Defensie Leergangen

29UH

HBO

nee

nee

InterCollege Business School

27WK

HBO

nee

nee

ISBW Hogeschool

25BV

HBO

nee

nee

Iselinge Hogeschool

09OT

HBO

ja

ja

Islamitische Universiteit Rotterdam

30GW

HBO

nee

Nee

ITV Hogeschool voor Tolken & Vertalen

25AC

HBO

nee

Nee


75

Bijlage 1: Overzicht uitgenodigde instellingen NSE 2015 en wel/niet deelname (vervolg) Soort HO

Bekostigd

Instelling*

BRIN

Deelname 2015

IVA Driebergen

27WU

HBO

nee

ja

Katholieke PABO Zwolle

00IC

HBO

ja

ja

Landelijk Expertisecentrum Sociale Interventie

29TP

WO

nee

nee

LOI Hoger Onderwijs

24LK

HBO

nee

Nee

Maastricht School of Management

28AT

WO

nee

Nee

Maastricht University

21PJ 24FX/ 24KD/30ET

WO

ja

ja

HBO

nee

nee

Marnix Academie

10IZ

HBO

ja

ja

Media Academie (opgeheven)

29ZF

HBO

nee

Nederlandse Defensie Academie

30NA

HBO

nee

Nee

Nederlandse School voor Onderwijsmanagement

29UJ

HBO

nee

Nee

Netherlands Business Academy

30ET

HBO

nee

Nee

Netherlands Maritime University

29UK

HBO

nee

Nee

NHA

24GL

HBO

nee

Nee

NHL Hogeschool

21WN

HBO

ja

ja

NHTV internationaal hoger onderwijs Breda

21UI

HBO

ja

ja

Nyenrode Business Universiteit

01MC

WO

nee

ja

Nyenrode New Business School

30FW

HBO

nee

Ja

Open Universiteit

22NC

WO

ja

Oysterwyck Hogeschool

29ZU

HBO

nee

nee

Philipse Business School

30UA

HBO

nee

nee

Politieacademie

28DP

HBO

nee

ja

Pro Education

28DU

HBO

nee

nee

Protestantse Theologische Universiteit

00DV

WO

ja

ja

Radboud Universiteit Nijmegen

21PM

WO

ja

ja

Register Belastingadviseurs

29YE

HBO

nee

Rijksuniversiteit Groningen

21PC

WO

ja

ja

Saxion

23AH

HBO

ja

ja

Saxion Next

29PY

HBO

nee

ja

Schouten & Nelissen University

29VH

HBO

nee

nee

Schrofer Academie

30EB

HBO

nee

nee

Stenden Hogeschool

22EX

HBO

ja

Stenden Masters B.V.

30GX

HBO

nee

Markus Verbeek Praehep


ja

nee

ja nee 76


Bekostigd

Instelling*

BRIN

Deelname 2015

Stichting Hogeschool van Amsterdam

28DR

HBO

nee

nee

Stichting HVO

30KV

HBO

nee

nee

Stichting NIFA Hogeschool

30RK

HBO

nee

nee

Stichting NTI Hogeschool

24UY

HBO

nee

ja

Stichting Opleidingen Musculoskeletale Therapie

28DW

HBO

nee

nee

Stichting Opleidingsinstelling GGZ Verpleegkundig Specialist

30EA

HBO

nee

nee

Stichting SOD-Opleidingen

27WJ

HBO

nee

nee

Technische Universiteit Delft

21PF

WO

ja

ja

Technische Universiteit Eindhoven

21PG

WO

ja

ja

The New School for Information Services

24KM

HBO

nee

ja

Theologische Universiteit Apeldoorn

21QO

WO

ja

ja

Theologische Universiteit Kampen

25AV

WO

ja

ja

THIM Hogeschool voor Fysiotherapie

24BU

HBO

nee

ja

Thomas More Hogeschool

30VP

HBO

nee

ja

TIAS School for Business and Society

27ZC

WO

nee

ja

Tilburg University

21PN

WO

ja

ja

TMO, Hogeschool voor Modemanagement

24LY

HBO

nee

ja

Transfergroep Rotterdam (opgeheven)

01EY

HBO

nee

transnationale Universiteit Limburg

27YA

WO

nee

ja

TSM Business School

30HT

WO

nee

nee

Tyndale Theological Seminary

30NC

HBO

nee

nee

UNESCO-IHE Institute for Water Education

25ZF

HBO

nee

nee

Universiteit Leiden

21PB

WO

ja

ja

Universiteit Twente

21PH

WO

ja

ja

Universiteit Utrecht

21PD

WO

ja

ja

Universiteit van Amsterdam

21PK

WO

ja

ja

Universiteit voor Humanistiek

23BF

WO

ja

ja

VHL University of Applied Sciences (voorheen Hogeschool Van Hall Larenstein)

30HD

HBO

ja

ja

Viaa (voorheen Gereformeerde Hogeschool)

22HH

HBO

ja

ja

Viaa Zwolle (voorheen Gereformeerde Hogeschool II)

27VY

HBO

ja

Vilentum Hogeschool

30TX

HBO

ja

ja

Vrije Universiteit Amsterdam

21PL

WO

ja

ja

Wageningen University

21PI

WO

ja

ja


77


Bekostigd

Instelling*

BRIN

Deelname 2015

Wagner Group

30PH

HBO

nee

nee

Webster University

29WF

HBO

nee

nee

Windesheim

01VU

HBO

ja

ja

Wittenborg University of Applied Sciences

25AY

HBO

nee

ja

Zuyd Hogeschool

25JX

HBO

ja

ja

* In dit overzicht wordt uitgegaan van de instellingen die tijdens NSE 2015 geaccrediteerd onderwijs aanboden. Instellingen die eerdere jaren hebben deelgenomen, maar nu geen geaccrediteerd onderwijs aanbieden, zijn niet in dit overzicht terug te vinden. We hanteren in dit overzicht de vestigingsnaam van de instelling.


78

CCC ONDERZOEKS- VERANTWOORDING NATIONALE STUDENTEN ENQUÊTE 2015

Recommend Documents