Onderzoeksverantwoording Nationale Studenten Enquête 2014

Onderzoeksverantwoording Nationale Studenten Enquête 2014

Colofon Dit is een uitgave van Stichting Studiekeuze123 met bijdrages van GfK en ResearchNed, oktober 2014. Onderdelen uit deze Onderzoeksverantwoording Nationale Studenten Enquête 2014 mogen worden overgenomen met bronvermelding (bron: Stichting Studiekeuze123 (2014a)). Hoewel de grootst mogelijke zorg is besteed aan de inhoud van deze Onderzoeksverantwoording Nationale Studenten Enquête 2014, kunnen er geen rechten aan worden ontleend. Voor meer informatie: www.studiekeuzeinformatie.nl/nse ___________________________________________________ Onderzoeksverantwoording Nationale Studenten Enquête 2014

2

INHOUDSOPGAVE

Inleiding.................................................................................................................................. 6 1.

De opzet en methode van onderzoek .......................................................................... 7

2.

Technische infrastructuur ........................................................................................... 9

2.1

GfK Atlas ....................................................................................................................9

2.1.1 Functionality ............................................................................................................. 10 2.1.2 Deliverability............................................................................................................. 10 2.2

GfK Drive .................................................................................................................. 10

2.3

Testen van de vragenlijst ............................................................................................ 12

2.4

Beveiliging ................................................................................................................ 12

2.4.1 Privacy .................................................................................................................... 13 2.5 3.

Incidenten ................................................................................................................ 14 Voorbereiding veldwerk ............................................................................................ 15

3.1

Overzicht en analyse van deelnemende instellingen NSE 2014......................................... 15

3.2

Combinatie-opleidingen .............................................................................................. 16

3.3

Overeenkomst(en) tot deelname ................................................................................. 17

3.4

Startbijeenkomst en Routeboek ................................................................................... 18

3.5

Aanlevering van studentgegevens ................................................................................ 18

3.6

Verwerking van studentgegevens ................................................................................ 20

3.7

De NSE-vragenlijst ..................................................................................................... 20

4.

Communicatie ........................................................................................................... 23

4.1

Communicatie studenten ............................................................................................ 23

4.2

Uitnodigingstekst en reminders ................................................................................... 23

4.3

Communicatie instellingen .......................................................................................... 23

4.4

Social media ............................................................................................................. 24

4.5

Special Interest Group NSE ......................................................................................... 24

4.6

Studiekeuzeconferentie .............................................................................................. 25

4.7

NSE Online gestopt .................................................................................................... 26

4.8

Totstandkoming van vernieuwde Factsheets .................................................................. 26

___________________________________________________ Onderzoeksverantwoording Nationale Studenten Enquête 2014

3

5.

Populatie en respons ................................................................................................. 27

5.1

Mailing ..................................................................................................................... 27

5.2

Respons ................................................................................................................... 27

5.3

Responsgedrag .......................................................................................................... 29

5.4

Hoe is de NSE ingevuld? ............................................................................................. 30

5.5

Analyse nieuwe vraag 33a .......................................................................................... 31

5.6

Non-responsanalyse ................................................................................................... 32

5.7

Responsoverzichten ................................................................................................... 34

6.

Datacleaning en bestandsbewerking ......................................................................... 37

6.1

Verrijking en andere bewerkingen ................................................................................ 37

6.1.1 Hercoderen open vragen Handicap & Studie ................................................................. 37 6.1.2 Huurwaarden ............................................................................................................ 38 6.1.3 Invultijd ................................................................................................................... 38 6.1.4 Studiejaar student .................................................................................................... 39 6.2

Themascores en instellingsvragen ................................................................................ 39

6.3

Nieuwe themascores vanaf 2013 ................................................................................. 45

6.3.1 Achtergrond en basis voor besluitvorming door Studiekeuze123 ..................................... 45 6.3.2 Onafhankelijke Werkgroep Vragenlijst ......................................................................... 46 6.3.3 Trendbestand ........................................................................................................... 47 6.3.4 Uitgangspunten van de afwegingen en analyses ............................................................ 47 6.3.5 Datakwaliteit (verantwoording thematische indeling van de vragen) ................................ 47 6.3.6 Review Sixtat betreffende transitie uitvoerder .............................................................. 47 6.3.7 Analyses en advies GfK .............................................................................................. 48 6.4

Weging ..................................................................................................................... 50

6.5

Synchronisatie met voorgaande metingen ..................................................................... 50

6.6

Aanmaak resultaatbestanden ...................................................................................... 51

7.

Opgeleverde producten ............................................................................................. 52

7.1

Bestanden ................................................................................................................ 52

7.1.1 Bestanden voor deelnemende instellingen ..................................................................... 52 7.1.2 Overige verwerking .................................................................................................... 56 7.2

Factsheets ................................................................................................................ 56


4

7.3

Verwerking studentenoordelen in Studiekeuzedatabase (DB14.4.3) & (DB14.5.2) ............. 59

7.3.1 Cleaning ten behoeve van koppeling met de Studiekeuzedatabase .................................. 59 7.3.2 Beslisregels en controle van respons per opleiding ........................................................ 60 7.3.4 Controleren van respons per vraag .............................................................................. 60 7.3.5 Samenvoegen van opleidingen bij onvoldoende respons ................................................ 60 7.3.6 Aggregeren: het berekenen van de scores per opleiding ................................................ 61 7.4

Verwerking studentenoordelen in Studie in cijfers 2014-2015 .......................................... 59

7.4.1 Aantal eerstejaars ..................................................................................................... 63 7.4.2 Studenttevredenheid ................................................................................................. 64 7.4.3 Contacttijd eerstejaars .............................................................................................. 65 8.

Valorisatie ................................................................................................................. 67

Nawoord .............................................................................................................................. 68 Bronvermelding ................................................................................................................... 70 Tabellen- en Figurenoverzicht ............................................................................................. 71 Bijlagen ............................................................................................................................... 72


5

INLEIDING De Nationale Studenten Enquête (NSE) is de landelijke enquête waarin studenten in het hoger onderwijs hun oordeel geven over hun opleiding aan een Nederlandse universiteit of hogeschool. De vragenlijst bestaat uit verschillende onderwerpen, onder andere de inhoud van de opleiding, docenten, informatie vanuit de opleiding, studielast, studiebegeleiding en de voorbereiding op de beroepsloopbaan. Het belang van het verzamelen van studentenoordelen is tweeledig. De informatie dient als hulpmiddel bij de studiekeuze van aankomende studenten. De druk op het maken van de ‘juiste’ studiekeuze wordt voor de aankomende student steeds groter. De oordelen van studenten kunnen aankomende studenten helpen een betere keuze te maken. De oordelen, verzameld via de NSE, worden opgenomen in de Studiekeuzedatabase van Studiekeuze123. Voor een evenwichtige keuze zijn er naast studentenoordelen ook nog arbeidsmarktcijfers van het CBS en ROA, accreditatiegegevens van de NVAO, toelatingseisen aangeleverd door instellingen en instroomaantallen van de VSNU en de Vereniging Hogescholen opgenomen in de Studiekeuzedatabase. Studiekiezers kunnen opleidingen op verschillende onderwerpen vergelijken op Studiekeuze123.nl, in Studie in Cijfers of via keuzewebsites van andere afnemers van de Studiekeuzedatabase. Een landelijk overzicht van opleidingen in het hoger onderwijs is een belangrijke informatiebron voor de studiekiezer. Daarnaast gebruiken instellingen de studentenoordelen om hun eigen onderwijsbeleid te monitoren. De oordelen van de student geven een indicatie over de mogelijkheden tot verbetering van een opleiding. Op deze manier helpen studenten hun instelling om de kwaliteit van het onderwijs nog verder te kunnen verbeteren. Ook partijen als de Inspectie van het Onderwijs en het ministerie van OCW maken gebruik van de mogelijkheden van dit databestand. Meerjarige deelname van hoger onderwijsinstellingen met een gelijke vragenlijst maakt het mogelijk het onderwijsbeleid van instellingen te monitoren. De vragenlijst blijft daarom de komende jaren ook zoveel mogelijk ongewijzigd. Dit geeft ook meteen het belang aan van de blijvende participatie van de hoger onderwijsinstellingen aan de NSE voor het behoud van de volledigheid van het bestand. De NSE 2014 is de zesde ‘editie’ die is uitgevoerd onder verantwoordelijkheid van Studiekeuze123. Na gunning via een Europese aanbesteding in 2012 is GfK de partij die - voor de tweede keer – met Studiekeuze123 voor de uitvoering heeft zorg gedragen.


6

1.

DE OPZET EN METHODE VAN ONDERZOEK

De NSE is een jaarlijks kwantitatief onderzoek waarbij per e-mail een elektronische vragenlijst wordt uitgezet onder de gehele studentenpopulatie van NVAO geaccrediteerde opleidingen in het Nederlandse hoger onderwijs. Als uitgangspunt voor de vragenlijst NSE 2014 is de vastgestelde vragenlijst voor de NSE 2013 (Stichting Studiekeuze123, 2013) gehanteerd. Hier zijn twee wijzigingen in doorgevoerd. Vraag 12: ‘Wat was je leeftijd op 31 december 2012?’ is aangepast naar ‘Wat was je leeftijd op 31 december 2013?’. Verder is een vraag toegevoegd bij het Handicap en Studie vragenblok: “Ga je akkoord met het delen van de antwoorden over je functiebeperking, aandoening of ziekte met je onderwijsinstelling?”. Deze laatste wijziging wordt verder toegelicht in paragraaf 3.7. Studenten konden het onderzoek tijd- en plaats-onafhankelijk invullen. Het was mogelijk invullen te onderbreken en later te continueren. De enquête kon worden ingevuld op verschillende apparaten (desktop, tablet). Voor het invullen op een smartphone was de NSE 2014 nog niet specifiek ingericht (te klein scherm). De NSE 2014 was van gelijke opzet als eerdere jaren en is uiteen te zetten in verschillende fasen: voorbereiding van het onderzoek, uitvoeren veldwerk en verwerken van gegevens. Voorbereiding veldwerk Om alle studenten te kunnen benaderen per e-mail, zijn in de voorbereidende fase (oktober – november 2013) alle hoger onderwijsinstellingen met NVAO-geaccrediteerd onderwijsaanbod uitgenodigd te participeren in dit onderzoek. Uiterlijk op 22 november 2013 moesten alle ondertekende overeenkomsten tot deelname zijn ontvangen. In bijlage 1 zijn de instellingen opgenomen die dit jaar hebben meegedaan. Via een beveiligde uploadtool werden de gevraagde gegevens (zie paragraaf 3.5) voor dit onderzoek door de deelnemende instellingen aangeleverd. Al deze gegevens zijn klaargezet en geprogrammeerd in de verschillende systemen van de uitvoerende partij GfK: GfK Atlas en GfK Drive. Een beschrijving van de technische infrastructuur wordt gegeven in hoofdstuk twee. Hoofdstuk drie bevat informatie over hoe de verdere voorbereiding van het onderzoek in nauw contact met de hoger onderwijsinstellingen is verlopen. Veldwerk Het veldwerk liep van 13 januari 2014 tot en met 9 maart 2014. Het veldwerk van de NSE 2014 bedroeg daarmee acht weken, ten opzichte van tien weken veldwerk in vorige jaren van de NSE. Tijdens de NSE 2013 is aan de hand van een pilot getest welke effecten het verkorten van de veldwerkperiode zou hebben op de hoogte en representativiteit van de respons en de resultaten (Meurs & van den Vijver, 2013). Zie verder paragraaf 5.2. In totaal zijn 695.655 studenten voor de NSE 2014 uitgenodigd per e-mail. Naast de uitnodigingsmail zijn er drie reminders en een laatste kans e-mail verstuurd. Studenten werden gevraagd mee te doen om aankomende studenten te helpen bij het maken van een studiekeuze. Ook werd gewezen op het feit dat hun mening helpt het onderwijs te verbeteren. Bovendien maakten de studenten kans op één van de volgende prijzen bij het invullen van de enquête: 5 iPhones 5 (t.w.v. €700,-), 5 iPads Air (t.w.v. €500,-) en 265 Bol.com bonnen (t.w.v. €25,-). De hoger onderwijsinstellingen brachten gedurende de afnameperiode de enquête onder de aandacht bij de studenten via posters, flyers, e___________________________________________________ Onderzoeksverantwoording Nationale Studenten Enquête 2014

7

mails, maar ook via de docenten. In sommige gevallen werd de NSE klassikaal op onderwijsinstelling ingevuld. In hoofdstuk vier wordt het verloop van het veldwerk beschreven.

de

De respons is dit jaar achtergebleven ten opzichte van de NSE 2013. De netto respons is geëindigd op 33,7% t.o.v. 39,5% het jaar ervoor. De bruto populatie lag voor de NSE 2014 hoger met zo’n 23.000 studenten vergeleken met de NSE 2013. In hoofdstuk vijf wordt de populatie van het onderzoek beschreven en volgt een beschrijving van de respons en het responsgedrag. Verwerken van gegevens Na afronding van het veldwerk startte de verwerking van alle door de studenten ingevulde gegevens. De bestanden zijn verrijkt, opgeschoond, bewerkt en gestructureerd. Vervolgens zijn de themascores berekend. In hoofdstuk zes wordt uitgebreid stilgestaan bij deze verwerkingsactiviteiten. Alle resultaten zijn op 22 mei 2014 openbaar gemaakt door publicatie op Studiekeuze123.nl. Alle definitieve resultatenbestanden zijn op 16 mei 2014 onder embargo naar alle deelnemende hoger onderwijsinstellingen verzonden. In hoofdstuk zeven worden de opgeleverde producten van het onderzoek beschreven. In hoofdstuk acht worden tenslotte andere partijen genoemd die gebruik hebben gemaakt van de NSE resultaten ten behoeve van onderzoek of voorlichting over studiekeuze.


8

2.

TECHNISCHE INFRASTRUCTUUR

Voor de uitvoering van de NSE 2014 werd – net als bij de NSE 2013 – gebruik gemaakt van de bestaande technische infrastructuur van GfK, die ook voor andere grootschalige onderzoeken wordt gebruikt. Deze infrastructuur bevat voorzieningen gericht op het in stand houden van de dienstverlening (continuïteit) en het waarborgen van informatiebeveiliging (beschikbaarheid, vertrouwelijkheid en data-integriteit). De infrastructuur bestaat in essentie uit twee componenten: GfK Atlas voor het versturen van grote hoeveelheden mail en GfK Drive voor het veldwerk. Beide systemen draaiden in het centrale GfK datacenter en werden volledig redundant1 uitgevoerd met een 24/7 monitoring door een team van IT specialisten. Dit team was 24 uur per dag stand-by om in het geval van calamiteiten snel een oplossing te kunnen bieden. In dit hoofdstuk wordt uitgelegd wat beide componenten doen, daarna wordt uitgelegd hoe de vragenlijst is getest en hoe de informatiebeveiliging van de NSE is geregeld. Tot slot volgt een overzicht van technische incidenten die zich tijdens het veldwerk hebben voorgedaan. 2.1

GFK ATLAS

Voor het verzenden van bulk mail werd gebruik gemaakt van de GfK Atlas software. GfK Atlas bestaat uit twee hoofdcomponenten: de functionaliteit voor het versturen van de e-mails (Functionality) en de component die ervoor zorgt dat de e-mails bezorgd worden (Deliverability). Deze laatste component zorgde er onder andere voor dat ontvangende servers geen belemmeringen (o.a. spamfilters) opwierpen voor de bezorging van de e-mails. Schematisch zag dit er als volgt uit: Figuur 2.1: GfK Atlas

Atlas Mailer Functionality

Deliverability

Mail Merge

Return Path Support

ISP / IP Throttling

Campaign Scheduling

Feedback Processing

DNS

1

Redundant: er functioneren twee systemen onafhankelijk van elkaar, waarbij het tweede (redundante) systeem het werk kan overnemen wanneer het eerste (het primaire) systeem uitvalt. ___________________________________________________ Onderzoeksverantwoording Nationale Studenten Enquête 2014

9

2.1.1 Functionality Binnen de component Functionality vond het volgende plaats: 1. Mailmerge Het samenvoegen van de gegevens van het steekproefbestand met de mailtemplates voor de verzending van de uitnodigingen; 2. Internet Service Provider (ISP) / Internet Protocol (IP) Throttling Inregelen (doseren) van het aanbieden van e-mails aan providers, zodat meer dan 1 miljoen emails per dag gegarandeerd verzonden konden worden zonder dat GfK op een black list terecht komt; 3. Campaign scheduling Planning van de hoeveelheden en de tijdintervallen binnen de verzending, wat ervoor zorgde dat de bulk mail in golven (gecontroleerd) kon worden uitgestuurd. 2.1.2 Deliverability Binnen de component Deliverability vond het volgende plaats: 1. Return Path Support Hiermee werd aan de hand van terugontvangen data actief gemonitord hoe “goed” de aflevering was bij de diverse providers, waarbij GfK dus op de white list bleef; 2. Feedback processing Mogelijkheden om geautomatiseerd bounce-informatie te vertalen in opvolgacties (deze waren in te stellen). Oftewel: wat te doen als de mail niet bezorgd kon worden; 3. Domain Name Server (DNS) Support op reverse DNS/PTR record (bezorgen mail), Sender Policy Framework protocol (SPF) (verminderen spam) en DomainKeys Identified Mail protocol (DKIM) (verminderen SPAM). Verder zijn de volgende technische details van belang geweest voor de uitvoering:  GfK Atlas draaide in een centraal GfK data-center; de servers draaiden daar in een geclusterde omgeving.  Servers zaten achter een loadbalancer met failover voor het verdelen van de databelasting waardoor, bij uitval, automatisch werd overgeschakeld op een secundaire server.  De internetconnectie vanuit het data-center was 1,5 Gigabyte, waarbij er een redundante omgeving was opgesteld, zodat bij uitval direct kon worden overgegaan op de tweede node (server).  De database omgeving was een SQL server 2008 omgeving met een actieve database en een passieve database, die direct gesynchroniseerd was met de actieve database. Bij uitval kon dus naadloos worden omgeschakeld en ging geen data verloren. Er is tijdens de uitvoering van de NSE 2014 geen failover-procedure noodzakelijk gebleken. 2.2

GFK DRIVE

Voor het veldwerk is gebruik gemaakt van de GfK Drive applicatie. Een belangrijk voordeel hiervan was de end-to-end oplossing die dit pakket bood voor het doen van enquêteonderzoek:   

steekproef management (o.a. de basis voor responsmonitoring & vragenlijstselecties); vragenlijstprogrammering; online realtime responsmonitoring en -analyses;


10



oplevering van onderzoekdata in elk gewenst format (doorgaans in Microsoft Office Excel of SPSS (Statistical Package for the Social Sciences) van IBM).

De technische omgeving van GfK Drive zag er als volgt uit: Figuur 2.2: Technische omgeving GfK Drive

Naast het diagram waarin schematisch te zien is hoe de technische infrastructuur voor de NSE was ingericht, is in dit kader nog een aantal zaken van belang om te benoemen: 

 





GfK Drive bestond uit een cluster van interviewservers (servers waar de interviewprogrammatuur op draaide), zonder single point of failure. Dat wil zeggen dat de rol van machine-1 automatisch door machine-2 wordt overgenomen, indien machine-1 onverhoopt uitvalt. De kans op down time werd door dit alles geminimaliseerd; De omgeving werd niet gedeeld met andere applicaties; Naast de interviewmachines gold de redundante omgeving ook voor de webservers, firewalls en SQL-dataservers. De firewall-omgeving was een Checkpoint firewall in een geclusterde omgeving achter een loadbalancer met automatische failover-regeling; ook hier dus ingericht om bij het falen van het ene systeem de werking door het volgende systeem over te laten nemen; GfK Drive is gebouwd met als doel maximale compatibiliteit met diverse soorten en versies van browsers en operating systems. Er werd continu gewerkt om deze compatibiliteit te optimaliseren. Vooral in een setting waarin de variatie van gebruikersomgevingen groot is, zoals bij de NSE, was het van groot belang dat de vragenlijstsoftware goed was gesynchroniseerd met diverse omgevingen; Het was voor respondenten mogelijk om de vragenlijst tussentijds af te breken en later in te vullen, doordat GfK Drive alle verzamelde data realtime bewaarde op een Enterprise class filer


11





storage unit met continue synchronisatie. Van de filer storage unit werd dagelijks een back-up gemaakt; Het team bestond uit IT-specialisten, die de systemen monitorden en beschikten over een zogenaamde ‘administrative account’, waarbij zowel de rechten werden geregeld als via track en trace de uitgevoerde handelingen konden worden nageslagen; GfK Drive leverde de data direct uit in Excel (.xls) of SPSS (.sav). Hier zat geen (extra) conversieslag tussen; er was dus geen risico op fouten.

De responsmonitoring verliep dit jaar - in tegenstelling tot de NSE 2013 - niet direct via de GfK Drive omgeving. Voor de NSE 2014 is ervoor gekozen om gebruik te maken van het GfK Connect platform, dat de mogelijkheid biedt om online via een op maat ontwikkeld dashboard real-time de respons te volgen van onderzoeken, die binnen de GfK Drive-omgeving worden uitgevoerd. Binnen GfK Drive werd iedere deelnemer aan het onderzoek real-time in een parallelle database geregistreerd als respons, waarop GfK Connect de meest actuele stand van respons versus non-respons onttrok uit die parallelle database. Gebruikers (contactpersonen van instellingen) kregen elk een uniek wachtwoord, waarmee ze de respons binnen hun instelling tot op gedetailleerd niveau konden volgen, op elk gewenst moment van de dag. Zie voor een nadere inhoudelijke toelichting ook paragraaf 5.7. 2.3

TESTEN VAN DE VRAGENLIJST

Zoals hierboven vermeld, heeft GfK gekozen om voor de uitvoering van de NSE 2014 gebruik te maken van de combinatie van GfK Atlas (voor verzending van de e-mails en het samplebeheer) en GfK Drive (voor het hosten van de vragenlijst en de uiteindelijke data storage). Deze combinatie wordt door GfK vaker voor kwantitatieve, grootschalige projecten gebruikt. Een technische capaciteitstest vooraf is niet uitgevoerd, maar continue monitoring van eventuele ‘hickups’ tijdens de uitvoering wel. Tijdens het veldwerk van de NSE 2014 zijn er geen problemen geconstateerd met de capaciteit van de systemen. De vragenlijst (Stichting Studiekeuze123, 2014b) is in technische zin getest door een controle uit te voeren of de gegeven antwoorden juist werden vastgelegd in het databestand. Hiermee konden ook selecties en routings op die manier op juistheid vanuit de data worden ‘afgelezen’. Inhoudelijk is de basisvragenlijst, in het Nederlands (Stichting Studiekeuze123, 2014b), Engels (Stichting Studiekeuze123, 2014c) en Duits (Stichting Studiekeuze123, 2014d), voor de NSE 2014 door de projectleiding van GfK meermaals uitvoerig getest, in samenwerking met Studiekeuze123. De issues die op basis van deze tests naar voren kwamen, betroffen zonder uitzondering kleine suggesties voor aanscherping (punten, komma’s, een enkele aanscherping qua formulering in een toelichting) en waren daardoor goed beheersbaar. 2.4

BEVEILIGING

In het kader van de informatiebeveiliging is het belangrijk te constateren dat het aantal verschillende rollen beperkt is door de opzet van het projectteam. Bovendien waren er - buiten GfK - geen andere externe partijen betrokken bij de uitvoering, waardoor van een overdracht tussen partijen – met alle veiligheidsrisico’s van dien – geen sprake was. De verantwoordelijkheid lag dus in alle gevallen bij de projectleiding, die binnen het team op basis van hiërarchische en functionele argumenten de ___________________________________________________ Onderzoeksverantwoording Nationale Studenten Enquête 2014

12

machtigingen toewees voor de toegang tot diverse typen gegevens die binnen de NSE gebruikt en/of verzameld werden. Voor wat betreft de IT-omgeving kan toegevoegd worden dat er binnen GfK een security officer aanwezig was die verantwoordelijk was voor de informatiebeveiliging. De data werd veilig bewaard in een eigen omgeving die niet benaderbaar was voor de buitenwereld (afgeschermd via firewalls). Alle aanpassingen aan de systemen werden gedaan op basis van een ‘ticket’. De toegekende taken behorend bij dit ticket waren leidend voor de werkzaamheden die medewerkers (mochten) uitvoeren. Alle relevante bevindingen in het kader van de zogenaamde penetratie-test van bureau LBVD, speciaal uitgevoerd voor de NSE, ten aanzien van de vigerende informatiebeveiliging van de vragenlijstomgeving en de downloadomgeving zijn voorafgaand aan de NSE 2014 door GfK opgepakt en verholpen. Het betrof in geen enkel geval ernstige kwetsbaarheden. In maart 2014 is ook de GfK uploadtool nog aan een inspectie onderworpen door bureau LBVD. Hieruit bleek dat ‘geen van de gevonden kwetsbaarheden direct toegang geeft tot de achterliggende database of het onderliggende besturingssysteem’. De wel gevonden (niet-kritische) kwetsbaarheden, die er in potentie voor zouden kunnen zorgen dat toegang wordt verkregen tot een gebruiksaccount, worden zo mogelijk aangescherpt in de uploadmodule in aanloop naar de NSE 2015, maar zorgen er niet voor dat de achterliggende data zichtbaar wordt. 2.4.1 Privacy De NSE staat geregistreerd in het meldingenregister van het College Bescherming Persoonsgegevens (CBP) onder nummer 1481323. De NSE vereist een waarborging van de privacy van alle, voor deelname aan het onderzoek, uitgenodigde studenten. Niet alleen gaat het dan om de waarborgen die de technische infrastructuur in dit kader biedt, maar ook gaat het om zorgvuldigheid in de naleving van de richtlijnen en procedures. GfK houdt zich aan de Gedragscode voor Onderzoek & Statistiek, zoals die voor de leden van de MOA (de MarktOnderzoeksAssociatie) is opgesteld. Daarin is exact aangegeven aan welke regels GfK zich in dit opzicht dient te houden. Het College Bescherming Persoonsgegevens (CBP) heeft de Gedragscode voor Onderzoek & Statistiek, die overigens ook voldoet aan de internationale gedragscodes zoals opgesteld door ESOMAR, officieel van een goedkeurende verklaring voorzien op 21 juni 2010. De Gedragscode voor Onderzoek & Statistiek en de genoemde verklaring zijn online te raadplegen via: http://www.moaweb.nl/Gedragscodes/gedragscode-voor-onderzoek-en-statistiek. GfK behoort verder tot de groep onderzoeksbureaus die het predicaat Research Keurmerk Groep van de MOA dragen en bovendien jaarlijks haar kwaliteitssysteem laat auditen voor drie ISO certificaten, te weten:  ISO 9001 (kwaliteit algemeen)  ISO 20252 (kwaliteit marktonderzoek)  ISO 26362 (kwaliteit online access panels). Bij indiensttreding hebben alle medewerkers van GfK getekend voor het feit dat zij op vertrouwelijke wijze zullen omgaan met (privacy)gevoelige informatie en hier wordt in de praktijk op toegezien. In 2013 zijn deze richtlijnen vanuit de moederorganisatie nog strenger geworden en alle medewerkers hebben een verklaring ‘Integriteit & Compliance’ getekend.


13

De persoonlijke informatie die GfK in het kader van de NSE 2014 van de instellingen ontving, werd enkel en alleen ten behoeve van de uitvoering van de NSE 2014 gebruikt. Privacygevoelige informatie en enquêteresultaten werden altijd separaat opgeslagen. Na afloop van het project werden de gebruikte persoonsgegevens in nauw overleg met de opdrachtgever Studiekeuze123 vernietigd. 2.5

INCIDENTEN

De door GfK gebruikte technische infrastructuur voor de NSE heeft voldaan aan de vereisten voor een onderzoek van dit volume en deze complexiteit - gedacht in termen van het aantal respondenten, het aantal benaderingen en de instellings-specifieke vragen. Rond het veldwerk traden slechts enkele technische issues op:  Tijdelijke overbelasting van de NSE-uploadomgeving. GfK heeft voor diverse instellingen - na (beveiligde) uitwisseling van de studentgegevens – succesvol de upload uitgevoerd, indien bleek dat zij dit ondanks diverse pogingen niet zelf voor elkaar kregen. Voor de NSE 2015 wordt de oplossing in twee richtingen gezocht. Enerzijds met een schema met data waarop elke instelling bij voorkeur haar studenten aanlevert. Anderzijds wordt bekeken of de plek op de server van de uploadtool verder kan worden geoptimaliseerd, zodat de kans op conflicten met andere processen wordt geminimaliseerd.  Niet uitschrijven/opleveren van de respons van ruim duizend studenten door issue met het wegschrijven in de verwerkingssoftware. Het bleek dat de aanwezigheid van diakritische (ë, á, à, é etc.) tekens in het achterliggende samplebestand (namelijk in de instellingslabels) ervoor zorgde dat die specifieke respondenten niet naar de database van de exportmodule werden uitgeschreven, maar elders in het systeem terecht kwamen. De ontwikkelaars van GfK Drive hebben de betreffende probleemanalyse uitgevoerd, de data hersteld en de data weten terug te laden in de GfK Drive dataexportmodule. Tijdens dit proces heeft de reeds binnengehaalde respons geen risico gelopen, aangezien deze op dat moment al uit de omgeving was geëxporteerd. De herstelde data kwamen zo weer beschikbaar voor de projectleiding en na een separate bewerkingsslag in SPSS (dezelfde slag als reeds was uitgevoerd voor de respons tot dan toe) kon deze worden toegevoegd aan de netto respons-file en worden uitgeleverd bij de definitieve bestandsoplevering. Inmiddels is dit issue met het oog op een lange termijn oplossing opgepakt binnen het technische team van GfK Drive, waardoor de applicatie vanaf nu goed synchroniseert in het geval van een afwijkende tekenset. De algehele conclusie is dat de techniek van het project beter is verlopen dan tijdens de uitvoering van de NSE 2013, mede door de aanscherping van diverse procedures door GfK (denk bijvoorbeeld aan veelvuldige backchecks tussen GfK Drive en GfK Atlas qua registratie wel/geen respons). Maar natuurlijk is er ook nog altijd ruimte voor verbetering. Het issue met het wegschrijven heeft bijvoorbeeld onnodig veel onrust veroorzaakt in de opleverfase en moet in de toekomst worden voorkomen. Inmiddels is, zoals hierboven beschreven, hier al een duurzame oplossing voor gevonden binnen GfK Drive.


14

3.

VOORBEREIDING VELDWERK

3.1

OVERZICHT EN ANALYSE VAN DEELNEMENDE INST ELLINGEN NSE 2014

In 2014 participeerden 51 hogescholen en 21 universiteiten in de Nationale Studenten Enquête. Studiekeuze123 nodigde alle instellingen in Nederland uit die NVAO geaccrediteerd hoger onderwijs aanbieden. Zowel door de minister van OCW aangewezen (particuliere) instellingen als door OCW bekostigde instellingen (publiek) werden uitgenodigd. Studiekeuze123 maakte hiervoor gebruik van twee registers: BRIN en CROHO. De Basis Registratie Instellingen (BRIN) is een register van het ministerie van OCW en bevat alle onderwijsinstellingen in Nederland. Het Centraal Register Opleidingen Hoger Onderwijs (CROHO) is een overzicht van alle in Nederland geaccrediteerde opleidingen voor hoger onderwijs. Het CROHO wordt ook uitgegeven door het ministerie van OCW en beheerd door de Dienst Uitvoering Onderwijs (DUO). Tabel 3.1: Aantal deelnemende instellingen per NSE-jaar Deelname Aantal aangeschreven instellingen in 2014*

2014

2013

2012

2011

Aangewezen (particulier)

6

3

2

6

6

Bekostigd (publiek)

18

18

18

14

14

Aangewezen (particulier)

68

17

15

14

14

Bekostigd (publiek)

37

34**

37

35

34

TOTAAL

129

72

72

69

68

WO

HBO

* Het betreft hier alle instellingen met een eigen BRIN-code in het CROHO. ** Oorzaak van daling in de NSE 2014 ten opzichte van de NSE 2013 voor bekostigd HBO is het feit dat een drietal instellingen is gefuseerd.

In het bekostigd onderwijs hebben alle WO instellingen deelgenomen aan de NSE 2014. Van de HBO bekostigde instellingen, hebben drie instellingen afgezien van deelname. Het gaat hier om instellingen die kunstonderwijs aanbieden. Eén instelling heeft nog niet eerder deelgenomen aan de NSE, de overige twee kozen voor deelname om het jaar. Deelname in het particulier onderwijs stijgt elk jaar met enkele instellingen. Er zijn nog veel particuliere instellingen die niet deelnemen, echter veel particuliere instellingen bieden maar één of enkele opleidingen aan en hebben een (zeer) kleine studentenpopulatie. Door eigen onderzoek hebben ze veelal al een goed beeld van de mening van de eigen studenten en vergelijken met andere instellingen en opleidingen is minder relevant.

Zie bijlage 1 voor een overzicht van de deelnemende instellingen voor de NSE 2014.


15

3.2

COMBINATIE-OPLEIDINGEN

Een aantal instellingen biedt gezamenlijk onderwijs aan in zogenaamde combinatie-opleidingen (eventueel via een gezamenlijk instituut). ACTA is bijvoorbeeld een samenwerkingsverband tussen de Universiteit van Amsterdam en de Vrije Universiteit Amsterdam. Instellingen konden via een mee te leveren code (label) bij het aanleveren van de studentgegevens duidelijk maken voor welke studenten dit gold, zodat deze studenten geen dubbele uitnodigingen zouden ontvangen. Daarnaast was het op die manier mogelijk om in het instellingsbestand deze groep studenten terug te kunnen vinden via het aangeleverde label. De overeenkomst voor deelname (zie paragraaf 3.3) is in dit geval afgesloten met de Universiteit van Amsterdam en de Vrije Universiteit Amsterdam. Tabel 3.2: Samenwerkingsverbanden voor de NSE 2014 Samenwerkingsverbanden in de NSE 2014

Aantal aangeleverde studenten

ACTA Tandheelkunde (Universiteit van Amsterdam/ Vrije Universiteit Amsterdam) AUC Liberal Arts and Sciences (Universiteit van Amsterdam/ Vrije Universiteit Amsterdam) Juridische Hogeschool (Fontys Hogescholen/ Avans Hogeschool)

854 705 1.752

B Biologie en Medisch Laboratoriumonderzoek (van Hall Larenstein/ NHL Hogeschool)

115

B Biotechnologie - Life Sciences (van Hall Larenstein/ NHL Hogeschool)

627

B Chemie (van Hall Larenstein/ NHL Hogeschool)

44

B Chemische Technologie (van Hall Larenstein/ NHL Hogeschool) B Dans en B Docent Dans (Hanzehogeschool Groningen/ Lucia Marthas Institute for Performing Arts) B International Business and Management Studies - IBMS (van Hall Larenstein/ NHL Hogeschool/ Stenden Hogeschool) B Life Science and Technology (Universiteit Leiden/ Technische Universiteit Delft)

91 21 429 396

B Nanobiologie (joint degree) (Technische Universiteit Delft/ Erasmus Universiteit Rotterdam) B Opleiding tot leraar Basisonderwijs (Iselinge Hogeschool/ Open Universiteit) B Sustainable Molecular Science and Technology (Universiteit Leiden/ Technische Universiteit Delft)

207 420 373

B Theology (Protestantse Theologische Universiteit/ Vrije Universiteit Amsterdam)

154

B Tourism (Wageningen University/ NHTV internationaal onderwijs Breda)

93

B Voedingsmiddelentechnologie - Life Sciences (van Hall Larenstein/ NHL Hogeschool)

207

M Begeleidingskunde (Hogeschool Rotterdam/Hogeschool van Arnhem en Nijmegen) M Biotechnology (Wageningen University/ Universiteit Twente/ Rijksuniversiteit Groningen)

106 192

M Educational Leadership - Penta Nova (Marnix Academy ea)

53

M Industrial Ecology (Universiteit Leiden/ Technische Universiteit Delft)

100

M Kunsteducatie (NHL Hogeschool/ Hanzehogeschool Groningen)

38

M Leren en Innoveren - Interactum (Marnix Academy e.a)

82

M Physician Assistant (NHL Hogeschool/ Hanzehogeschool Groningen)

71

M Social Work (NHL Hogeschool/ Hanzehogeschool Groningen)

64


16

Totaal aantal records met een samenwerkingsverband

7.194

Totaal aantal records waarbij geen samenwerkingsverband genoemd is Totaal aantal records Toelichting: B = Bacheloropleiding, M = Masteropleiding 3.3

688.461 695.655

OVEREENKOMST(EN) TOT DEELNAME

Studiekeuze123 nodigde in oktober 2013 alle instellingen die geaccrediteerde opleidingen aanbieden in het hoger onderwijs in Nederland uit voor deelname aan de Nationale Studenten Enquête. De instellingen zijn uitgenodigd middels een Overeenkomst tot deelname die werd verzonden aan het College van Bestuur (CvB) dan wel de directie van de betreffende instelling. Wanneer de instelling de overeenkomst getekend retour stuurde, was deelname officieel vastgelegd. Naast de Overeenkomst tot deelname stuurde Studiekeuze123 ook een Overeenkomst tot levering van een Sleutelbestand van de instelling behorende bij de Nationale Studenten Enquête 2014, voor de levering van een Sleutelbestand. Met dit Sleutelbestand konden instellingen een koppeling leggen tussen de resultaten en hun eigen studentgegevens. Studiekeuze123 stelde aanvullende eisen ten aanzien van de verwerking van dit bestand door de instelling. Deze aanvullende eisen zijn opgenomen in de Overeenkomst tot levering van een Sleutelbestand. Als een instelling voor het eerst een aanvraag indiende voor het ontvangen van het Sleutelbestand, dan ging Studiekeuze123 langs voor een informerend gesprek over wat er nodig is om dit bestand veilig te kunnen verwerken, met voldoende waarborgen voor het beschermen van de privacy van de student. Het ging hierbij vooral om de organisatorische, procedurele en technische inbedding van de verwerking binnen de instelling. Studiekeuze123 informeerde tijdens dit gesprek naar deze inrichting op basis van de Wbp, ontwikkelingen als de komende EU privacy Verordening en best practices van andere instellingen. Op basis hiervan bracht Studiekeuze123 een advies uit aan het CvB dan wel de directie van de instelling. Het was uiteindelijk de instelling zelf die bepaalde of ze al dan niet het Sleutelbestand wilde afnemen. In 2014 hebben 36 instellingen de Overeenkomst tot levering van een Sleutelbestand van de instelling behorende bij de Nationale Studenten Enquête 2014 getekend, waarvan 14 instellingen voor de eerste keer. Van deze 14 instellingen zagen 10 instellingen af van levering van het bestand op het moment dat Studiekeuze123 een afspraak wilde maken met de instelling voor een bezoek om de procedure toe te lichten. Studiekeuze123 heeft vier bezoeken afgelegd; aan drie nieuwe instellingen werd het bestand geleverd, aan één instelling is een negatief advies geleverd. Deze instelling heeft hierop zelf besloten af te zien van levering van het Sleutelbestand. In totaal hebben 25 instellingen het aanvullende Sleutelbestand ontvangen. Tabel 3.3: Aantal instellingen dat Sleutelbestand heeft ontvangen Aantal instellingen uit NSE 2012-2013 Nieuwe aanvragen NSE 2014 Getekende Overeenkomst levering Sleutelbestand NSE 2014 Alsnog afgezien van deelname met Sleutelbestand, bij nader inzien Totaal afname Sleutelbestand NSE 2014


22 14 36 instellingen 10 + 1 25 instellingen

17

3.4

STARTBIJEENKOMST EN ROUTEBOEK

Voor elke instelling was een algemene contactpersoon voor de NSE 2014 bekend (of werd door een nieuwe instelling aangesteld). Dit was de persoon binnen de instelling waarmee contact werd onderhouden over alle zaken aangaande de NSE 2014. De contactpersoon was ook de persoon die toegang had tot de resultaatbestanden. De Startbijeenkomst, gehouden op 3 oktober 2013, was het eerste moment waarop de contactpersonen informatie ontvingen over de werkwijze van de NSE 2014. Het tweede gedeelte van de bijeenkomst was vormgegeven door de kerngroep van de Special Interest Group (SIG) NSE. De SIG NSE organiseert activiteiten gericht op kennisdeling en vergroten van het gebruik van de NSEresultaten binnen instellingen (zie tevens paragraaf 4.5). Tijdens de Startbijeenkomst werd ook het Online Routeboek Nationale Studenten Enquête 2014 gepresenteerd. Voorgaande jaren werd het Routeboek als papieren boekje uitgedeeld. Dit jaar is voor het eerst gekozen het Routeboek alleen online te tonen op www.studiekeuzeinformatie.nl/nse. Hier stond alles verwoord wat voor contactpersonen van belang was om te weten over de NSE 2014, zoals werkwijze en planning. Contactpersonen die niet aanwezig waren op de Startbijeenkomst, zijn middels NSE Bijblijvers (zie ook paragraaf 4.3) gewezen op de website. Door het Routeboek Online te maken, kon alle informatie up-to-date gehouden worden. Van de planning en de instructie voor het aanleveren van studentgegevens is naast de online uitleg een PDF geleverd die eenvoudig te printen was in booklet vorm. 3.5

AANLEVERING VAN STUD ENTGEGEVENS

Voor deelname aan de NSE 2014 werden studenten van de deelnemende instellingen uitgenodigd per e-mail. Daarom was het noodzakelijk dat elke instelling de mailadressen van haar studenten vooraf aanleverde aan GfK, samen met een aantal andere studentgegevens die noodzakelijk waren voor de routering in de vragenlijst, de berekening van de weegfactoren en het analyseren van de uitkomsten. Noodzakelijke velden die dienden te worden aangeleverd waren:  Een Student-ID;  E-mailadres(sen) van de student;  De actuele BRIN-Code;  De actuele CROHO-Code;  De locatie (gemeentenaam);  Opleidingsvorm;  Afstandsonderwijs;  Studiejaar;  Geslacht;  HBO of WO. Naast de noodzakelijke velden waren er nog enkele achtergrondgegevens, waarvan het wenselijk was voor de instellingen om ze aan te leveren. Wenselijke velden die konden worden meegeleverd waren:  Vooropleiding;  Leeftijd;  Etniciteit;  Samenwerkingsverband; ___________________________________________________ Onderzoeksverantwoording Nationale Studenten Enquête 2014

18



Organisatieonderdeel.

Als laatste was er een blok overige velden die de instelling aan kon leveren. Hierbij ging het om de volgende velden:  Vijf extra labels (facultaire of andere organisatorische indelingen, honoursstudenten of andere student-gerelateerde informatie die niet uit andere bronnen voorhanden is);  Afwijkende opleidingsnaam of instellingsnaam;  Extra ondertekening in uitnodigingstekst;  Extra tekstregel in uitnodigingstekst. GfK is nagegaan in hoeverre deze velden privacygevoelig waren (te herleiden naar specifieke studenten) en nam hierover bij twijfel contact op met de instelling. Er werd bijvoorbeeld gecontroleerd op aanwezigheid van id’s, emailadressen e.d. in deze velden. Gegevens die relevant waren voor het opstellen van de uitnodigingsmail, zoals de (optionele) instellings-specifieke ondertekening en de (eveneens optionele) ‘instellings-specifieke motivatieregel’ werden op recordniveau (dus per student) aangeleverd bij de overige velden. In het Online Routeboek NSE 2014 was een uitleg gegeven over en zijn definities gegeven van deze aan te leveren gegevens. Deze instructie was ook te downloaden en printen. De studentgegevens moesten door elke instelling vooraf (uiterlijk op 13 december 2013) aangeleverd worden. Vrijwel alle instellingen hebben hier tijdig aan voldaan. Er is hiervoor gebruik gemaakt van een uploadtool waarin instellingen in een vooraf gedefinieerd format de studentgegevens konden uploaden. Elke deelnemende onderwijsinstelling is half november 2013 door middel van een schriftelijke instructie geïnformeerd over hoe de uploadtool gebruikt diende te worden en heeft eigen inloggegevens ontvangen. De uploadtool - actief in een afgeschermde omgeving - bood onderwijsinstellingen ook directe feedback op het aangeleverde bestand door de reeds ingebouwde controles. Deze ingebouwde controles betroffen:  Controles op structuur van het bestand;  Controles op doublures (‘dubbele studenten’);  Controles op volledigheid (alle opleidingen aangeleverd?);  Controles op geldigheid van de waarden (BRIN, CROHO, datum);  Controles op juistheid e-mailadressen (syntaxis). Nadat het bestand na de controles was goedgekeurd en vervolgens geüpload, diende de instelling de status nog op ‘definitief’ te zetten. Dat was voor GfK het sein dat het geüploade bestand het definitieve studentenbestand was waarmee voor de NSE 2014 gewerkt zou gaan worden. In de uploadfase is de uploadtool overbelast geweest, mede doordat veel instellingen op beperkte tijd voor de deadline begonnen waren met de upload van de informatie. Voor de NSE 2015 wordt onderzocht of daar server-technisch meer piekcapaciteit ingeregeld kan worden. Ook zal instellingen worden gevraagd hun studentenbestand binnen een specifiek ‘time-slot’ te uploaden, zodat de piekbelasting wat meer gespreid zal worden.


19

3.6

VERWERKING VAN STUDENTGEGEVENS

Uiteindelijk zijn in totaal van 695.655 studenten de noodzakelijke gegevens aangeleverd om hen aan de NSE 2014 deel te kunnen laten nemen. Per student konden één of twee e-mailadressen aangeleverd worden. Van de mogelijkheid om een tweede e-mailadres aan te leveren, hebben 22 instellingen gebruik gemaakt. In totaal is voor 188.812 van de 695.655 studenten een tweede emailadres aangeleverd. Vervolgens voerde GfK nog enkele inhoudelijke controles uit, zoals een check op de privacygevoeligheid van de aangeleverde labels, controle op spelling en neutraliteit van de aangeleverde motivatieteksten en een extra controle op mogelijk oneigenlijk ingevulde velden. Hier zijn geen bijzonderheden uit naar voren gekomen. Daarna zijn de afzonderlijke instellingsbestanden samengevoegd tot één populatiebestand en vervolgens verrijkt met de volgende externe gegevens:  HBO of WO (uit CROHO);  De actuele instellingsnaam (uit CROHO);  De actuele opleidingsnaam (uit CROHO);  Bachelor of Master (uit 1cHO2/ Studiekeuzedatabase);  Studentaantallen (uit 1cHO) – controle van de aangeleverde studentaantallen. Sommige van deze gegevens werden óók door instellingen zelf aangeleverd (BRIN, CROHO, HBO/WO); in dat geval diende de koppeling met het CROHO-register als controle. GfK voegde aan het totaalbestand unieke niet-sequentiële respondentnummers en wachtwoorden toe. De wachtwoorden bestonden uit twaalf karakters (een combinatie van cijfers en kleine letters en grote letters, bijvoorbeeld ‘pRQeVTCXMZJ4’). In aanloop naar de start van de NSE 2014 zijn de variabelen, benodigd voor het veldwerk, uit het totaalbestand geselecteerd. Dit bestand is geüpload naar zowel de software voor het verzenden van de e-mails (GfK Atlas) als de software voor de interviewserver (GfK Drive) en dit bestand is eveneens gebruikt voor de database ten behoeve van de wachtwoordmodule. De gegevens zijn concreet gebruikt voor authenticatie, terugkoppeling in de enquête over de opleiding waaraan men studeert, voor de routing van de vragenlijst en zijn ook gebruikt als basis voor het responsoverzicht. Daarnaast kon de instelling een extra tekstregel en een ondertekening toevoegen die werden opgenomen in de uitnodiging. 3.7

DE NSE-VRAGENLIJST

In 2012 heeft een intensief herijkingsproces plaatsgevonden van de NSE vragenlijst. Hiervoor was een werkgroep ingericht met een onafhankelijke voorzitter. Er zijn beperkte wijzingen voorgesteld aan het management van Studiekeuze123. Op maandag 26 november 2012 heeft het bestuur van Studiekeuze123 de NSE vragenlijst vastgesteld. In de vragenlijst wordt een onderscheid gemaakt tussen kernvragen (vastgesteld voor negen jaar) en niet-kernvragen (vastgesteld voor drie jaar). De onderwerpen zijn weergegeven in onderstaande tabel.

2

1cHO staat voor 1 cijfer HO. Dit is een extract uit het Centraal Register Inschrijving Hoger Onderwijs (CRI-HO). In het CRI-HO staan alle inschrijvingen en examens van studenten in het hoger onderwijs (WO en HBO) ___________________________________________________ Onderzoeksverantwoording Nationale Studenten Enquête 2014

20

Tabel 3.4: Beschrijving NSE vragenlijst Onderwerpen 1. Algemene oordeel

trendbestand trendbestand trendbestand

V. 17 V. 18

6 5 4

5. 6. 7. 8. 9. 10. 11. 12. 13. 14.

De inhoud en opzet van het onderwijs bij je opleiding Verworven algemene vaardigheden (WO) verworven wetenschappelijke vaardigheden (HBO) praktijkgericht onderzoek Voorbereiding beroepsloopbaan De docenten aan de opleiding Studiebegeleiding Toetsing en beoordeling Informatie vanuit de opleiding Studieroosters Studielast Contacttijd Groepsgrootte Stages

Vragen: V. 14 V. 15 V. 16

trendbestand trendbestand trendbestand niet-trendbestand niet-trendbestand niet-trendbestand niet-trendbestand niet-trendbestand niet-trendbestand niet-trendbestand

V. V. V. V. V. V. V. V. V. V.

19 20 21 22 23 24 25 26 27 28

15. 16. 17. 18. 19.

Studiefaciliteiten Kwaliteitszorg Overige faciliteiten en studieomgeving Woonsituatie Handicap en studie

niet-trendbestand niet-trendbestand niet-trendbestand niet-trendbestand niet-trendbestand

20. 21. 22.

Internationale studenten ‘The ultimate question’ Wensen / ideeën voor verbetering

niet-trendbestand niet-trendbestand niet-trendbestand

V. V. V. V. V. V. V. V. V. V. V. V. V. V. V. V.

29 30 31 32 33 33a 34 35 36 37 38 39 40 41 42 43

3 8 3 5 4 2 4 4 3 1 5 6 4 7 2 1 1 1 1 1 1 1 1 9 5 1 1

2. 3. 4.

Kenmerk: trendbestand

Items: 1 14 11

De NSE bevraagt 22 onderwerpen, die in totaal uit 43 vragen bestaan. De vragen kunnen bestaan uit meerdere items, in totaal zijn er 126 items, zie bovenstaande tabel. De Wet bescherming persoonsgegevens (Wbp) beschouwt vragen over de gezondheid als ‘bijzondere persoonskenmerken’ waarvoor nadrukkelijke toestemming van de student nodig is. Daarom is vraag 33a dit jaar voor het eerst toegevoegd: In het kader van de Wet bescherming persoonsgegevens is het voor dit onderwerp noodzakelijk je uitdrukkelijke toestemming te vragen om de antwoorden met je onderwijsinstelling te mogen delen. Hierbij geldt uiteraard nog steeds dat strikt vertrouwelijk zal worden omgegaan met de informatie. Ga je akkoord met het delen van de antwoorden over je functiebeperking, aandoening of ziekte met je onderwijsinstelling? o Ja o Nee ___________________________________________________ Onderzoeksverantwoording Nationale Studenten Enquête 2014

21

De studenten die geen toestemming gaven, werden doorgeleid naar het volgende onderwerp in de vragenlijst. Een beschrijving van de respons van deze studenten vindt plaats in paragraaf 5.5. Naast het vaste bestand hadden instellingen de mogelijkheid tegen meerkosten aan het einde van de vragenlijst een aantal extra vragen toe te voegen. Bij de NSE 2014 hebben 18 instellingen gebruik gemaakt van deze mogelijkheid. Door GfK werd gemonitord of de invulduur van de extra vragen binnen maximaal 5 minuten bleef. Tevens was het bewaken van de meerjarige vergelijkbaarheid van de vragen belangrijk. Vragen die in eerdere jaren zijn gesteld, zijn als dezelfde variabele in de meerjarige instellingsbestanden opgenomen. Daarnaast zijn de extra vragen gecontroleerd op juistheid en formulering als ook op mogelijke privacy-gevoeligheid. De vertaling van de vragenlijst is door Studiekeuze123 verzorgd. De vertaling van de instellingsvragen hebben instellingen zelf voor hun rekening genomen. De vragenlijst inclusief alle instellingsvragen is vervolgens door GfK drietalig (Nederlands, Engels, Duits) geprogrammeerd in de GfK Drive software. De lay-out van de vragenlijst is ongewijzigd. Ter illustratie hieronder een schermafbeelding van vraag 20 van de vragenlijst NSE 2014 (Figuur 3.1). Figuur 3.1: Schermafbeelding vraag 20 vragenlijst NSE 2014


22

4.

COMMUNICATIE

In dit hoofdstuk wordt ingegaan op de communicatie-activiteiten die hebben plaatsgevonden richting de studenten en richting de instellingen. 4.1

COMMUNICATIE STUDENT EN

Studenten konden vragen stellen of opmerkingen plaatsen aan Gfk/Studiekeuze123 via het emailadres [email protected]. Het uitlezen van [email protected] gebeurde in de veldwerkperiode dagelijks; daarvoor en daarna geschiedde het uitlezen van [email protected] minimaal wekelijks. Antwoorden op veel gestelde vragen waren voor studenten ook na te lezen op www.nse.nl/faq. In totaal zijn er 906 e-mails binnengekomen van studenten (ten opzichte van 1.454 vorig jaar), waarvan er 804 binnenkwamen tijdens de veldwerkperiode van 13 januari tot en met 9 maart 2014 (ten opzichte van 1.369 vorig jaar). Onderwerpen van vragen waren grotendeels: niet willen deelnemen, vragen over verloting van de prijzen, extra opmerkingen, opmerkingen over de vragenlijst en problemen met invullen van de vragenlijst. Daarnaast konden instellingen in de communicatie naar de studenten gebruik maken van het promotiemateriaal dat door Studiekeuze123 was klaargezet. Studiekeuze123 heeft voor de NSE 2013 een poster, een flyer en banners in verschillende formaten ontworpen. Dit is voor de NSE 2014 ongewijzigd ingezet. Naast dit basispakket kon een bouwpakket worden aangevraagd waarbij instellingen de mogelijkheid hadden om een eigen logo en/of tekst toe te voegen aan de flyer en poster. Het bouwpakket is door 21 instellingen aangevraagd, dit is door één instelling minder dan tijdens de NSE 2013. Daarnaast is bekend dat instellingen vaak zelf per e-mail, of berichten op Blackboard, of met eigen promotieacties studenten oproepen de NSE in te vullen. 4.2

UITNODIGINGSTEKST EN REMINDERS

De studenten ontvingen de uitnodiging voor deelname per e-mail. Voor de uitnodigingstekst en de reminders zijn de teksten van de NSE 2013 als basis gebruikt. Er zijn enkele minimale aanpassingen gedaan in de teksten ten opzichte van vorig jaar, zoals aanpassingen van het jaartal en een naamswijziging van HBO-raad in Vereniging Hogescholen. De uitnodigingstekst is nogmaals bekeken door de studenten die tijdens de NSE 2013 ook hebben meegekeken naar teksten. 4.3

COMMUNICATIE INSTELL INGEN

Algemene informatie over de NSE was terug te vinden in het Online Routeboek voor de Nationale Studenten Enquête 2014 op de website www.studiekeuzeinformatie.nl/nse. In het Routeboek is het volledige proces van de NSE te lezen, evenals de planning en diverse instructies voor instellingen voor het aanleveren van informatie ten behoeve van de NSE. Nieuw dit jaar was dat het Routeboek niet meer in gedrukte versie is uitgekomen, maar alleen digitaal. De planning en de handleiding voor het aanleveren van studenten zijn ook in PDF klaargezet, zodat contactpersonen deze indien gewenst konden printen. Er is gekozen om alleen te werken met een digitaal routeboek omdat informatie op deze manier up-to-date gehouden kon worden gedurende het jaar. Op het moment dat er wijzigingen ___________________________________________________ Onderzoeksverantwoording Nationale Studenten Enquête 2014

23

in het traject optraden, konden deze gemakkelijk worden aangepast in het Online Routeboek. Contactpersonen NSE hebben in de evaluatie van de NSE 2014 aangegeven dat ze met het Online Routeboek goed overweg konden. Wel zouden ze op de hoogte gesteld willen worden van wijzigingen die worden aangebracht. Daar wordt voor komend jaar een oplossing voor gezocht in de vorm van een RSS-feed. Daarnaast werden de contactpersonen op de hoogte gehouden van ontwikkelingen via de NSE Bijblijver. In totaal zijn tijdens de NSE 2014 elf NSE Bijblijvers verstuurd. Voor de communicatie met deelnemende instellingen werd het centrale NSE e-mailadres [email protected] gebruikt, van waaruit zowel Studiekeuze123 als GfK communiceerden gedurende het gehele uitvoeringstraject van de NSE 2014. Daarnaast was er ook een NSE telefoonnummer beschikbaar (035-6257 668). Voor, tijdens en na het veldwerk is [email protected] op werkdagen dagelijks uitgelezen. Er werd snel gereageerd op vragen. De binnengekomen e-mails via [email protected] zijn geregistreerd in JIRA. JIRA is een systeem dat binnengekomen mails registreert in een zogenaamde call en vervolgens wordt deze call toegekend aan een lid van het projectteam (van GfK of Studiekeuze123) door een medewerker van GfK. Hiermee is eenvoudig de voortgang van calls te monitoren en er wordt voorkomen dat gestelde vragen tussen wal en schip belanden. GfK beheerde onder regie van Studiekeuze123 dit call-afhandelingssysteem. In totaal zijn er 1.255 calls aangemaakt in de JIRA Servicedesk voor [email protected]. Ten opzichte van 2.150 voor de NSE 2013 is dit een flinke daling. De piek in de binnenkomende communicatie lag in de voorbereidings- en uitvoeringsfase. Er was vooral contact over voorbereiding van het onderzoek (aanleveren studentgegevens, afstemming spamfilter, responsoverzichten). Andere onderwerpen die veel aan bod zijn gekomen, waren de vragenlijst, vragen over de bestanden en vragen over communicatie. De instellingen waren over het algemeen tevreden over de wijze en de snelheid van reageren. Dit is aan de orde geweest tijdens de evaluatie enquête onder de contactpersonen NSE en tijdens de externe evaluatiebijeenkomst van de NSE 2014. 4.4

SOCIAL MEDIA

Studenten hadden in 2014 de mogelijkheid om aan het einde van de vragenlijst automatisch een bericht te plaatsen op Facebook of Twitter. Het standaard bericht was als volgt: ‘Nationale Studenten Enquête ingevuld en mijn mening gegeven over mijn opleiding! Wie volgt? nse.nl #NSE2014 http://www.nse.nl’. Het standaard bericht is in totaal 134 keer getwitterd. Het is niet te achterhalen hoe vaak berichten op Facebook zijn geplaatst. Verder is er door studenten 492 keer getwitterd over de NSE 2014 met een eigen bericht. Berichten waarin een vraag of opmerking stond, zijn door Studiekeuze123 via Twitter (@Studiekeuze123) beantwoord. Studiekeuze123 heeft zelf gedurende het veldwerk 7 verschillende tweets verzonden. Deze zijn in totaal 71 keer geretweet. Bij het uitkomen van de resultaten zijn door Studiekeuze123 9 tweets verstuurd die in totaal 22 keer zijn geretweet. 4.5

SPECIAL INTEREST GRO UP NSE

De Special Interest Group NSE (SIG NSE) is een groep van instellingen die het interessant vinden om informatie en kennis uit te wisselen over onderwerpen die te maken hebben met de NSE. De ___________________________________________________ Onderzoeksverantwoording Nationale Studenten Enquête 2014

24

contactpersonen NSE zitten in deze SIG; al naar gelang onderwerpen die op de agenda staan, kunnen zij collega’s meenemen. Voor de SIG NSE worden drie bijeenkomsten per jaar georganiseerd: de Startbijeenkomst, Tussenbijeenkomst en Slotbijeenkomst. De inhoudelijke thema’s van de bijeenkomsten werden voorbereid door een kerngroep. In deze kerngroep zat in 2014 een vertegenwoordiging van de volgende instellingen: Hogeschool Inholland (voorzitter), Hogeschool Rotterdam, Technische Universiteit Delft, Markus Verbeek Praehep, GfK, Studiekeuze123 (secretaris). De Startbijeenkomst vond plaats op 3 oktober 2013 en had ongeveer 40 deelnemers. De aanpak van de NSE 2014 werd besproken en de kerngroep heeft het inhoudelijke programma verzorgd met twee thema’s: van data naar informatie en het thema kwaliteit van data. De Tussenbijeenkomst op 20 maart 2013 trok 40 deelnemers. Tijdens het eerste gedeelte van de bijeenkomst is plenair gesproken over verschillende onderwerpen. Het Codeboek (zie paragraaf 7.1.1) werd gepresenteerd, er is een korte evaluatie geweest over het verloop van de veldwerkperiode, eerste inzichten in de respons, en de planning voor levering van resultaten is nogmaals toegelicht. In het tweede gedeelte van de bijeenkomst ging de groep uiteen in twee deelgroepen. In de ene groep (een expert workshop) werd in gegaan op betekenisgeving aan data. Er is behandeld hoe een prioriteitenmatrix kan worden gemaakt en er is een presentatie gegeven vanuit Expertisecentrum Handicap + Studie over hoe zij betekenis geven aan de data uit de NSE. De andere groep heeft een workshop SPSS voor dummies gevolgd. De Slotbijeenkomst viel dit jaar tegelijk met de Studiekeuzeconferentie die Stichting Studiekeuze123 organiseerde (zie paragraaf 4.6). 4.6

STUDIEKEUZE CONFERENTIE

Studiekeuze123 vierde op 22 mei 2014 haar 5-jarig bestaan als stichting. Studiekeuze123 had op deze dag een Studiekeuzeconferentie (Lustrumconferentie) georganiseerd. Op deze dag zijn ook de resultaten NSE 2014 openbaar geworden. De media is geïnformeerd via een persuitnodiging die inging op de conferentie met daarnaast een tipje van de sluier van een aantal resultaten uit de NSE 2014. Deze persuitnodiging is op 15 mei verzonden aan de media. Een verslaggever van Radio 1 was aanwezig bij de conferentie. Daarnaast hebben 5 journalisten op 22 mei 2014 (de dag dat de resultaten openbaar werden) contact gezocht met Studiekeuze123 voor een nadere toelichting, waaronder Metro/Spits, RTL Nieuws en een aantal regionale zenders. RTL Nieuws heeft in haar live-uitzending van 11.00 uur een item gewijd aan de NSE waarvoor Studiekeuze123 telefonisch is geïnterviewd tijdens de uitzending. Daarnaast hebben zo’n 30 dagbladen een artikel geschreven over de Nationale Studenten Enquête 2014. De Slotbijeenkomst van de NSE was geïntegreerd in de conferentie. Contactpersonen NSE konden met een korting deelnemen aan de conferentie. Verschillende workshops waren specifiek interessant voor de contactpersonen NSE:  Van cijfers naar actie: de focus op kwaliteitsaspecten die voor de student het meest belangrijk zijn. (Mervin van Veen & Peter van de Vijver - GfK)  Student Analytics en aansluiting VO-HO – een verkenning van de mogelijkheden (Theo Bakker - Deloitte Consulting)  Informatie of desinformatie: avonturen van de redactie van de Keuzegids met waarheidsvinding (Frank Steenkamp - C.H.O.I./Keuzegids)  Wie wil kiezen, moet kunnen vergelijken (Arthur van Leeuwen - Weekblad Elsevier). ___________________________________________________ Onderzoeksverantwoording Nationale Studenten Enquête 2014

25

Twintig contactpersonen NSE hebben van de korting gebruik gemaakt en hebben de Studiekeuzeconferentie bezocht. Dit aantal viel tegen. Reden van afwezigheid die contactpersonen opgaven, waren het feit dat de conferentie een gehele dag duurde en tegelijk was met het openbaar maken van de NSE resultaten. Het was voor contactpersonen niet mogelijk een gehele dag afwezig te zijn van de instelling. Omdat de conferentie betaald was, vonden contactpersonen het zonde van het geld om slechts een dagdeel te komen. Ondanks het feit dat er niet zoveel contactpersonen NSE waren als verwacht, zijn alle NSE-gerelateerde workshops goed bezocht. 4.7

NSE ONLINE GESTOPT

Voor de NSE 2014 zijn de resultaten niet meer ingeladen in de tool NSE Online. Reden hiervoor was dat de tool relatief weinig werd gebruikt en niet als gebruiksvriendelijk ervaren werd. Gedurende het jaar is op verschillende manieren hierover gecommuniceerd naar de Contactpersonen NSE. Zo is het tijdens alle bijeenkomsten benoemd, is het in meerdere NSE Bijblijvers gemeld en is er een aparte mailing over dit onderwerp verstuurd aan de Contactpersonen NSE. Om de Contactpersonen NSE die van deze tool gebruik maakten tegemoet te komen, is een workshop SPSS for dummies georganiseerd en zijn standaard SPSS syntaxen ontwikkeld die beschikbaar zijn gesteld op Studiekeuzeinformatie.nl. Deze syntaxen helpen bij het uitsplitsen van de NSE resultaten in SPSS. 4.8

TOTSTANDKOMING VAN VERNIEUWDE FACTSHEETS

Studiekeuze123 levert elk jaar bij het uitkomen van de resultaten een zogenaamde Factsheet aan het CvB/de directie van de deelnemende instellingen. Op de Factsheet worden de resultaten van de betreffende instelling vergeleken met een relatief referentiepunt (andere universiteiten c.q. hogescholen) en met een absoluut referentiepunt (voorgaand jaar). De oude factsheet was moeilijk te lezen vanwege de hoge informatiedichtheid. Om deze reden was besloten een nieuwe Factsheet te ontwikkelen die op gemakkelijk te lezen wijze de resultaten van de betreffende instelling weergeeft. Om ervoor te zorgen dat de nieuwe Factsheet aansloot bij de wens van de instellingen, zijn de contactpersonen NSE uitgenodigd om in een klankbordgroep Factsheets plaats te nemen. Verschillende instellingen hebben zich hiervoor aangemeld. Met de klankbordgroep is tijdens een brainstormbijeenkomst een kader van eisen en wensen opgesteld waaraan de Factsheet diende te voldoen. Vervolgens zijn drie verschillende vormgevers die ervaring hadden met het visualiseren van data benaderd om een offertevoorstel te doen. De gekozen vormgever heeft een ontwerp gemaakt dat nogmaals is afgestemd met de klankbordgroep. GfK heeft zorggedragen voor de technische omgeving waarin de Factsheets zijn vervaardigd. De feitelijke beschrijving van de Factsheet is te vinden in paragraaf 7.2.


26

5.

POPULATIE EN RESPONS

5.1

MAILING

Het veldwerk van de NSE 2014 duurde acht weken, van maandag 13 januari 2014 tot en met zondag 9 maart 2014. Dat was twee weken korter dan in voorgaande jaargangen van de NSE. Het besluit om het veldwerk tijdens de NSE 2014 met twee weken te verkorten, is gevallen na de uitvoering van een pilot en een vervolganalyse tijdens en direct na de uitvoering van de NSE 2013. De slotconclusie van die analyse was dat ‘een verkorting van het veldwerk naar 8 weken legitiem is, omdat het geen effecten heeft op de representativiteit en vergelijkbaarheid van de resultaten’ (Meurs & van den Vijver, 2013). Zie tevens paragraaf 5.3 De studenten zijn steeds benaderd op het beschikbare e-mailadres en - indien beschikbaar - ook op een tweede e-mailadres. Voor in totaal 188.812 studenten is een tweede e-mailadres aangeleverd door de participerende instellingen. Elke verzending is gelijkmatig verspreid over de periode van één week. Het tweede e-mailadres is steeds aangeschreven op de maandag na deze verzendweek. In totaal zijn er 3.478.275 e-mails (alle verzonden e-mails opgeteld) aan 695.655 studenten verstuurd. Na de initiële uitnodigingsmail volgden nog drie reguliere herinneringsmails (met een interval van steeds twee weken). Studenten die al hadden gereageerd, of zich hadden afgemeld, zijn niet nogmaals benaderd. In de laatste week is nog een “last shot”-mail verstuurd om ook de laatste studenten, die nog niet hadden gereageerd, over de streep te trekken. 5.2

RESPONS

De e-mailadressen van in totaal 695.655 studenten zijn door de onderwijsinstellingen aangeleverd. Een overzicht van de aangeleverde studentenpopulatie is te zien in Tabel 5.1: Tabel 5.1: Samenstelling aangeleverde studentenpopulatie Soort hoger onderwijs Universiteit

Hogeschool Geslacht

Type hoger onderwijs

Studiejaar

Onderwijsvorm

Totaal

Percentage

Aantal

Percentage

Aantal

Percentage

Aantal

Man

48,4%

214.318

49,2%

124.542

48,7%

338.860

Vrouw

51,6%

228.064

50,8%

128.731

51,3%

356.795

Bachelor

95,6%

423.137

63,2%

159.980

83,8%

583.117

Master

3,1%

13.643

36,8%

93.293

15,4%

106.936

Associate degree

1,3%

5.602

0,0%

0

0,8%

5.602

Eerstejaars

33,0%

145.925

31,8%

80.442

32,5%

226.367

Ouderejaars

67,0%

296.457

68,2%

172.831

67,5%

469.288

Totaal

100,0%

442.382

100,0%

253.273

100,0%

695.655

Voltijd

85,8%

143.332

94,0%

72.190

88,4%

215.522

Deeltijd

12,2%

20.455

5,8%

4.477

10,2%

24.932

Duaal

2,0%

3.298

0,1%

103

1,4%

3.401

Totaal

100,0%

167.085

100,0%

76.770

100,0%

243.855


27

In totaal zijn 695.655 studenten benaderd om deel te nemen aan het onderzoek, zie Tabel 5.2. Tabel 5.2: Respons

Typering

2010

2011

Aantal 2012

2013

2014

Populatie initieel (bruto) - Aangeleverd, maar buiten de doelgroep - Dubbelingen - E-mailadres niet bereikt (bouncers)

647.139 1.318 0 0

600.749 3.778 0 8.400

682.389 3.745 6.067 22.119

674.489 1.045 0 2.775

695.655 0 0 5.006

Populatie bruikbaar (netto = responsbasis) - Afmelders via unsubscribe button - Afmelders via unsubscribe button (%)

643.615 2.183 0,3%

588.571 6.054 1,0%

650.458 11.658 1,8%

670.669 4.964 0,7%

690.649 4.071 0,6%

- Respons bruto - Respons bruto (%)

240.704 37,0%

215.333 36,6%

212.002 33,0%

270.961 40,4%

238.545 34,5%

- Respons netto (gecleaned) - Respons netto (%)

225.991 35,0%

207.457 35,2%

202.781 31,0%

264.710 39,5%

232.667 33,7%

Van de 695.655 studenten konden er 5.006 niet deelnemen omdat zij niet via het beschikbare emailadres konden worden bereikt. Dit aantal is beduidend meer dan in 2013 (2.775). Hiervoor is nog geen sluitende verklaring gevonden. Deze studenten zijn uit de resultaten gefilterd. De hieruit resulterende netto populatie bedroeg 690.649 studenten. Bij de NSE 2014 waren er geen foutief aangeleverde studenten. In vergelijking met vorig jaar is dat een verbetering want toen waren er 1.045 studenten die niet tot de doelgroep behoorden. Foutief aangeleverde studenten zijn studenten die geen geaccrediteerd hoger onderwijs volgen, zoals post-masters en pre-masters. Elke student die minimaal de eerste inhoudelijke enquêtevraag (v14: algemene tevredenheid over de opleiding) had ingevuld, is in de respons meegerekend. Op basis hiervan bedroeg de bruto respons 238.545 studenten (34,5%). Na cleaning op invulduur (zie paragraaf 6.1.3) kwam de netto respons uit op 232.667 deelnemende studenten (33,7%). 0,6% van alle studenten heeft zich tijdens de uitvoering van het onderzoek afgemeld voor deelname door te klikken op de afmeldlink in de uitnodigingsmail of reminder (‘unsubscribe’). De betreffende studenten zijn vervolgens binnen het mailsysteem uitgesloten voor verdere benaderingen. In de NSE 2013 bedroeg dit 0,7%. In de eerder aangehaalde analyse uitgevoerd door GfK in 2013 gericht op een mogelijke verkorting van de veldwerkduur tijdens de NSE 2014, werd de verwachting uitgesproken dat een verkorting van de veldwerkduur de NSE weliswaar respons zou gaan kosten, maar dat dit verlies relatief beperkt zou kunnen blijven en een respons van 36% nog altijd mogelijk zou moeten zijn. De conclusie na afronding van de NSE 2014 is dat de respons sterker is gedaald dan werd verwacht en nu dichter in de buurt komt van het niveau van de NSE 2012 (31%). Met andere woorden: er werd nu in acht weken slechts iets meer respons behaald dan in 2012 in 10 weken.


28

De vraag is waardoor de respons sterker is gedaald dan werd verwacht. Welke andere verklaringen hebben daarbij mogelijk een rol gespeeld? Met behulp van de beschikbare gegevens is getracht een zo goed mogelijk beeld van de redenen voor non-respons te schetsen, zie hiervoor paragraaf 5.5. 5.3

RESPONSGEDRAG

De netto respons in 2014 was, zoals hiervoor geschetst, lager dan in 2013 maar komt redelijk overeen met de respons in 2010 (35%) en 2011 (35,2%) en ligt op het niveau van 2012 (zie Tabel 5.2). Tabel 5.3.: Netto respons en veldwerkduur in 2010 tot en met 2014 Jaar Netto respons Veldwerkduur 2010 35% 10 weken 2011 35,2% 10 weken 2012 31% 10 weken 2013 39,5% 8-10 weken 2014 33,7% 8 weken Figuur 5.1: Bruto responsverloop cumulatief en per dag

Uit het bruto responsverloop in Figuur 5.1 blijkt het effect dat iedere remindermail heeft gehad (respons piekt). Ook is zichtbaar dat meer dan de helft van de uiteindelijke respons is behaald na de initiële uitnodigingsmail en de eerste herinnering. Op de maandag na elke verzendweek, zodra het 2 e beschikbare e-mailadres werd aangeschreven, is ook een piek zichtbaar. Dat komt enerzijds doordat het aantal e-mails iets groter was dan bij de reguliere mailings, maar anderzijds werd hier ook gemiddeld beter op gerespondeerd. De laatste piek heeft te maken met de “last shot”-mail, die via het tweede e-mail adres is verstuurd. Deze piek is hoger dan alle andere tussenherinneringen. Deze piek is ___________________________________________________ Onderzoeksverantwoording Nationale Studenten Enquête 2014

29

in 2013 niet te zien. Dit heeft te maken met het experiment dat tijdens de NSE 2013 is uitgevoerd om de veldwerkduur te verkorten. In dit experiment zijn na acht weken geen e-mails meer verstuurd richting studenten, maar kon de vragenlijst nog wel gewoon worden ingevuld. De instellingen hadden de mogelijkheid voor een extra herinnering, een laatste appèl in week 9, waarin een laatste beroep werd gedaan op studenten om alsnog deel te nemen. In twee gevallen is een uitzondering gemaakt op deze benadering. Twee instellingen hebben ervoor gekozen om in 2013 nog de ‘oude’ benaderingsroutine toe te passen, met andere woorden: met één extra herinnering en de “last shot”mail in de 10e week. Door deze spreiding van de “last shot”-mail is er in 2013 geen eenduidige piek te zien. 5.4

HOE IS DE NSE INGEVU LD?

De enquête is geprogrammeerd in drie talen: Nederlands, Engels en Duits. Bij de start van de vragenlijst konden studenten een taal kiezen, waarna de student direct werd doorgeleid naar de vragenlijst in de door hem/haar gekozen taal. In totaal vulde 90,7% de Nederlandse vragenlijst in, 6,3% de Engelse en 3,0% de Duitse. Deze percentages zijn vergelijkbaar met die van 2013 (zie Tabel 5.4). Tabel 5.4: Percentage ingevulde vragenlijst 2013 en 2014, uitgesplitst naar taal NSE 2013 NSE 2014 NSE 2010 NSE 2011 NSE 2012 Nederlands 91,8% 90,7% 93,0% 93,0% 91,0% Engels 5,4% 6,3% 5,7% 5,7% 5,7% Duits 2,8% 3,0% 1,3% 1,3% 3,6% Totaal 100% 100% 100% 100% 100% De gemiddelde invulduur van de vragenlijst bedroeg 12,7 minuten voor studenten die op locatie onderwijs volgden en 9,2 minuten voor studenten die afstandsonderwijs volgden en als gevolg hiervan een kortere vragenlijst invulden (zie paragraaf 6.1.3)3. Belangrijk voor de datakwaliteit was de mate waarin de vragenlijst volledig (tot het einde, tot en met de ‘ultimate question’) werd ingevuld. Op basis van de netto respons kan geconcludeerd worden dat 86,2% van de respondenten de vragenlijst integraal beantwoordde. Dit betekent een afname ten opzichte van de NSE 2013 (91%). Mogelijk hangt dit samen met de lagere respons in 2014.

3

Omdat er geen maximum gesteld is aan de tijd die respondenten konden nemen voor het invullen van de vragenlijst, is de invulduur voor sommige respondenten extreem lang (bijvoorbeeld omdat zij tijdens het invullen iets anders zijn gaan doen en op een later moment de vragenlijst hebben afgerond. Om die reden zijn alle waarden boven 30 minuten invulduur (of 22 minuten voor studenten in het afstandsonderwijs) buiten beschouwing gelaten bij berekening van de gemiddelde invulduur. ___________________________________________________ Onderzoeksverantwoording Nationale Studenten Enquête 2014

30

% van degenen die vraag 14 hebben ingevuld

Figuur 5.2: Niet volledig ingevulde vragenlijst (verval voor een aantal vragen) 100 100100

95

96 96 2013

94

2014

93 92

90

91

90

88 87

86

85 Vraag 14 Vraag 15n Vraag 20h Vraag 25d Vraag 30d Vraag 42

Vraag 14: algemeen oordeel over de studie; Vraag 15n: tevredenheid over betrekken student bij opleiding; Vraag 20h: tevredenheid over kennis docenten beroepspraktijk; Vraag 25d: tevredenheid over de mogelijkheid om zonder studieonderdelen te volgen;

vertraging

de

gewenste

V30d: tevredenheid over de manier waarop je opleiding op klachten en problemen reageert; V42: Zou je jouw opleiding aanraden aan vrienden, familie of collega’s?

In Figuur 5.2 valt na te gaan waar studenten (die zijn meegerekend tot de netto respons) in de vragenlijst uitvielen. De meeste studenten vielen snel na de algemene tevredenheidsvraag (v14) af. In vergelijking met 2013 valt ook tussen vraag 15 en vraag 20 nog een substantieel deel af; op het einde van de vragenlijst is er nog weinig sprake van uitval. Dit wijst erop dat studenten die eenmaal besloten om deel te nemen, over het algemeen niet later tijdens het invullen van de vragenlijst alsnog door de lengte werden ontmoedigd om verder te gaan. 5.5

ANALYSE NIEUWE VRAAG 33A

Zoals vermeld in paragraaf 3.7 is omwille van de Wbp dit jaar een nadrukkelijke toestemmingsvraag opgenomen in de vragenlijst voor het delen van de antwoorden van de student met een functiebeperking met de onderwijsinstelling. De studenten die geen toestemming gaven, werden doorgeleid naar het volgende onderwerp in de vragenlijst. Een effect van het vragen om toestemming zou kunnen zijn dat het aantal antwoorden dit jaar veel lager zou zijn dan in eerdere jaren. Tabel 5.5 laat zien hoeveel studenten wel toestemming hebben gegeven en hoeveel niet. Tabel 5.5.: Antwoorden studenten op nieuwe vraag 33a. Vraag 33a Aantal Geen toestemming 5.656 18% Wel toestemming 25.968 82% Totaal 31.624 100% In 2013 hebben 22.421 studenten dit vragenblok ingevuld. Dit betekent dat het aantal studenten dat aangeeft een handicap of beperking te hebben dit jaar bijna 10.000 studenten hoger ligt dan vorig ___________________________________________________ Onderzoeksverantwoording Nationale Studenten Enquête 2014

31

jaar. Er is geen duidelijke verklaring te geven voor deze stijging. Dit punt is voorgelegd aan het Expertisecentrum Handicap + Studie. 5.6

NON-RESPONSANALYSE

Het netto responspercentage voor de NSE 2014 bedroeg 33,7%. Dat wil zeggen dat ruim een derde deel van de studentenpopulatie heeft deelgenomen aan het onderzoek. In een analyse is uitgezocht in hoeverre er verschillen bestaan tussen degenen die respondeerden en de studenten die dat niet deden. Voor de analyse zijn percentages berekend voor de volgende groepen studenten:  vragenlijst volledig ingevuld: studenten die de vragenlijst volledig hebben ingevuld;  vragenlijst onvolledig ingevuld: studenten die de vragenlijst niet volledig hebben ingevuld, maar wel de algemene tevredenheidsvraag hebben beantwoord;  de non-respons: studenten die de e-mail hebben ontvangen, maar niet hebben meegedaan met het onderzoek;  afmelders: studenten die niet meer mee wilden doen aan het onderzoek;  e-mailadres niet bereikt: studenten bij wie de e-mail niet was aangekomen (“bouncers”). De verschillen zijn voor de NSE 2013 geanalyseerd naar de volgende achtergrondkenmerken:  Soort hoger onderwijs (hogeschool of universiteit)  Type hoger onderwijs (Bachelor, Master of anders, bijvoorbeeld Associate degree)  Opleidingsvorm (voltijd, deeltijd of duaal)  Geslacht (man of vrouw)  Studiejaar (eerstejaars of ouderejaars) Voor de NSE 2014 is deze analyse uitgebreid met de volgende achtergrondkenmerken:  Onderwijssector  Landsdeel  Stedelijkheid  Aantal beschikbare e-mailadressen (één of twee) In Tabel 5.6 worden per onderwerp de verschillen tussen de hiervoor genoemde responscategorieën getoond.


32

Tabel 5.6: Non-responsanalyse NSE 20144 To taal

Vragenlijst vo lledig ingevuld Vragenlijst gedeeltelijk ingevuld No n-respo ns A fmelders E-mailadres niet bereikt To taal

28,8%

Vragenlijst gedeeltelijk ingevuld No n-respo ns A fmelders E-mailadres niet bereikt To taal





 

  

4

31,1%

24,8%

Type ho ger o nderwijs A sso ciate B achelo r M aster Degree 29,1%

27,4%

32,0%

A antal e-mailadressen 1

2

27,0%

33,8%

4,6%

4,9%

4,1%

4,8%

3,3%

4,8%

4,1%

5,9%

65,2%

62,5%

70,0%

64,8%

67,7%

61,7%

67,6%

58,9%

0,6%

0,6%

0,5%

0,6%

0,6%

0,4%

0,3%

1,4%

1%

1%

1%

1%

1%

1%

1%

0%

100,0%

100,0%

100,0%

100,0%

100,0%

100,0%

100,0%

100,0%

To taal

Vragenlijst vo lledig ingevuld

So o rt ho ger o nderwijs Ho gescho ol Universiteit

Opleidingsvo rm (vt dt du)

Geslacht

Studiejaar Eerstejaar Ouderejaar s s

Vo ltijd

Deeltijd

Duaal

M an

Vro uw

28,8%

28,9%

29,3%

25,4%

25,5%

32,0%

32,3%

4,6%

4,7%

4,1%

4,1%

4,2%

5,0%

5,6%

4,1%

65,2%

65,2%

65,0%

69,3%

68,7%

62,0%

60,6%

67,5%

0,6%

0,6%

0,8%

0,8%

0,8%

0,4%

0,6%

0,6%

1%

1%

1%

0%

1%

1%

1%

1%

100,0%

100,0%

100,0%

100,0%

100,0%

100,0%

100,0%

100,0%

27,2%

De respons was hoger voor hogescholen (36,3%) dan voor universiteiten (29,1%). Het responsverschil tussen hogescholen en universiteiten is in 2014 groter dan in 2013 (HBO: 40,5%, WO: 37.3%). De respons in het HBO is redelijk gelijk gebleven ten opzichte van 2013 (36,3% in 2014 versus 40,5% in 2013). De respons in het WO is sterk gedaald ten opzichte van 2013 (29,1% in 2014 versus 37,7% in 2013) De totale respons was iets hoger bij bachelorstudenten (33,9%) dan bij masterstudenten (30,7%); studenten uit de groep Associate degree hadden met 36,8% de hoogste respons. Dit jaar is ook gekeken naar het aantal e-mailadressen waarop de studenten is benaderd. Van iets meer dan een kwart van de studenten was naast het e-mailadres van de instelling óók het privé e-mailadres bekend. Onder deze laatste groep was de respons hoger (39,7%) dan onder de groep met slechts één e-mailadres (31,1%). Het aantal afmelders bij studenten met twee e-mailadressen lag iets boven dat van studenten met één e-mailadres. Wel was het aandeel onbestelbare e-mails bij studenten met twee e-mailadressen lager (0,1% versus 1% bij studenten met één e-mailadres). Voltijd- en deeltijdstudenten respondeerden ongeveer even vaak, onder studenten in een duaal traject was de respons iets lager. Vrouwen respondeerden vaker (37,0%) dan mannen (29,7%), net als tijdens de NSE 2013. Mannen meldden zich daarbij iets vaker af voor deelname aan het onderzoek dan vrouwen. Eerstejaars (37,9%) respondeerden vaker dan ouderejaars (31,3%). Het verschil tussen beide groepen is groter dan tijdens de NSE 2013 (eerstejaars 38,3%; ouderejaars 34,5%).

Als percentages niet tot exact 100% optellen, komt dit door afrondingsverschillen.


33

Tabel 5.6: Non-responsanalyse NSE 2014 (vervolg) To taal


Onderwijssecto r

Onderwijs

Landbo uw & Natuurlijke Omgeving

Natuur

Techniek

Gezo ndheidszo rg

Eco no mie

Recht

Gedrag & M aatschappij

Taal & Cultuur

Secto ro verstijgend

28,8%

33,0%

33,5%

26,6%

30,9%

34,2%

26,3%

21,1%

28,3%

27,2%

33,5%

4,6%

4,9%

4,9%

3,9%

5,4%

4,6%

4,5%

3,5%

4,6%

4,1%

5,3%

65,2%

61,0%

59,6%

68,2%

62,0%

60,4%

67,8%

74,4%

66,1%

66,4%

60,0%

0,6%

0,5%

0,4%

0,6%

1,2%

0,4%

0,5%

0,4%

0,4%

0,5%

0,2%

1%

1%

2%

1%

0%

0%

1%

1%

1%

2%

1%

100,0%

100,0%

100,0%

100,0%

100,0%

100,0%

100,0%

100,0%

100,0%

100,0%

100,0%

Sterk stedelijk

Stedelijkheid M atig Weinig stedelijk stedelijk

Niet stedelijk

To taal








Landsdeel No o rd

Oo st

West

Zuid

Zeer sterk stedelijk

28,8%

26,3%

34,1%

26,0%

32,7%

26,1%

32,7%

33,5%

33,9%

4,6%

3,8%

5,2%

4,4%

4,9%

4,2%

5,1%

5,0%

5,2%

6,1%

65,2%

68,8%

58,9%

68,5%

61,0%

68,5%

60,6%

60,8%

60,1%

59,2%

0,6%

0,3%

0,7%

0,7%

0,4%

0,6%

0,6%

0,2%

0,6%

1,7%

1%

1%

1%

0%

1%

1%

1%

0%

0%

0%

100,0%

100,0%

100,0%

100,0%

100,0%

100,0%

100,0%

100,0%

100,0%

100,0%

33,0%

Tussen de diverse onderwijssectoren zijn duidelijke responsverschillen zichtbaar. Studenten in de sectoren “Landbouw & natuurlijke Omgeving” (38,4%), “Gezondheidszorg” (38,8), “Techniek” (36,5%), “Onderwijs” (38,1%) en “Sectoroverstijgende opleidingen” (38,8%) laten respons zien van boven het gemiddelde; de sectoren “Recht” (24,6%), “Natuur” (30,5%), “Economie” (30,8%) en “Taal en Cultuur” (31,3%) scoren beneden gemiddeld. De sector “Gedrag en Maatschappij” bevindt zich qua respons net even onder het gemiddelde (33,0%). In de sector “Techniek” bevinden zich naar verhouding veel afmelders. Een uitsplitsing naar landsdeel5 waar de onderwijsinstelling is gevestigd geeft het volgende beeld: in de landsdelen Oost (39,7%) en Zuid (38,0%) is de respons bovengemiddeld, in Noord (30,4%) en West (30,6%) is de respons het laagst. In Oost en West meldt men zich iets vaker zelf af voor deelname aan het onderzoek. Onderwijsinstellingen die in zeer sterk stedelijke gebieden zijn gevestigd laten een lagere respons (30,3%) zien dan instellingen uit de overige vier stedelijkheidsklassen (37,9%39,1%).

Op basis van bovenstaande analyse kan worden geconcludeerd dat met name het soort onderwijs (HBO of WO), de beschikbaarheid van één of twee e-mailadressen, studiejaar, sekse en onderwijssector van invloed zijn op de respons. Tussen bachelor- (hogere respons) en masterstudenten (lagere respons) is ook een responsverschil te zien, dat komt overeen met het beeld over ‘Studiejaar’ (lagere respons bij ouderejaars). 5.7

RESPONSOVERZICHTEN

Op basis van de wens van verschillende instellingen is voorafgaand aan de NSE 2014 door Studiekeuze123, instellingen en GfK nagedacht over de vraag hoe de responsoverzichten gebruiksvriendelijker zouden kunnen worden gemaakt. Institutioneel onderzoekers van instellingen waren tevreden met het feit dat zij de respons op continue basis online konden naslaan, maar uitten 5

Oost = Flevoland, Overijssel en Gelderland. Zuid = Brabant en Limburg. Noord = Groningen, Friesland en Drenthe. West = Noord- en Zuid-Holland, Zeeland en Utrecht. ___________________________________________________ Onderzoeksverantwoording Nationale Studenten Enquête 2014

34

daarnaast de behoefte om in één totaaloverzicht in voldoende mate van detail het responsverloop te kunnen monitoren, zodat zij op basis daarvan de communicatieve inspanningen binnen hun instelling specifiek konden afstemmen op opleidingen en/of locaties, waar de respons nog een extra stimulans kon gebruiken. Op basis van deze wensen heeft GfK in opdracht van Studiekeuze123 een nieuwe responsmodule ontwikkeld, gebouwd buiten de GfK Drive-vragenlijstomgeving, maar daar wel direct aan gekoppeld. De nieuwe module, gebouwd als een tweedelig dashboard binnen de GfK Connect omgeving, haakte direct in op de GfK Drive omgeving en laadde daaruit steeds de meest actuele respons in de dashboards. Om toegang te krijgen tot de GfK Connect omgeving ontving men een instellings-specifieke toegangscode, waarmee de contactpersonen: 1) Een totaaloverzicht van de meest actuele, tussentijdse respons van alle deelnemende instellingen konden bekijken (Figuur 5.3). 2) Een instellings-specifiek overzicht konden naslaan met de meest actuele respons, uitgesplitst naar organisatieonderdeel, opleidingsnaam, CROHO-code, locatie en onderwijstype (voltijd, deeltijd, duaal). Dit laatste overzicht was alleen toegankelijk voor de instelling zelf en niet voor andere instellingen. De responstabellen toonden in absolute aantallen het aantal benaderde studenten, het aantal ingevulde vragenlijsten en het hieruit resulterende responspercentage (NB: het betrof de bruto respons, nog zonder enige vorm van cleaning of bewerking). Figuur 5.3: Fictief voorbeeld Dashboard I (totaalrespons per instelling)


35

Vanuit de instellingen zijn positieve reacties ontvangen op de vernieuwde responstool. Voor de NSE 2015 wordt beoogd om de snelheid van de tool te verbeteren, aangezien het laden wat lang duurde in de beleving van contactpersonen van instellingen.


36

6.

DATACLEANING EN BESTANDSBEWERKING

Na afronding van het veldwerk zijn de bestanden opgeschoond, gestructureerd en verrijkt met externe gegevens. Vervolgens zijn de gegevens geanalyseerd en zijn themascores berekend. Het responsbestand is gekoppeld aan het bestand met alle aangeleverde studentgegevens en de naamgeving van de variabelen is in overeenstemming gebracht met de naamgeving zoals gehanteerd in het Codeboek (Stichting Studiekeuze123, 2014e). De invulduur van de vragenlijst en de invuldatum zijn bepaald op basis van de in het interviewsysteem vastgelegde gegevens. De respons is als geldig beschouwd als V14 (algemene tevredenheid opleiding) was ingevuld; records van respondenten die de vragenlijsten in een ongeloofwaardige tijdsspanne hebben ingevuld, zijn verwijderd (zie paragraaf 6.1.3). Dit leidde tot een basisbestand, waarvan alle andere bestanden werden afgeleid. 6.1

VERRIJKING EN ANDERE BEWERKINGEN

Aan het basisbestand zijn vanuit externe databases gegevens gekoppeld. Allereerst het CROHOregister: het register van DUO over alle geaccrediteerde opleidingen die in Nederland worden aangeboden in het hoger onderwijs. Het CROHO-register is vanuit Excel ingelezen in SPSS en geaggregeerd. De gemeentenamen in het CROHO-register zijn gesynchroniseerd met de meerjarige benchmarkbestanden, waarin de jaargangen 2010, 2011, 2012 en 2013 zijn opgenomen. De gegevens uit het CROHO-register zijn - op het kleinste aggregatieniveau - gekoppeld aan het basisbestand op basis van CROHO*BRIN*Locatie*OpleidingsVorm. Door de synchronisatie kon tevens worden gecontroleerd of alle codes in het bestand geldige en actuele codes waren. In tegenstelling tot de opleidingen die zijn opgenomen in de Studiekeuzedatabase (alleen opleiding met instroom), zijn in dit bestand alle actuele opleidingen opgenomen (dus ook de opleidingen die geen instroom meer kennen, maar nog wel aangeboden worden). Aan het bestand zijn verder bekostigingskenmerken, CROHOonderdelen en fixusgegevens toegevoegd. Ook is er een variabele aangemaakt, waarmee samenwerkingsverbanden zijn te herkennen (combinatie-opleidingen die gezamenlijk door enkele instellingen worden aangeboden, zie hiervoor ook paragraaf 3.2). De variabelen stedelijkheid en landsdeel waren afkomstig uit CBS Statline en zijn op gemeentecode aan het basisbestand gekoppeld. Op basis van de CROHO-code zijn de velden BaMa (bachelor-master: Type hoger onderwijs) en soort hoger onderwijs (HBO-WO: Soort hoger onderwijs) aangemaakt. Missende records in het door instellingen aangeleverde studentenbestand zijn achteraf aangevuld vanuit de antwoorden op de vragenlijst (sekse, leeftijd en vooropleiding); in geval van tegenstrijdige gegevens hebben de door de instellingen aangeleverde gegevens voorrang gekregen. Etniciteit is vanaf de NSE 2013 niet meer bevraagd in de vragenlijst: voor zover de informatie in het basisbestand was opgenomen, betrof het de door instellingen zelf aangeleverde gegevens. Bij de tevredenheidsvragen is er onderscheid gemaakt tussen werkelijk missende scores (-1) en een code voor de vragen die niet van toepassing waren (-2). Beide codes zijn in het bestand gedefinieerd als ‘missing value’. Het voordeel van deze codering is dat deze gegevens niet worden meegerekend bij berekeningen maar nog wel zichtbaar zijn als zodanig in het databestand. 6.1.1 Hercoderen open vragen Handicap & Studie Bij vraag 34 en 35 van dit blok werd gevraagd welke functiebeperkingen, aandoeningen of ziektes de student heeft. Bij beide vragen werd een lijst gepresenteerd met items waar studenten er één of meerdere van konden kiezen. Dit waren dus geen tevredenheidsvragen. Beide vragen hadden een antwoordcategorie “Anders, namelijk …”, waarna de studenten een open antwoord konden geven. Dit ___________________________________________________ Onderzoeksverantwoording Nationale Studenten Enquête 2014

37

is achteraf gerubriceerd. In 2014 leverde dit 6.359 antwoorden op. Deze zijn door een basisarts achteraf (na)gecodeerd. In meer dan 95% van de gevallen konden de open antwoorden herleid worden tot een categorie die in het vragenblok Handicap & Studie werd gebruikt. In 2013 waren er 10.400 antwoorden bij de categorie “Anders, namelijk” ingegeven. Hiervan kon 99% naar een bestaande categorie worden ingedeeld. 6.1.2 Huurwaarden Er bevonden zich in de NSE 2014 geen onrealistische huurwaarden aan de hoge kant van het spectrum (zie Figuur 6.1): de situatie is daarmee vergelijkbaar met die van de NSE 2013. De meeste afwijkingen waren te vinden aan de lage kant van het spectrum, maar ook hier ging het om relatief beperkte aantallen en bestond geen aanleiding om te denken dat het om irreële bedragen ging. Er is daarom besloten om in 2014 (net als in 2013) geen correctie op extreme huurwaarden toe te passen. Figuur 6.1: Histogram van de huurwaarden in de NSE 2014. Huurwaarden NSE 2014

6.1.3 Invultijd De antwoorden van studenten die de enquête in minder dan 5 minuten invulden zijn, net zoals in eerdere jaren, verwijderd. Een invulduur langer dan 30 minuten is afgekapt op deze 30 minuten, temeer omdat wanneer studenten dat wilden, ze de vragenlijst tussentijds konden onderbreken en later weer konden verder gaan. Omdat studenten afstandsonderwijs een deel van de vragenlijst niet voorgelegd krijgen, is in 2013 door GfK voorgesteld om de minimale invulduur voor studenten afstandsonderwijs op 3,5 minuut te stellen. Dit is toen vastgesteld op basis van de gemiddelde invulduur van de volledige vragenlijst versus die van de vragenlijst voor studenten afstandsonderwijs. De ratio tussen beide cijfers is vermenigvuldigd met de minimale invulduur voor de volledige vragenlijst (invulduur afstandsonderwijs / invulduur volledige vragenlijst * 5 minuten = 3,5 minuut).


38

De volgende vragen zijn niet gesteld aan studenten die afstandsonderwijs volgden:          

Inhoud en opzet van het onderwijs (9 wel, 2 niet: 16J en 16K); Samenwerking met anderen (17E); Studieroosters (2 vragen); Contacttijd (4 vragen); Groepsgrootte (3 vragen); Stages (6 vragen); Studiefaciliteiten (5 vragen niet, 1 vraag wel: 29F); Studieomgeving (7 vragen); Woonsituatie (2 vragen); Handicap en studie (8 vragen).

6.1.4 Studiejaar student De variabele studiejaar student bevatte het antwoord op vraag 9 uit de vragenlijst, waarbij de student werd gevraagd naar het studiejaar waarin hij/zij studeert. De student werd hier gevraagd het studiejaar in te vullen van het jaar waarin hij/zij de meeste vakken volgde. Deze variabele verschilt van de door de instellingen zelf aangeleverde variabele “studiejaar”, welke bij de NSE als formeel juist wordt beschouwd. Beide variabelen zijn vanaf meetjaar 2014 opgenomen in de bestanden en niet met terugwerkende kracht aangevuld voor voorgaande jaargangen. 6.2

THEMASCORES EN INSTELLINGSVRAGEN

Net als in 2013 zijn de afzonderlijke vraagitems samengevat in een aantal themascores. Dat gebeurde door het berekenen van een gemiddelde score van de bij elk thema horende vraagitems. Studenten hoefden niet alle vraagitems behorende bij het thema te hebben ingevuld, maar er is wel een minimum gehanteerd, volgens de criteria in Tabel 6.1. De criteria zijn afgeleid van de berekeningswijze van de themascores in 2012 en ook toegepast op alle nieuwe themascores die sinds 2013 worden berekend. Tabel 6.1: Minimaal vereiste aantal stellingen voor de berekening van de themascores Aantal stellingen behorende bij thema

Minimum aantal stellingen in themascore

>= 8

6

7

5

6

4

5

4

4

3

3

2

2

1

Hiermee werd aangesloten bij de logica die in voorgaande metingen is gehanteerd. Een voorbeeld: als er acht items bij een thema hoorden, dan diende een student over minimaal zes van deze items een mening te hebben gegeven om te worden meegenomen in de berekening van dit thema. Na de fase van cleaning en bewerking van de resultaatbestanden zijn Principale Componenten- (PCA) en betrouwbaarheidsanalyses (RA = Reliability Analysis) uitgevoerd, waarna de themascores konden worden berekend (zie Tabel 6.2). Het doel van de PCA was om de validiteit van de themascores te ___________________________________________________ Onderzoeksverantwoording Nationale Studenten Enquête 2014

39

controleren. Dat wil zeggen: dekken de stellingen die in 2013 onder het thema vielen nog steeds de inhoudelijke lading van dat thema? Of blijkt uit de empirie dat een stelling eigenlijk inhoudelijk niet goed meer bij het thema past (hetgeen tot uitdrukking zou komen in een lage componentlading)? Een PCA werkt als volgt:  Er wordt een aantal latente (“virtuele”) variabelen aangemaakt, die niet aan elkaar gecorreleerd zijn (de componenten).  De correlaties van de vraagitems met de componenten worden berekend (de componentladingen). Daarbij worden de componenten vaak “geroteerd” 6, wat inhoudt dat de statistische software de componenten dusdanig samenstelt dat de vraagitems met zo min mogelijk componenten sterk correleren. Dat leidt er doorgaans toe dat vraagitems die inhoudelijk bij elkaar passen met dezelfde component correleren (en minder sterk met de andere componenten), waardoor de componenten inhoudelijk sterker van elkaar zullen verschillen en beter interpreteerbaar worden7.  De PCA laat ook zien welk deel van de variantie van de vraagitems wordt verklaard door de component (de communaliteiten), ofwel (in het geval van een enkele component) de gekwadrateerde correlaties (componentladingen) van de items met de component.  Omdat de samenstelling van de componenten reeds bekend was uit de meting van 2013, is in 2014 geen PCA op alle items tezamen uitgevoerd, maar zijn voor elk thema afzonderlijke PCA’s berekend. Daarbij zijn de vraagitems per thema telkens op één component “geforceerd”, ter controle van de componentladingen. Als zou blijken dat één of meer vraagitems een lage componentlading hebben, dan zou exclusie van de vraagitems uit de themascore kunnen worden overwogen, of wellicht zelfs een hernieuwde analyse van alle vraagitems in een enkele PCA8.  Per component is ook het totale percentage verklaarde variantie weergegeven: dit percentage lag tussen 0% en 100% en geeft aan hoe goed de vraagitems tezamen het achter de component liggende concept (het thema) meten. De verklaarde variantie lag bij alle thema’s rond of ruim boven 50%. Als vuistregel wordt gehanteerd dat waarden rond 50% ruim voldoende zijn, waarden vanaf 60% goed en waarden boven 70% uitzonderlijk goed9. Het doel van de betrouwbaarheidsanalyse (RA) was om vervolgens de mate van betrouwbaarheid van de stellingen die tezamen de indicator voor het thema vormen (ook wel een schaal genoemd) vast te stellen. Uit de PCA kan namelijk blijken dat de stellingen hetzelfde concept (thema) meten, daarmee is nog niet gezegd dat het opnemen van alle stellingen leidt tot een betrouwbaardere schaal. Met behulp van een RA kan dit worden gecontroleerd, dit komt tot uitdrukking in de statistische maat “Cronbach’s Alpha”. Als de waarde van Cronbach’s Alpha beduidend toeneemt door weglating van een vraagitem uit de schaal (“Alpha if item deleted”), dan is dat een aanwijzing dat het item wellicht beter niet in de berekening van de schaalscore kan worden meegenomen. Cronbach’s Alpha kan een waarde tussen 0 en 1 innemen. In de sociale wetenschappen wordt een Cronbach’s Alpha waarde van 0,7 of hoger als

6

Meestal met de Varimax-methode met Kaiser Normalization, zo ook bij de NSE. Missende waarden in de PCA zijn behandeld volgens de methode “pairwise deletion”, dat wil zeggen ook studenten die een missende waarde op een of meer vraagitems hadden, zijn meegenomen in de analyse. Deze aanpak komt overeen met de uiteindelijke berekening van de themascores, waarbij ook, afhankelijk van het aantal vraagitems, één of meer missende waarden zijn toegestaan op de items waaruit de score is opgebouwd. Hierdoor wordt optimaal gebruik gemaakt van de beschikbare gegevens en wordt het - reeds beperkte - aantal missende waarden verder gereduceerd. 8 Alhoewel er geen duidelijke regels voor zijn, kan een componentlading van <0,6 als laag worden beschouwd. In 2014 bestond hier geen aanleiding toe. 9 Deze waarden worden geformuleerd op basis van de gemiddelde onderzoekresultaten van veel sociaalwetenschappelijk uitgevoerd onderzoek. 7


40

betrouwbaar behandeld. In het geval van de themascores die voor de NSE 2014 werden berekend, is ruimschoots aan dat criterium voldaan. De resultaten van zowel de PCA als de RA zijn bij de NSE door de jaren heen zeer stabiel; zowel factorladingen en betrouwbaarheidsscores verschillen nauwelijks van die van 2013 (en 2012). Na berekening van de PCA en RA is vervolgens uit de bij elkaar passende vraagitems een themascore berekend.


41

Tabel 6.2: Principale Componenten- en betrouwbaarheidsanalyses

Het niveau van je opleiding

0,53

0,73

Alpha if item deleted 0,92

De aansluiting van de inhoud bij het beeld dat je van je opleiding had

0,59

0,77

0,92

De aansluiting van je opleiding bij je vooropleiding

0,38

0,62

0,93

De mate w aarin de inhoud van je opleiding stimulerend is

0,65

0,80

0,92

De aansluiting van de inhoud van je opleiding bij actuele ontw ikkelingen

0,53

0,73

0,92

De samenhang tussen de verschillende onderdelen van je opleiding

0,51

0,71

0,92

De in jouw opleiding gehanteerde w erkvormen

0,54

0,74

0,92

De mogelijkheid die je opleiding je biedt om zelf de inhoud te bepalen

0,41

0,64

0,93

De inhoudelijke kw aliteit van het studiemateriaal

0,54

0,73

0,92

De aansluiting bij je w erkervaring (nieuw vanaf 2013)

0,66

0,81

0,92

De mate w aarin je het geleerde kunt toepassen in je baan (nieuw vanaf 2013)

0,61

0,78

0,92

% verklaarde variantie

54,0 0,93

Inhoud (themascore)

Cronbach's Alpha

Communaliteiten Componentladingen

Het aanleren van een kritische houding

0,59

0,77


Probleemoplossend vermogen

0,65

0,81

0,83

Het onderbouw en van conclusies

0,67

0,82

0,83

Communicatieve vaardigheden (bijv. mondelinge presentaties, gespreksvoering)

0,52

0,72

0,85

Samenw erken met anderen

0,46

0,68

0,85

Argumenteren/redeneren

0,66

0,81

0,83


59,2 0,86

Algemene vaardigheden (themascore)

Cronbach's Alpha


Analytisch denken

0,49

0,70


Het kritisch beoordelen van w etenschappelijk w erk

0,65

0,80

0,84

Het schrijven van w etenschappelijke artikelen

0,67

0,82

0,83

Methoden en technieken van onderzoek Het doen van onderzoek (w as WetenschappelijkeVaardighedenWo_06 tot 2012, gew ijzigde vraagstelling in 2013)

0,73

0,85

0,82

0,71

0,84

0,82


64,7

Cronbach's Alpha

0,86

Wetenschappelijke Vaardigheden WO (themascore)


Analytisch denken

0,64

0,80


Het kritisch beoordelen van praktijkgericht onderzoek

0,78

0,88

0,83

Het schriftelijk rapporteren over praktijkgericht onderzoek

0,76

0,87

0,84

Methoden en technieken van praktijkgericht onderzoek

0,76

0,87

0,84


73.3

Cronbach's Alpha

0,88

Wetenschappelijke Vaardigheden HBO (themascore)



42

Tabel 6.2: Principale Componenten- en betrouwbaarheidsanalyses (vervolg)

Het opdoen van vaardigheden voor de beroepspraktijk

0,81

0,90


De praktijkgerichtheid van je opleiding

0,82

0,91

0,76

Het contact met de beroepspraktijk (bijv. stages, gastsprekers)

0,71

0,84

0,87


78,1

Cronbach's Alpha

0,86

Voorbereiding Beroepsloopbaan (themascore)


De inhoudelijke deskundigheid van docenten

0,61

0,78


De didactische kw aliteit van docenten

0,63

0,79

0,90

De bereikbaarheid van docenten buiten contacturen

0,54

0,73

0,91

De betrokkenheid van de docenten bij de studenten

0,68

0,82

0,90

De kw aliteit van de begeleiding door docenten

0,74

0,86

0,90

De kw aliteit van feedback van docenten

0,64

0,80

0,90

De mate w aarin docenten inspirerend zijn

0,67

0,82

0,90

De kennis van de docenten over de beroepspraktijk

0,52

0,72

0,91


62,8

Cronbach's Alpha

0,92

Docenten (themascore)


De mogelijkheid tot begeleiding

0,85

0,92


De kw aliteit van de begeleiding De mate w aarin jouw opleiding initiatief neemt in ondersteuning of begeleiding (nieuw vanaf 2013)

0,85

0,92

0,84

0,80

0,89

0,88


83,2

Cronbach's Alpha

0,90

Studiebegeleiding (themascore)


De duidelijkheid van criteria w aarop beoordeeld w ordt

0,64

0,80


De aansluiting van toetsing en beoordeling bij de inhoud van de opleiding

0,78

0,88

0,82

De kw aliteit van de toetsing op kennis en inzicht (nieuw vanaf 2013)

0,77

0,88

0,82

De kw aliteit van de toetsing op vaardigheden (nieuw vanaf 2013)

0,72

0,85

0,84


72,7

Cronbach's Alpha

0,87

ToetsingBeoordeling (themascore)


De informatie over jouw studievoortgang

0,64

0,80


De informatie over regels en procedures

0,78

0,88

0,82

De informatie over de opzet van de opleiding (nieuw vanaf 2013) Het tijdig bekend maken van resultaten van toetsen en beoordelingen (w as voorheen ToetsingBeoordeling_03)

0,77

0,88

0,82

0,72

0,85

0,84


61,8

Cronbach's Alpha

0,79

Informatievoorziening (themascore)



43


Het tijdig bekendmaken van de studieroosters

0,84

0,92

Alpha if item deleted n.v.t.

Het tijdig bekendmaken van w ijzigingen in het studierooster

0,84

0,92

n.v.t.


84,4

Cronbach's Alpha

0,82

Studierooster (themascore)


De spreiding van de studielast over het studiejaar

0,67

0,82


De haalbaarheid van deadlines De mate w aarin de studiepunten (EC) overeenkomen met de daadw erkelijke studielast (w as Studielast_03 tot 2012, gew ijzigde vraagstelling vanaf 2013) De mogelijkheid om zonder vertraging de gew enste studie-onderdelen te volgen (nieuw vanaf 2013)

0,71

0,84

0,75

0,60

0,77

0,79

0,63

0,79

0,78


65,0

Cronbach's Alpha

0,82

Studielast (themascore)


De groepsgrootte bij w erkgroepen (nieuw vanaf 2013)

0,70

0,84


De groepsgrootte bij hoorcolleges (nieuw vanaf 2013) De verhouding kleinschalig versus grootschalig onderw ijs in mijn opleiding (nieuw vanaf 2013)

0,74

0,86

0,77

0,80

0,89

0,71


75,0

Cronbach's Alpha

0,83

Groepsgrootte (themascore)

Stage En Opleiding (themascore)



Alpha if item deleted

De kw aliteit van de stagebegeleiding vanuit de opleiding (w as VoorbereidingBeroepsloopbaan_04 tot 2012)

0,81

0,90

n.v.t.

De voorbereiding op de stage door de opleiding (nieuw vanaf 2013)

0,81

0,90

n.v.t.


81,0

Cronbach's Alpha

0,76

Stage Ervaring (themascore) De begeleiding op je stageplek door het bedrijf of de instelling w aar je stage loopt (nieuw vanaf 2013)



0,67

0,82

0,72

Wat je tijdens je stage hebt geleerd (nieuw vanaf 2013) De aansluiting van de stages bij het overige onderw ijs (w as VoorbereidingBeroepsloopbaan_05 tot 2012)

0,77

0,88

0,61

0,63

0,80

0,75


69,2

Cronbach's Alpha

0,77


44


De geschiktheid van de onderw ijsruimten De geschiktheid van w erkplekken (bv. computers, studieruimten van voldoende kw aliteit)

0,60

0,77


0,74

0,86

0,87

De beschikbaarheid van w erkplekken (bv. voldoende w erkplekken)

0,65

0,81

0,88

De bibliotheek/mediatheek

0,62

0,79

0,88

De ICT-faciliteiten

0,73

0,85

0,87

De digitale leeromgeving

0,58

0,76

0,89


65,3

Cronbach's Alpha

0,90

Studiefaciliteiten (themascore)

Kw aliteitszorg (themascore, w as Betrokkenheid tot 2012) Onderw ijsevaluaties die onder studenten plaatsvinden (w as Betrokkenheid_01 tot 2012) Informatie over de uitkomsten van onderw ijsevaluaties (w as Betrokkenheid_02 tot 2012) De w ijze w aarop je opleiding gebruik maakt van de uitkomsten van onderw ijsevaluaties (w as Betrokkenheid_03 tot 2012) De manier w aarop je opleiding op klachten en problemen reageert (w as Betrokkenheid _04 tot 2012)




0,65

0,80

0,87

0,74

0,86

0,85

0,84

0,91

0,82

0,72

0,85

0,86


73,4

Cronbach's Alpha

0,88

De bereikbaarheid van je instelling (openbaar vervoer e.d.)

0,41

0,64


De restauratieve voorzieningen op je instelling De sportvoorzieningen vanuit je instelling (w as Studieomgeving_03 tot 2012, gew ijzigde vraagstelling vanaf 2013)

0,40

0,63

0,71

0,35

0,60

0,75

De horecavoorzieningen in je studiestad (kroegen, eetcafés, restaurants e.d.)

0,70

0,84

0,66

Het cultureel aanbod van je studiestad (bioscopen, theaters, evenementen e.d.)

0,67

0,82

0,67


50,8

Cronbach's Alpha

0,74

Studieomgeving (themascore)


De beschikbaarheid van w oonruimte in je studiestad

0,90

0,95

Alpha if item deleted n.v.t.

De betaalbaarheid van w oonruimte in je studiestad

0,90

0,95

n.v.t.


89,7

Cronbach's Alpha

0,89

Huisvesting (themascore)

6.3


NIEUWE THEMASCORES VANAF 2013

6.3.1 Achtergrond en basis voor besluitvorming door Studiekeuze123 Na afloop van de NSE 2012 is de NSE-vragenlijst door alle stakeholders bestudeerd en besproken. Op basis hiervan is besloten om de vragenlijst op enkele punten aan te passen.


45

Deze aanpassingen zorgden ervoor dat de samenstelling van de thema’s ten behoeve van de berekening van de themascores10 in sommige gevallen diende te worden veranderd. Hoe de besluitvorming hierover destijds tot stand is gekomen, wordt in deze paragraaf toegelicht, aangezien dit afwegings- en besluitvormingsproces in de verantwoording van de NSE 2013 niet is behandeld. Voor de volledigheid behandelen we het hier. Niet alle themascores zijn van 2012 op 2013 veranderd. Het gaat feitelijk om drie typen themascores:  Gelijk gebleven thema’s  Aangepaste thema’s  Nieuwe thema’s Bij de totstandkoming van de aanpassingen in de vragenlijst en de hieruit voortvloeiende veranderingen in de samenstelling van de thema’s en berekening van de themascores is door Studiekeuze123 de volgende lijn gevolgd: 1. De aanbevelingen over de vragenlijst door de onafhankelijke Werkgroep Vragenlijst NSE (2012, zie ook paragraaf 6.3.2) zijn opgevolgd. Deze zijn gebaseerd op de validatie van ResearchNed uit 2009 (Pass & van den Broek, 2009) en zijn door de Werkgroep Vragenlijst NSE in 2012 verder aangevuld. De aanbevelingen bestonden uit het toevoegen van nieuwe vragen en duidingsvragen, maar ook uit het verplaatsen, wijzigen en verwijderen van vragen. Ook zijn nieuwe thema’s toegevoegd aan de vragenlijst. 2. Indien de door de onafhankelijke Werkgroep Vragenlijst voorgestelde thematische indeling van de vragen niet overeenkwam met de uitkomsten van factoranalyses, zijn de uitkomsten van de factoranalyses bepalend geweest voor de indeling van thema’s. Zo is het thema Internationale Studenten opgesplitst in twee thema’s, namelijk Engels taalaanbod en Internationale Studenten. Het thema stages is ook opgesplitst in twee thema’s, namelijk Stage en Opleiding en Stage Ervaring. Het thema Huisvesting is ook opgesplitst in twee thema’s, namelijk Huisvesting en Studieomgeving. De naam van het thema Betrokkenheid is veranderd in Kwaliteitszorg. 3. Het Benchmarkbestand NSE 2013 (met daarin ook de resultaten uit de meetjaren 2010 t/m 2012) is qua structuur zodanig aangepast, dat de belangrijke uitgangspunten, namelijk continuïteit en directe bruikbaarheid van de vragenlijst en de themascores, optimaal gewaarborgd bleven. 6.3.2 Onafhankelijke Werkgroep Vragenlijst De onafhankelijk Werkgroep Vragenlijst NSE (2012) heeft in 2012 een advies uitgebracht waarbij een aantal vragen is toegevoegd, vervallen, een aantal blokken is versterkt en de routing voor afstandsonderwijs is aangepast. Ook is het voorstel getest door een studentenpanel. De Werkgroep is niet zover gegaan dat zij ook een advies heeft gegeven over hoe de themascores eruit moesten zien. In de hierop volgende paragrafen wordt ingegaan op het trendbestand, de uitgangspunten die ten grondslag lagen aan de afwegingen en analyses en tenslotte wordt aandacht besteed aan de totstandkoming van de thema-indeling.

10

NB: Themascores zijn de gemiddelde scores van de vragen die betrekking hebben op hetzelfde onderwerp (thema). ___________________________________________________ Onderzoeksverantwoording Nationale Studenten Enquête 2014

46

6.3.3 Trendbestand Het huidige NSE 2014 Benchmarkbestand is een trendbestand met studentoordelen. In dit trendbestand zijn de studentoordelen opgenomen vanaf 2010. Het jaar 2010 kan als nulmeting worden beschouwd. De vragenlijst is in 2013 aangepast. Een deel van de vragen ligt in principe voor 9 jaar vast, een andere deel voor 3 jaar. 6.3.4 Uitgangspunten van de afwegingen en analyses Thema’s worden geconstrueerd (in feite: gemiddeld) op basis van inhoudelijk samenhangende items uit de vragenlijst. Een nieuwe indeling van thema’s moet zorgvuldig worden verantwoord. De bedoeling van deze paragraaf is dan ook om in te gaan op de afwegingen en analyses die hebben geleid tot een aangepaste vragenlijst en aanpassing in de thema-indeling in 2013. Belangrijke uitgangspunten van de afwegingen en analyses waren:  Continuïteit: het trendbestand is een meerjarig bestand en moet een meerjarig bestand blijven, ondanks aanpassingen in de samenstelling van de thema’s en vragen;  Bruikbaarheid: een gebruiker moet het bestand direct kunnen gebruiken, zonder nadere bewerkingen uit te hoeven voeren;



Kwaliteit van de data: de gehanteerde indeling van thema’s moet op een duidelijke manier worden verantwoord.

6.3.5 Datakwaliteit (verantwoording thematische indeling van de vragen) De onafhankelijke Werkgroep Vragenlijst heeft zich gebogen over de herziening van de NSE 2013 vragenlijst. Verder heeft bureau Sixtat een review uitgevoerd gericht op de overgang van de uitvoering van de NSE van ResearchNed naar GfK. GfK heeft op basis van deze review een aantal additionele analyses uitgevoerd betreffende de thematische indeling van de vragen op basis van het (voorlopige) resultaatbestand uit 2013. Verder heeft GfK ook een analyse gedaan op basis van de data uit 2012. Deze werkwijze wordt in paragraaf 6.3.6 nader toegelicht. 6.3.6 Review Sixtat betreffende transitie uitvoerder Bureau Sixtat heeft een review uitgevoerd op de transitie qua uitvoering van ResearchNed naar GfK. Dat vond plaats in twee fasen: de eerste was een algemene review op de overgang en de startfase van de NSE 2013 en de tweede fase bestond uit een proefoplevering van het voorlopige Benchmarkbestand van de NSE 2013. In fase 1 van de review is het NSE-project in de volle breedte besproken, waarbij niet alleen de werkzaamheden zelf werden besproken, maar bijvoorbeeld ook hoe de samenwerking en taakverdeling tussen Studiekeuze123 en GfK in elkaar stak. Tijdens de 1e fase van de review is ook het GfKinventarisatiedocument besproken, waarin de controles en bewerkingen stonden beschreven, om zo bij gebrek aan gedetailleerde overdrachtsdocumentatie - bevestigd te krijgen wat exact gedaan moest worden in termen van datahandling en -bewerking. Het gesprek in fase 1 heeft vooral tot meer duidelijkheid geleid over de uit te voeren werkzaamheden en de zaken die daarbij specifieke aandacht verdienden. Het GfK-document werd door Sixtat beoordeeld als juist en volledig. In fase 2 is op basis van responsdata tot en met 11 februari 2013 een voorlopige bestandsoplevering uitgevoerd, om te onderzoeken of dit bestand qua structuur en opbouw aan de vereisten voldeed, maar ook om inhoudelijk te bepalen in hoeverre sprake was van opmerkelijke uitkomsten, die zouden kunnen wijzen op een trendbreuk met 2012. Op basis hiervan is door bureau Sixtat geconcludeerd dat er geen duidelijke risico’s (b)leken te zijn. Wel werd aandacht gevraagd voor een afgewogen besluitvorming omtrent de themascores, gebaseerd op alle beschikbare informatie. ___________________________________________________ Onderzoeksverantwoording Nationale Studenten Enquête 2014

47

6.3.7 Analyses en advies GfK GfK heeft in de fase van de voorlopige bestandsoplevering, als follow-up op de review, een nadere analyse uitgevoerd gericht op de groepering van de vraagitems onder de diverse thema’s. Het doel van de analyse was om de besluitvorming hieromtrent door Studiekeuze123 beter te kunnen afwegen en onderbouwen. Vanuit de meting van 2012 bestond daar al een theoretische basis voor, maar vanwege mutaties in de vragenlijst was het nodig de indeling nog eens tegen het licht te houden. Hiertoe is een verkennende PCA11 uitgevoerd, met een drieledig doel: 1) Ten eerste om te controleren of de indeling van bestaande, ongewijzigde en van eerdere metingen overgenomen thema’s nog standhield, met het oog op de mutaties in de vragenlijst; dit bleek het geval. 2) Ten tweede had de PCA als doel om te bezien of de nieuw toegevoegde items konden worden gegroepeerd volgens de verwachtingen, met andere woorden: kwam de indeling die bedacht is bij het opstellen van de nieuwe vragenlijst overeen met de empirische werkelijkheid? Dit bleek niet in alle gevallen zo te zijn, meer specifiek bij de thema’s stages, huisvesting en internationale studenten (zie daarvoor de componentenmatrices in Tabel 6.3 tot en met Tabel 6.5, de items met een gele markering op dezelfde component horen empirisch gezien bij elkaar).

3)

Een laatste doel van het uitvoeren van deze analyse en een aanvullende betrouwbaarheidsanalyse was om na te gaan of zowel bestaande als nieuw te vormen schalen voldoende interne consistentie vertoonden om een berekening tot een themascore te rechtvaardigen. Dit bleek zo te zijn, mits de uitkomsten van de PCA ten aanzien van de nieuwe items werden gevolgd.

De uitkomsten van deze analyses en het hieruit voortvloeiende advies zijn vastgelegd in de ‘Notitie invloed veranderingen vragenlijst op oplevering NSE-2’ (GfK, 2013). De belangrijkste uitkomst was dat op basis van de empirie (de echte tussentijdse responsdata) geadviseerd werd om elk van de bovengenoemde thema’s te splitsen in twee separate themascores. Zie ook de onderstaande tabellen, waaruit blijkt dat de items steeds uiteenvallen in 2 samenhangende thema’s (of componenten).

11

Zie voor een nadere toelichting op de PCA-methodiek de beschrijving in paragraaf 6.2.


48

Tabel 6.3: Componentenmatrix voor thema Studieomgeving/Huisvesting R o t a t e d C o m po ne nt M a t rix a Co mpo nent De bereikbaarheid van je instelling (o penbaar vervo er e.d.) De restauratieve vo o rzieningen o p je instelling De spo rtvo o rzieningen vanuit je instelling De ho recavo o rzieningen in je studiestad (kro egen, eetcafés, restaurants e.d.) Het cultureel aanbo d van je studiestad (bio sco pen, theaters, evenementen e.d.) De beschikbaarheid van wo o nruimte in je studiestad (was vo o rheen Huisvesting_01) De betaalbaarheid van wo o nruimte in je studiestad (was vo o rheennHuisvesting_02) Extractio M etho d: P rincipal Co mpo nent A nalysis.

1

2

,624

,121

,543

,298

,497

,342

,872

-,006

,864

-,023

,122

,918

,070

,938

Ro tatio n M etho d: Varimax with Kaiser No rmalizatio n. a. Ro tatio n co nverged in 3 iteratio ns.

Tabel 6.4: Componentenmatrix voor thema Stage en Opleiding/Stage ervaring R o t a t e d C o m po ne nt M a t rix a Co mpo nent De kwaliteit van de stagebegeleiding vanuit de o pleiding (was vo o rheen Vo o rbereidingB ero epslo o pbaan_04) De vo o rbereiding o p de stage do o r de o pleiding De begeleiding o p je stageplek do o r het bedrijf o f de instelling waar je stage lo o pt Wat je tijdens je stage hebt geleerd De aansluiting van de stages bij het o verige o nderwijs (was vo o rheen Vo o rbereidingB ero epslo o pbaan_05)

1

2

,154

,878

,173

,885

,832

,112

,891

,105

,691

,414

Extractio n M etho d: P rincipal Co mpo nent A nalysis. Ro tatio n M etho d: Varimax with Kaiser No rmalizatio n. a. Ro tatio n co nverged in 3 iteratio ns.

Tabel 6.5: Componentenmatrix voor thema Internationale studenten/Engels taalaanbod R o t a t e d C o m po ne nt M a t rix a Co mpo nent De gebo den hulp do o r je instelling (bijv. bij inschrijving, huisvesting, visa e.d.) De hulp do o r je instelling bij de integratie in de Nederlandse cultuur (bijv. een Engelse o f Nederlandse taalcursus, buddy-systeem) De perso o nlijke begeleiding do o r je mento r/begeleider

1

2

,743

,320

,851

,108

,808

,148

Het aanbo d aan Engelstalige vakken

,155

,866

De beheersing van de Engelse taal van medewerkers van de instelling Extractio n M etho d: P rincipal Co mpo nent A nalysis.

,210

,838

Ro tatio n M etho d: Varimax with Kaiser No rmalizatio n. a. Ro tatio n co nverged in 3 iteratio ns.


49

Het advies van GfK is - als gezegd - volledig gebaseerd op de empirie (op de ‘echte data’), zodat Studiekeuze123 op basis daarvan in staat werd gesteld een afweging te maken ten opzichte van de meer theoretische basis, zoals neergelegd door de Werkgroep Vragenlijst. Een ander element van de analyses die als follow-up op de review door GfK zijn uitgevoerd, waren de vergelijkingen van de themascores tussen 2012 en 2013, met name gericht op de thema’s die qua samenstelling zijn veranderd, of waar één of meerdere vraagitems qua vraagformulering is gewijzigd. De uitkomsten van deze analyses zijn vastgelegd in het document ‘Check themascores op bestanden 2012’ (GfK, 2012). Hieruit bleek dat bij herberekening en vergelijking van de themascores voor 2012 en 2013 er nauwelijks sprake was van verschillen. Indien toch aanwezig, ging het slechts om marginale verschillen. Omtrent de themascores is er door Studiekeuze123, op basis van de analyses van GfK, de input en adviezen van Bureau Sixtat en de Vrije Universiteit en na consultatie van het Deskundigenpanel, uiteindelijk de keuze gemaakt om - op basis van de empirische realiteit - de thema’s stages, huisvesting en internationale studenten op te splitsen in elk twee themascores. 6.4

WEGING

Om te corrigeren voor de responsverschillen tussen opleidingen en instellingen, is de netto respons gewogen op het niveau van BRIN*CROHO*Locatie. Hiertoe is eerst de respons bepaald per mogelijke combinatie. De weegfactor is vastgesteld door de proportie in de populatie te delen door de proportie in de respons. Vervolgens is de “range” van de resulterende weegfactoren onderzocht om vast te stellen in hoeverre sprake was van extreme weegfactoren. Er was geen sprake van extreme waarden aan het ‘lage uiteinde’ van het spectrum: de laagste waarde bedroeg 0,34. De weegfactoren boven een waarde van 4 zijn op 4,0 gefixeerd, zoals in 2013. In totaal zijn 34 (van de in totaal 2.939) cellen gefixeerd, corresponderend met 74 respondenten. Een cel was in dit geval een BRIN*CROHO*Locatie combinatie. 22 cellen hadden een weegfactor tussen de vier en zes; in zeven cellen lag de weegfactor tussen zes en 10 en in vijf gevallen had de weegfactor een waarde van meer dan 10. Tot slot is de weegfactor ‘herschaald’ (door de weegfactor te delen door het gemiddelde gewicht), zodat het gemiddelde gewicht wederom uitkwam op een waarde van 1 en aldus voor de totale groep de ongewogen aantallen gelijk waren aan de gewogen aantallen (Stichting Studiekeuze123, 2014f). 6.5

SYNCHRONISAT IE MET VOORGAANDE METINGEN

Om de trendbestanden op te stellen, was een synchronisatie van de organisatorische mutaties op basis van het CROHO-register nodig. Dit gebeurde als volgt:  update voor mutaties tussen aanlevering en afsluiting veldwerk NSE 2014;  update voor mutaties die ten opzichte van voorgaande jaren hadden plaatsgevonden. De mutaties konden betrekking hebben op BRIN, CROHO en Locatie. Om dit te inventariseren zijn het meerjarige Benchmarkbestand, de door instellingen aangeleverde studentgegevens (NSE 2014) en het op dat moment meest actuele CROHO-register (van 31-01-2014) naast elkaar gelegd. Daarnaast is gebruik gemaakt van een door ResearchNed geleverd bestand met BRIN/CROHO mutaties die niet in ___________________________________________________ Onderzoeksverantwoording Nationale Studenten Enquête 2014

50

het CROHO-register zijn verwerkt. Het aantal te synchroniseren zaken was beperkt (ongeveer 30 opleidingen). In de door GfK uitgeleverde bestanden (als belangrijkste het meerjarige Benchmarkbestand) is in de variabelen BRINActueel, BRINNaamActueel, CROHOActueel en CROHONaamActueel de meest actuele naam en codering van instelling en opleiding terug te vinden. De benaming en codering, als oorspronkelijk aangeleverd door de instelling in het desbetreffende jaar, zijn nog altijd terug te vinden in de variabelen BRIN, BRINNaam, CROHO en CROHONaam. 6.6

AANMAAK RESULTAATBES TANDEN

Op basis van bestanden uit eerdere jaren en het bestand voor de NSE 2014 is door GfK een meerjarig moederbestand gemaakt. Dit moederbestand is gebruikt als basis voor de bestanden voor de NSE 2014.


51

7.

OPGELEVERDE PRODUCTEN

7.1

BESTANDEN

Na afloop van het veldwerk is er een aantal bestanden geproduceerd. Het betrof databestanden:  voor de deelnemende instellingen;  voor verwerking van de NSE-resultaten door Studiekeuze123 en door anderen. Daarnaast is er - in opdracht van Studiekeuze123 - een volledig nieuwe Factsheet ontworpen en geprogrammeerd, welke is verstuurd naar het CvB/de directie van elke deelnemende instelling. De NSE oordelen zijn geïntegreerd in de Studiekeuzedatabase van Studiekeuze123 voor publicatie op de website www.studiekeuze123.nl. De oplevering van bestanden vond plaats in de beveiligde GfK Drive omgeving. Met inloggegevens kon men daar de door GfK voor de gebruiker klaargezette bestanden downloaden. Hieronder volgt een algemene beschrijving van alle in het kader van de NSE 2014 uitgeleverde bestanden. Detailinformatie is beschikbaar in de NSE productencatalogus. 7.1.1 Bestanden voor deelnemende instellingen Codeboek De wijzigingen in het openbaar Benchmarkbestand worden elk jaar gedocumenteerd in het Codeboek (2014e). Het Codeboek geeft de semantiek van de variabelen in het SPSS bestand. Het bevat ook een gedetailleerde beschrijving van hoe wijzigingen in de vragenlijst sinds 2013 zijn doorgevoerd in het huidige Benchmarkbestand. De basis voor het huidige Codeboek is gelegd tijdens de NSE 2013, toen door een aantal wijzigingen in de vragenlijst het Benchmarkbestand qua opbouw is veranderd. Studiekeuze123 heeft er toen voor gekozen om de wijzigingen in de vragenlijst met terugwerkende kracht door te voeren in het Benchmarkbestand. Zie voor meer informatie paragraaf 6.3. Bij de NSE 2014 is de structuur van het bestand nauwelijks gewijzigd; wel is de variabele Studiejaar (aangeleverd door instelling) en de variabele StudiejaarStudent (als aangegeven door student) aan het Benchmarkbestand toegevoegd. Deze variabelen zijn uitgeleverd op verzoek van instellingen, om nadere analyses naar studiefase/-jaar beter mogelijk te maken. In het Codeboek en in het SPSS-bestand zijn in de beschrijving van de variabelen aantekeningen gemaakt over wijzigingen, zodat een verwerker die het Codeboek niet bij de hand heeft, toch een indicatie heeft van de wijzigingen. Zie Tabel 7.1 en 7.2. Tabel 7.1: Voorbeeld documentatie SPSS-bestand (betreft wijziging per 2014)

Tabel 7.2: Voorbeeld documentatie SPSS-bestand (betreft wijziging per 2013)


52

Openbaar Benchmarkbestand (2010-2014) Dit bestand bevat voor alle deelnemende instellingen alle antwoorden sinds 2010 op de standaard NSE vragenlijst. Het bestand is geanonimiseerd. Bovendien zijn door middel van verrijking gegevens uit externe bronnen (als het CROHO-register) en gegevens uit de door instellingen aangeleverde informatie over studenten toegevoegd (zie ook hoofdstuk 3). Het bestand bevat geen instellingsspecifieke vragen of informatie (labels) en ook geen privacygevoelige gegevens. Het Benchmarkbestand is te openen en te bewerken in het softwarepakket SPSS (Statistical Package for the Social Sciences) van IBM Corp (2013). Dit bestand is tevens een openbaar bestand, in die zin dat het bij Studiekeuze123 opvraagbaar is door externe partijen. Het Benchmarkbestand voor de NSE 2014 heet ‘140516 Definitief Benchmarkbestand (2010-2014) v1.0.sav’. Met een digitale handtekening kan de authenticiteit van het bestand vastgesteld worden. De digitale handtekening voor dit bestand (2014) is: 06a0c568c41a5c98fdd8e96d3acf19a8. Het bestand bevatte de volgende variabelen: random volgnummer, jaar, weegfactor, actuele instellingscode, actuele instellingsnaam, oorspronkelijke instellingscode, oorspronkelijke instellingsnaam, actuele opleidingscode, actuele opleidingsnaam, oorspronkelijke opleidingscode, oorspronkelijke opleidingsnaam, locatie volgens CROHO, sector, sectornaam, soort hoger onderwijs, type hoger onderwijs, gemeentecode, stedelijkheid, landsdeel, numerus fixus, decentrale selectie, bekostiging, opleidingsvorm (vt/dt/du), opleidingsvorm (vt/dt), alle tevredenheidsoordelen, duidingsvragen, contacttijd, huur, woonsituatie en de antwoorden op de ultimate question. De antwoorden op de vragen over Handicap & Studie, internationale studenten en Engels taalaanbod waren niet opgenomen. Nieuw dit jaar is dat in het Benchmarkbestand ook de achtergrondvariabele ‘studiejaar’ is opgenomen. Er is beschikking over het studiejaar zoals aangeleverd door de hoger onderwijsinstelling en over het antwoord van de respondent van welk studiejaar hij/zij de meeste vakken volgt. Omdat beide variabelen hun zwakheden hebben, is besloten om beide variabelen aan het benchmarkbestand toe te voegen, getiteld ‘Studiejaar’ en ‘Studiejaarstudent’: Studiejaar: Het veld ‘studiejaar’ wordt aangeleverd door de deelnemende hoger onderwijsinstellingen als eerstejaars of ouderejaars onder de volgende definitie:  

Eerstejaars: student is in 2013 ingeschreven voor huidige hoofdopleiding. Ouderejaars: student is <2013 ingeschreven voor huidige hoofdopleiding.

Studiejaarstudent: Deze variabele bevat het antwoord op vraag 9 uit de vragenlijst, waarbij de student wordt gevraagd naar het studiejaar waarin hij/zij studeert. De student wordt hier gevraagd het studiejaar in te vullen van het jaar waarin hij/zij de meeste vakken volgt. Een belangrijk verschil tussen beide variabelen is dat de eerste wordt aangeleverd door de instelling en de tweede door de student. De eerste variabele kan als formeel juist beschouwd worden, de tweede alleen als mening of observatie. Beide variabelen zijn vanaf de NSE 2014 opgenomen in de bestanden en niet met terugwerkende kracht aangevuld. Studiekeuze123 heeft een analyse gedaan over de eerste 160.000 studenten die de NSE 2014 hadden ingevuld. Uit de analyse bleek dat instellingen die studenten markeerden als eerstejaars studenten en waarvan studenten aangaven de meeste vakken in het eerste jaar te volgen overeenkwam met 91,1%. Een groep van 8,9% van 160.000 studenten waren volgens de instelling eerstejaars


53

studenten, maar gaven zelf aan voornamelijk vakken in tweede, derde, vierde en zelfs zesde jaar te volgen. Van de ouderejaars studenten gaf 11,8% van de studenten aan de meeste vakken in het eerste jaar te volgen, terwijl deze gemarkeerd waren door de instelling als ouderejaars studenten. Tabel 7.3: Studiejaar eerstejaars en ouderejaars volgens onderwijsinstelling afgezet tegen mening studenten Jaar binnen soort onderwijs Studiejaar Percentage Aantal Eerstejaars 1 91,1% 53.450 volgens 2 5,8% 3.398 onderwijsinstelling 3 1,7% 983 4 1,5% 866 6 0,0% 1 Totaal 100,0% 58.698 Ouderejaars 1 11,8% 11.573 volgens 2 35,7% 35.124 onderwijsinstelling 3 28,8% 28.291 4 23,6% 23.226 5 0,0% 2 6 0,0% 32 7 0,0% 5 8 0,0% 5 Totaal 100,0% 98.258 De antwoorden van de eerste 160.000 respondenten van de NSE 2014 uitgesplitst naar master: Tabel 7.4: Studiejaar master student volgens onderwijsinstelling afgezet tegen mening studenten Studiejaar volgens onderwijsinstelling Aantal Eerstejaars Master 1 5.934 Master 2 396 Master 3 105 Master 4 208 Ouderejaars

Master Master Master Master

1 2 3 4

7.827 6.060 1.849 723

Hier is zichtbaar dat 5.934 studenten zijn aangeleverd door de instelling als een eerstejaars master student, maar waarvan 709 studenten aangaven voornamelijk vakken in het tweede, derde en vierde jaar te volgen. Er waren 7.827 studenten gelabeld als ouderejaars student door de instelling, die zelf aangaven de meeste vakken in het eerste jaar van de opleiding te volgen. Deze 'mismatch' lijkt grotendeels een logische achtergrond te hebben, doordat er een verschil bestaat tussen hoe de student geregistreerd staat en hoever de student inmiddels daadwerkelijk is gevorderd binnen de studie.


54

Instellingsbestand Het Instellingsbestand is een extract uit het Benchmarkbestand met de antwoorden van alle deelnemende studenten van een specifieke instelling. Het is geleverd in SPSS formaat en op verzoek in Microsoft Office Excel formaat. Bovendien bevatte het Instellingsbestand de instellings-specifieke vragen (indien gesteld), de informatie die door de instelling zelf was aangeleverd in labels, de achtergrondkenmerken (leeftijd, geslacht, vooropleiding en etniciteit) en de antwoorden op Handicap & Studie, internationale studenten en Engels taalaanbod. Besloten is dit jaar de variabele `Toestemming’ toe te voegen aan het blok ‘Handicap en Studie’. Deze laatste variabele komt alleen voor in het instellingsbestand. In het geval een student aangeeft een beperking, aandoening of ziekte te hebben wordt vervolgens gevraagd of deze gegevens gedeeld mogen worden met de instelling. Dit is noodzakelijk vanwege de Wbp omdat het hier bijzondere persoonsgegevens betreft (zie eerder in paragrafen 3.7 en 5.5). Indien de student akkoord gaat met terug leveren krijgt hij/zij de vervolgvragen en zal er geen verdere bewerking op de data plaatsvinden. Indien de student geen toestemming geeft deze gegevens te delen, wordt zijn antwoord op de vraag of hij een beperking, aandoening of ziekte heeft gewist en zijn overige vragen over Handicap & Studie niet ingevuld. Sleutelbestand Het Sleutelbestand legt de relatie tussen het ID als gebruikt in de NSE en het StudentID als aangeleverd door de instelling. Dit Sleutelbestand stelde instellingen in staat om de NSE-resultaten te koppelen aan andere gegevens die in hun studentenregistratie beschikbaar waren (denk bijvoorbeeld aan studievoortgang). Het bestand werd geleverd in SPSS formaat. Dit bestand is alleen geleverd aan instellingen waarmee de aanvullende overeenkomst is afgesloten. Open vraag bestand Dit bestand bevatte voor iedere instelling antwoorden van alleen de eigen studenten op de volgende open vraag, die als afsluiting van de NSE vragenlijst werd gesteld: “Heb je nog wensen of ideeën voor de verbetering van je opleiding of heb je verder nog opmerkingen? De door jou geplaatste opmerkingen worden doorgegeven aan jouw instelling. Zij gebruiken deze informatie voor het verbeteren van het onderwijs.” De open antwoorden op bovengenoemde vraag zijn achteraf niet bewerkt en werden dus in ruwe vorm uitgeleverd aan de instellingen. Naar aanleiding van de NSE 2013 bleek bij diverse instellingen de behoefte te bestaan om de open antwoorden tot op een lager niveau te kunnen terugkoppelen en zo beter te kunnen gebruiken voor een kwaliteitsverbetering binnen hun instellingen. In samenspraak met Studiekeuze123 is daarom besloten om – naast de opleidingsnaam en locatie - drie extra kenmerken mee te leveren: opleidingsvorm (voltijd, deeltijd, duaal), Studiejaar (eerstejaars versus ouderejaars, volgens instelling) en StudiejaarStudent (Bachelor 1-4, Master 1-4, Oude Stijl 1-8 en Associate degree 1-2). Het bestand werd geleverd in Excel formaat via de beveiligde downloadomgeving (GfK Drive).


55

7.1.2 Overige verwerking Populatiebestand Het Populatiebestand is een bestand waarin de populatie (bruto N) en de respons (netto n) is opgenomen en wordt uitgesplitst naar alle mogelijke combinaties van de volgende achtergrondkenmerken: BRINActueel, CROHOActueel, Locatie, Fixus, Decentraal, Bekostiging, Opleidingsvorm3, Geslacht, Leeftijd, Etniciteit, Vooropleiding, Studiejaar en Woonsituatie. Dit bestand is de basis voor de beslissing op welk niveau wel/niet wordt gerapporteerd in de Studiekeuzedatabase en wordt door Studiekeuze123 gebruikt als naslagwerk. Dit bestand werd gebruikt bij de beslisregels voor het tonen van NSE resultaten op www.studiekeuze123.nl en voor Studie in Cijfers. Tevens werd (een aggregatie van) dit bestand gebruikt voor de Studiekeuzedatabase. De beslisregels staan op de website www.studiekeuzeinformatie.nl. Benchmarkbestand Plus Het Benchmarkbestand Plus is een versie van het reguliere Benchmarkbestand aangevuld met de achtergrondkenmerken Leeftijd en Geslacht plus alle antwoorden van het blok Handicap & Studie (vraag 33-40). Dit bestand is gebruikt voor verwerking door Studiekeuze123 voor Studie in Cijfers (www.studiekeuzeinformatie.nl/studieincijfers) en de Studiekeuzedatabase (zie paragraaf 7.3). 7.2

FACTSHEETS

Iedere deelnemende instelling ontving bij de definitieve bestandoplevering (16 mei 2014) ook een Factsheet op instellingsniveau. Op basis van de in eerdere jaren geconstateerde problemen met de leesbaarheid van de oude Factsheet, heeft Studiekeuze123 het initiatief genomen om de Factsheet op een andere wijze vorm te geven. Uitgangspunt was ten eerste de informatie visueel aantrekkelijker te maken en ten tweede het beperken tot de essentie van de te presenteren gegevens. Een grafisch ontwerper heeft het ontwerp gemaakt en GfK heeft het ontwerp geprogrammeerd, zodat de achterliggende gegevens voor elke instelling op de juiste wijze konden worden gepresenteerd. De voorkant van de Factsheet bestond uit een overzicht van een aantal tevredenheidsvragen en ontwikkelingen (zie Figuur 7.2):  Bovenaan, horizontaal, is te vinden: algemene tevredenheid over de opleiding, sfeer op de opleiding en of de student de studie zou aanraden aan anderen.  Van boven naar beneden de themascores van de instelling voor de NSE 2014, inclusief vergelijking met vorig jaar en met de landelijke themascores dan wel met een door de instelling aangegeven referentiegroep. Instellingen konden zelf kiezen met welke instellingen zij werden vergeleken op de Factsheets. Zij konden worden vergeleken met het landelijk gemiddelde (uitgesplitst naar WO of HBO). In plaats van dit landelijk gemiddelde hadden zij de mogelijkheid om zichzelf te vergelijken met maximaal zeven zelf te kiezen instellingen (zelf gekozen referentiegroep). Tien instellingen hebben van deze laatste mogelijkheid gebruik gemaakt. Op de achterkant van de Factsheet zijn de scores voor de onderliggende items (2013 en 2014) vermeld, waarbij ook is aangegeven of de score in 2014 significant lager of hoger was dan in 2013.


56

Middels een symbool is getoond of het item significant hoger, lager, of dat er geen significant verschil is met het landelijk gemiddelde of een zelf gekozen referentiegroep. Zie Figuur 7.1. Figuur 7.1: Gebruikte symbolen op Factsheet NSE 2014

Een wens van de instellingen was om de Factsheet meer eigen te maken. Daarom was het voor de instelling mogelijk een logo op te laten nemen op de Factsheet. Van deze mogelijkheid hebben 39 instellingen gebruik gemaakt. Naast een Factsheet voor de deelnemende instellingen is er ook een Factsheet ontwikkeld voor respectievelijk het gehele WO en het gehele HBO. Deze staan op www.studiekeuzeinformatie.nl.


57

Figuur 7.2: Fictief voorbeeld van de voorzijde van de Factsheet

De Factsheets zijn op schrift verstuurd naar het CvB dan wel de directie van deelnemende instellingen en via de downloadomgeving (via GfK Drive) digitaal beschikbaar gesteld aan de Contactpersonen NSE van de instellingen. Op het vernieuwde ontwerp heeft Studiekeuze123 veel positieve reacties mogen ontvangen uit het veld.


58

De voor de Factsheets gehanteerde methode voor het statistisch Figuur 7.3: Overlappende toetsen van de verschillen tussen twee percentages is gebaseerd op betrouwbaarheidsmarges 50% het berekenen van de betrouwbaarheidsmarges (95%) rond beide gemiddelden. Vervolgens werd onderzocht of deze marges met elkaar overlapten (zie Figuur 7.3 voor het principe). Zo ja, dan verschilden de 40% gemiddelden niet van elkaar. Zo nee, dan mocht worden geconcludeerd dat er sprake was van een statistisch significant 30% verschil. De berekening van de betrouwbaarheidsmarges rond de gemiddelde scores vond plaats volgens de volgende formule: 1,96*SD/wortel(n).

20%

10%

Deze methode is wel iets conservatiever (er komen minder significante verschillen uit) dan de methode die het verschil tussen beide 0% Percentage A Percentage B gemiddelden toetst. Nadeel van deze laatste toets is echter dat die moeilijker te visualiseren is. Voordeel is wel dat de resultaten bij de tweede toets-optie makkelijker in SPSS zijn na te rekenen (door middel van ‘Compare Means’). Voor volgend jaar gaan Studiekeuze123 en GfK deze afweging nog eens gezamenlijk maken, omdat ook voor deze tweede manier van toetsen zeker iets te zeggen valt. 7.3

VERWERKING STUDENTEN OORDELEN IN STUDIEKEUZEDATABASE (DB14.4.3) & (DB14.5.2)

Om aankomende studenten de gelegenheid te geven een weloverwogen studiekeuze te maken worden op de website van Studiekeuze en in de Studiekeuzedatabase onder andere studentenoordelen opgenomen. Studenten in Nederland wordt middels de Nationale Studenten Enquête (NSE) gevraagd een oordeel te geven over de opleiding, de instelling en de studiestad. Ook wordt aan studenten met een studiebeperking (handicap) gevraagd de voorzieningen hiervoor te beoordelen. 7.3.1 Cleaning ten behoeve van koppeling met de Studiekeuzedatabase De Studiekeuzedatabase van Studiekeuze123 bevat alleen opleidingen waarbij nieuwe instroom van studenten mogelijk is. In de NSE zijn ook studenten ondervraagd van opleidingen die nog actueel zijn, maar waar geen nieuwe instroom mogelijk is. De resultaten van deze opleidingen zijn niet opgenomen in de Studiekeuzedatabase, omdat deze opleidingen niet meer voorkomen in de Studiekeuzedatabase. Het betrof 152 opleidingen waarbij studenten wel deelnamen aan de NSE, maar die geen nieuwe instroom meer accepteerden. Om te kunnen koppelen met de Studiekeuzedatabase zijn de historische opleidingsgegevens van 47 opleidingen omgezet naar de actuele situatie12. Het betrof hierbij gewijzigde instellingen, opleidingen en locaties. Zo zijn bij één particuliere instelling alle locaties samengevoegd tot één locatie ‘Diverse locaties’, omdat de Studiekeuzedatabase deze samenvoeging ook hanteert. Voor acht opleidingen is de locatie omgezet van de gemeentenaam naar de naam van de vestigingsplaats om de opleiding te kunnen koppelen met de Studiekeuzedatabase. Voor 2.767 bachelor-, master- en Associate degree opleidingen zijn studentoordelen opgenomen in de Studiekeuzedatabase. Dat betekent dat er studentoordelen zijn voor respectievelijk 77%, 50% en 29% 12

Peildatum CROHO: 25 april 2014


59

van de opleidingen waarvoor instroom in het collegejaar 2014-2015 mogelijk is. De exacte cijfers zijn te vinden in Tabel 7.5. Om de resultaten van de NSE op te kunnen nemen in de Studiekeuzedatabase is een aantal bewerkingsstappen gezet welke in onderstaande paragrafen worden toegelicht. Allereerst is het opleidingsaanbod uit de NSE en de Studiekeuzedatabase gecontroleerd op inconsistenties. Vervolgens zijn de gemiddelde themascores per opleiding berekend. Bij het berekenen van de geaggregeerde resultaten is telkens gecontroleerd op voldoende respons binnen een opleiding. Tabel 7.5 toont het aantal opleidingen dat is opgenomen in de database. Indien er geen studentenoordelen beschikbaar zijn van de NSE 2014, worden de oordelen van de NSE 2013 opgenomen in de Studiekeuzedatabase. Indien ook deze ontbreken dan worden er geen studentenoordelen weergegeven. We gebruiken de studentenoordelen van maximaal één jaar oud. 7.3.2 Beslisregels en controle van respons per opleiding Aangezien de oordelen middels een enquête zijn verkregen, zijn criteria opgesteld op basis waarvan een oordeel al dan niet wordt meegenomen in de Studiekeuzedatabase. Zo wordt voorkomen dat het gemiddelde oordeel is gebaseerd op een niet representatieve selectie van studenten. Opname in de Studiekeuzedatabase gebeurt op grond van onderstaande criteria. (1) Minimale respons van 5 (2) Maximale betrouwbaarheidsmarge van 0.5 Opleidingen worden opgenomen in de Studiekeuzedatabase wanneer voldoende studenten van de opleidingen hebben deelgenomen aan de NSE. De grens ligt bij een minimale respons per opleiding van vijf respondenten. Dit houdt in dat minstens vijf studenten de vragenlijst tot en met de algemene oordeelvragen hebben ingevuld (criterium Benchmarkbestand). Ook wordt sinds 2013 gekeken naar de betrouwbaarheidsmarge van het oordeel. Deze mocht niet meer dan .5 bedragen, hetgeen inhoudt dat de gemiddelde score .5 hoger of .5 lager kan liggen. Met andere woorden, een getoond studentoordeel van 3,5 ligt in theorie maximaal tussen de 3,0 en 4,0. Overigens is bij de berekening van de marge een eindigheidscorrectie toegepast13. Bij de berekening van betrouwbaarheidsmarges wordt onder andere rekening gehouden met het aantal oordelen. Hoe groter het aantal oordelen, des te kleiner de marge. De eindige populatiecorrectie houdt rekening met het feit dat het aantal oordelen af en toe de populatie aan oordelen benaderd (binnen bijvoorbeeld een opleiding). 7.3.4 Controleren van respons per vraag Niet alle respondenten hebben alle vragen ingevuld (‘missing values’ of ‘niet van toepassing’). Wanneer een bepaalde vraag door minder dan vijf respondenten is beantwoord, is de gemiddelde score niet opgenomen in de Studiekeuzedatabase, omdat de kans te groot is dat deze score niet betrouwbaar is. 7.3.5 Samenvoegen van opleidingen bij onvoldoende respons Indien een opleiding te weinig respons had, is op basis van de studiecode gezocht naar een aanverwante opleiding waar deze mee kon worden samengevoegd. Ter verbetering van de zichtbaarheid van veel opleidingen zijn in 2014 meer opleidingen samengevoegd dan in 2013. Dit is

13

Een eindigheidscorrectie betreft een statistische correctie om te corrigeren voor discrepanties tussen steekproef en populatie. Het wordt voornamelijk gebruik wanneer de populatie relatief klein is en de steekproef (gerelateerd aan de populatie) groot. Voor meer informatie zie ook: http://www.studiekeuzeinformatie.nl/studiekeuzedatabase/over-studiekeuzedatabase/beslisregels-voor-tonen-vannse-resultaten ___________________________________________________ Onderzoeksverantwoording Nationale Studenten Enquête 2014

60

onder andere te zien in Tabel 7.5. Opleidingen zijn niet opgenomen indien de respons te laag was, de marge te groot was en er geen aanpalende opleiding kon worden gevonden. Van de 1.559 voltijd bacheloropleidingen hebben 150 opleidingen geen studentenoordelen in de Studiekeuzedatabase vanwege een te lage respons of omdat de opleiding niet deelnam aan de NSE. Voor 77 opleidingen zijn de oordelen van verschillende locaties (minimaal vijf respondenten) of van verwante opleidingen (met name lerarenopleidingen) samengevoegd om te komen tot een voldoende grote steekproef of een kleinere marge (op opleidingsniveau). Wanneer een opleiding is samengevoegd met een andere opleiding is dit vermeld in het veld ‘Noot’ in de Studiekeuzedatabase. Voor de overige opleidingen staan de aantallen in de onderstaande tabel. Tabel 7.5: Opname studentoordelen in de Studiekeuzedatabase Voltijd

Aantal opleidingen in DB Aantal opleidingen met oordeel Waarvan een samenvoeging Geen oordeel in % Gevuld Niet gevuld

Deeltijd

Duaal

Totaal

Ba

Ma

Ad

Ba

Ma

Ad

Ba

Ma

Ad

1.559

990

74

705

567

128

188

70

36

4.317

1.409

647

32

440

148

32

67

22

7

2.804

77

122

2

67

8

5

11

2

-

294

150

343

42

265

419

96

121

48

29

1,513

90.4% 65.4% 43.2% 62.4% 26.1% 25.0% 35.6% 31.4%

19.4% 65.0%

9.6%

80.6% 35.0%

34.6% 56.8% 37.6% 73.9% 75.0% 64.4% 68.6%

7.3.6 Aggregeren: het berekenen van de scores per opleiding Per opleiding zijn de gemiddelde scores per vraag berekend. Om te corrigeren voor responsafwijkingen zijn gewogen gemiddelden meegenomen. Hierbij is gebruik gemaakt van de weegfactor aanwezig in het Benchmarkbestand. Naast een gewogen gemiddelde is per opleiding het aantal respondenten, de standaarddeviatie en de betrouwbaarheidsmarge per vraag opgenomen in de Studiekeuzedatabase. Bij de berekening van de betrouwbaarheidsmarge is rekening gehouden met de eindigheidscorrectie (om te corrigeren voor benadering populatie van respons). In Tabel 7.6 staan de verschillende aggregatieniveaus weergegeven. In de Studiekeuzedatabase zijn ook oordelen opgenomen die specifiek aan studenten met een handicap zijn voorgelegd. Op basis van deze oordelen is een tabel berekend per instellingslocatie. Bij de berekening van deze tabel zijn dezelfde beslisregels gebruikt als bij de andere tabellen.


61

Tabel 7.6: Overzicht tabellen met studentoordelen in de Studiekeuzedatabase Tabel in Studiekeuzedatabase

Omschrijving

Ba voltijd Ma voltijd Ba en Ma deeltijd Ba en Ma dual Opleidingen_Vestigingen Studies Steden Vestigingen Handicapoordelen per vestiging

Alle voltijd bachelor opleidingen Alle voltijd master opleidingen Alle deeltijdopleidingen (Ba & Ma) Alle duale opleidingen (Ba & Ma) Alle opleiding-vestigingslocaties Oordelen per studie (aggregatieniveau in SKDB) Oordelen per studiestad Oordelen per instellingslocatie Handicapoordelen per instellingslocatie

7.4

VERWERKING STUDENTEN OORDELEN IN STUDIE IN CIJFERS 2014-2015

Om in één oogopslag een aantal relevante kenmerken van een opleiding weer te kunnen geven, biedt Studiekeuze123 het product Studie in Cijfers (SiC) - ook wel bekend als de Studiebijsluiter - aan. De plaatjes waarop de kernindicatoren van zowel de opleiding zelf als de landelijke gemiddelden worden getoond, zijn voor deelnemende instellingen geïntegreerd in de aangeboden opleidingsinformatie op www.studiekeuze123.nl. Daarnaast bestaat de mogelijkheid om de plaatjes op te nemen in voorlichtingsmateriaal zoals bijvoorbeeld informatiefolders en (opleidings)websites van de instellingen zelf. Vanwege inhoudelijke overwegingen zijn niet alle gepubliceerde indicatoren voor HBO- en WOopleidingen exact gelijk. Voor beide type opleidingen geldt evenwel dat enkele Studie in Cijfersgegevens afkomstig zijn uit de NSE 2014 of met behulp van NSE-data worden samengesteld. Het algemene oordeel over de studie (HBO en WO) en de door eerstejaarsstudenten ervaren hoeveelheid contacttijd (HBO) zijn volledig te herleiden vanuit de responsgegevens van de NSE. Voor de verdeling van het aantal eerstejaarsstudenten per onderwijslocatie (HBO en WO) is deels gebruikgemaakt van het populatiebestand van de NSE. Evenals de Studiekeuzedatabase wordt Studie in Cijfers ingezet om studiekiezers te informeren. De op dat moment meest actuele versie van de Studiekeuzedatabase (DB14.4.0) diende als basis voor Studie in Cijfers 2014-2015. Hiervoor zijn enkel opleidingen met de mogelijkheid tot nieuwe inschrijvingen voor het studiejaar 2014-2015 geselecteerd. Voor Studie in Cijfers is deze selectie echter teruggebracht tot alle bekostigde bacheloropleidingen die in voltijd worden aangeboden. In het vervolg van deze paragraaf wordt per Studie in Cijfers-indicator, waar de NSE een rol in speelt, beschreven waar de bewerkingen uit bestaan en op hoeveel opleidingen deze van toepassing zijn voor de uitvoering van Studie in Cijfers 2014-2015. Tabel 7.7 toont een beknopt overzicht van de uiteindelijk meegenomen aantallen opleidingen en locaties naar onderwijsniveau. Sommige opleidingen starten voor het eerst in studiejaar 2014-2015 en worden daarom opgenomen in Studie in Cijfers, maar deze opleidingen hebben nog niet deel kunnen nemen aan de NSE.

Tabel 7.7: Aantallen per vertegenwoordigde indicator Studie in Cijfers 2014-2015 Opleidingen

Locaties


Opleidingen

Locaties

62

HBO Studie in Cijfers totaal Verdeling instroom Algemeen oordeel studie Ervaren contacttijd eerstejaars

873 136 831 729

HBO

WO

WO

1.039 293 994 n.v.t.

397 4 381 n.v.t.

402 8 385 n.v.t.

Bij opleidingen WO werd gebruik gemaakt van cijfers van de instellingen zelf (geprogrammeerde contacturen) in plaats van cijfers uit de NSE. Vandaar dat hier n.v.t. staat. Het cijfer over de contacttijd voor HBO werd per opleiding en niet per locatie getoond. Vandaar dat ook daar n.v.t. staat. 7.4.1 Aantal eerstejaars De instroomcijfers voor Studie in Cijfers werden in eerste instantie op opleidingsniveau berekend vanuit het door de Dienst Uitvoering Onderwijs (DUO) verstrekte 1 cijfer HO (1cHO). Het 1cHO is een extract uit het Centraal Register Inschrijving Hoger Onderwijs (CRI-HO). In dit bestand staan alle inschrijvingen en examens van studenten in het hoger onderwijs (WO en HBO). De aantallen eerstejaarsstudenten in de Studie in Cijfers-plaatjes werden – indien van toepassing – per locatie gepresenteerd. Het 1cHO bevat dergelijke informatie niet. Daarom werden in zulke gevallen de populatiegegevens van de NSE gebruikt om de procentuele verdeling van het aantal eerstejaars naar locatie te bepalen. Wanneer uit het 1cHO bijvoorbeeld bleek dat een opleiding die in Amsterdam en Rotterdam werd aangeboden in totaal 110 nieuwe studenten telt en de betreffende instelling had voor de NSE 60 eerstejaars van de locatie Amsterdam en 40 van de locatie Rotterdam aangeleverd, dan toonde Studie in Cijfers een instroom van 66 voor Amsterdam en 44 voor Rotterdam. De NSE-verdeling van 60 en 40 (in dit geval dus ook 60% en 40%) werd doorberekend op het 1cHO-aantal (60% van 110 is 66 en 40% van 110 is 44). Voor een optimale koppeling van de gegevens werden bepaalde conversies doorgevoerd in het NSEbestand. Dit had tot doel om alle bronnen zoveel mogelijk te actualiseren. In het HBO betekende dit, bezien vanuit het Populatiebestand van de NSE, het volgende: Vanwege joint degrees en andere bekende samenwerkingsverbanden werden negen combinaties van instelling, opleiding en locatie samengevoegd tot vier bundelingen. Eén BRIN-nummer werd aangepast, omdat een opleidingslocatie was overgenomen door een andere hogeschool. Onder andere door het ontstaan van zogenaamde brede bachelors werden dertien isat-codes ge-update naar de actuele situatie. Om bijvoorbeeld verschillen in schrijfwijze, het gebruik van de gemeentenaam in plaats van de vestigingsplaats en het opheffen van bepaalde leslocaties te egaliseren, werden 52 plaatsnamen gewijzigd. Op WO-niveau kende het NSE-Populatiebestand de volgende mutaties: Twaalf combinaties van instelling, opleiding en locatie werden teruggebracht tot zes joint degrees/samenwerkingsverbanden. Het actualiseren van opleidingen had vijftien gewijzigde isat-codes tot gevolg.


63

-

Teneinde de verschillen tussen Liberal Arts and Sciences en de University Colleges van de Universiteit Utrecht te kunnen onderscheiden, werden alle drie de locatieaanduidingen aangepast.

Na het doorvoeren van bovengenoemde wijzigingen bleek de inzet van het Populatiebestand van de NSE mogelijk te zijn voor in totaal 136 HBO-opleidingen en vier WO-opleidingen. Hier vielen op hun beurt 293 locaties in het HBO en acht locaties in het WO onder. 7.4.2 Studenttevredenheid De studenttevredenheid zoals opgenomen in Studie in Cijfers, stond gelijk aan de beoordeling van de eerste tevredenheidsvraag “Hoe tevreden ben je over je studie in het algemeen?” in de Nationale Studenten Enquête. Teneinde de gehele opleiding in kaart te brengen en niet alleen de mening van eerstejaarsstudenten werd het gemiddelde van alle voltijdstudenten binnen een opleiding meegenomen. Indien van toepassing werd de gemiddelde tevredenheid per leslocatie gepresenteerd. Om te corrigeren voor responsafwijkingen werden de gegevens gewogen. Hierbij werd gebruik gemaakt van de weegfactor uit het Benchmarkbestand. Naast het gewogen gemiddelde werd per opleiding/locatie het aantal respondenten, de standaarddeviatie en de betrouwbaarheidsmarge meegenomen. Uiteindelijk werd – mits aan de verderop beschreven voorwaarden werd voldaan – de gemiddelde schaalscore, met mogelijke waarden tussen één en vijf (1=zeer ontevreden; 5=zeer tevreden), gepresenteerd. Net als bij het Populatiebestand van de NSE (zie paragraaf 7.4.1) zijn in het responsbestand enkele wijzigingen doorgevoerd om opleidingsgegevens naar de actuele situatie van het moment van leveren te converteren. Voor opleidingen aan hogescholen gold derhalve het volgende: Voor de Amsterdamse Hogeschool voor de Kunsten werden bij alle negen opleidingen de oordelen van de NSE 2013 meegenomen, omdat deze instelling in 2014 niet had meegedaan aan de NSE. Het samenvoegen van negen combinaties van instelling, opleiding en locatie tot vier joint degrees/samenwerkingsverbanden. Eén BRIN-wijziging. Achttien aangepaste isatcodes. Veertien gewijzigde leslocaties. Bij universitaire opleidingen traden de volgende aanpassingen in werking: Uit twaalf varianten van instelling, opleiding en locatie werden zes joint degrees/samenwerkingsverbanden gecreëerd. De opleidingscodes van 23 studies werden gewijzigd. Drie locatienamen (varianten van Liberal Arts and Sciences van de Universiteit Utrecht) werden aangepast. De gemiddelde oordelen van opleidingen/locaties werden alleen opgenomen in Studie in Cijfers wanneer voldoende studenten van de betreffende opleiding/locatie de gebruikte vraag van de NSE hadden beantwoord. Om de privacy van respondenten van kleine opleidingen te waarborgen lag de grens bij een minimale respons van vijf respondenten per opleiding/locatie. Dit hield in dat minstens


64

vijf studenten een oordeel moeten hebben gegeven (criterium benchmarkbestand). De respons bij 21 HBO- en zeven WO-studies was lager dan vijf. Bij het beslissen of een cijfer zou worden gepubliceerd is gekeken naar de 95%betrouwbaarheidsmarge van het oordeel. Deze mocht niet meer dan .5 bedragen, hetgeen inhoudt dat bij een gemiddelde populatiescore die .5 hoger of .5 lager lag, de kans op de steekproefuitkomst minder dan vijf procent was. Bovendien werd bij de berekening van de marge een eindigheidscorrectie toegepast. Dit hield in dat er rekening werd gehouden met het feit dat bij kleine populaties de marges relatief klein waren. Zie voor meer informatie de uitleg op www.studiekeuzeinformatie.nl. Voor zeven opleidingen in het HBO en drie opleidingen in het WO gold dat bij voldoende respons niet aan het betrouwbaarheidscriterium werd voldaan. In het HBO voldeden in totaal 831 opleidingen en 994 locaties aan de beschreven opnamecriteria. Voor het WO waren dat 381 opleidingen en 385 locaties. 7.4.3 Contacttijd eerstejaars Voor HBO-opleidingen bevatte het Studie in Cijfers-plaatje een indicatie van de door eerstejaarsstudenten ervaren contacttijd. Deze was gebaseerd op de vraag “In deze onderwijsperiode wordt mij de volgende hoeveelheid contacttijd aangeboden:” uit de NSE. Sinds 2013 wordt het aantal klokuren in het antwoord uitgedrukt in vooraf bepaalde categorieën (minder dan 6, 6-12, 12-18, 1824, 24-30 en 30 of meer). Bij de verwerking hiervan voor Studie in Cijfers is gekozen om per opleiding de modus te tonen. Bij opleidingen WO wordt gebruik gemaakt van cijfers van de instellingen zelf (geprogrammeerde contacturen) in plaats van cijfers uit de NSE. Ook bij het gebruik van deze gegevens werden bepaalde opleidingskenmerken uit het NSEbenchmarkbestand omgezet naar de actualiteit van dat moment: Alle negen opleidingen van de Amsterdamse Hogeschool voor de Kunsten werden voorzien van responsinformatie uit 2013. Negen oorspronkelijk als afzonderlijk opgenomen opleidingen werden verdeeld over vier joint degrees/samenwerkingsverbanden. Eén gewijzigde BRIN. Vijf gewijzigde isats. Met betrekking tot deze indicator was, net als bij de cijfers van Studie in Cijfers die niet met behulp van de NSE tot stand zijn gekomen, het minimale aantal studenten waar uitspraken over wordt gedaan, vastgesteld op tien. Inzake de ervaren contacttijd van eerstejaarsstudenten bleek dat voor 125 opleidingen de respons te laag was. De modus van de contacttijd werd in eerste instantie bepaald door per opleiding te kijken welke antwoordcategorieën door de meeste eerstejaarsstudenten waren gekozen. Vervolgens werden de volgende beslisregels geactiveerd: Bij één vaakst gekozen antwoord werd die categorie getoond. Wanneer twee verschillende antwoorden even vaak waren aangekruist en dit twee opeenvolgende categorieën betrof, werden deze als één grote categorie meegenomen (bijvoorbeeld 6-12 en 12-18 wordt dan 6-18). Twee modi gescheiden door ten minste één minder vaak gekozen antwoord betekende dat er geen cijfer voor contacttijd werd opgenomen. ___________________________________________________ Onderzoeksverantwoording Nationale Studenten Enquête 2014

65

-

In het geval van drie vaakst gekozen categorieën die een ordinale reeks vormen, werd de middelste van deze afgebeeld (bijvoorbeeld 12-18, 18-24 en 24-30 is gelijk aan 18-24). Drie modi die geen aaneengesloten geheel vormden, zorgden voor het ontbreken van een contacttijdcijfer. Indien er vier of meer meest gegeven antwoorden waren, bleef het veld dat de contacttijd representeerde leeg.

Bij drie opleidingen met voldoende respons op de betreffende NSE-vraag kon als gevolg van bovenstaande beslisregels geen eenduidige modus worden aangewezen. Het uitsluiten van verscheidene opleidingen ten gevolge van een te lage respons of het ontbreken van een duidelijk aanwijsbare modus resulteerde in de opname van contacttijdgegevens voor 729 opleidingen (83,5%) in het HBO.


66

8.

VALORISATIE

Diverse partijen maken gebruik van de door Studiekeuze123 verzamelde studentoordelen in de Nationale Studenten Enquête. Hieronder een aantal voorbeelden. C.H.O.I. Het Centrum Hoger Onderwijs Informatie (C.H.O.I.) gebruikt de NSE resultaten voor haar website www.kiesjestudie.nl en voor de jaarlijkse uitgifte van de Keuzegidsen-reeks. Op www.keuzegids.org is te lezen welke gegevens uit de NSE zijn gebruikt. Elsevier Elsevier verzorgt jaarlijks op basis van de NSE-resultaten een speciale bijlage (‘Beste studies’) in haar tijdschrift met kwaliteitsinformatie voor scholieren en ouders en voor studenten bij de keuze voor een (vervolg)opleiding in het hoger onderwijs. Elsevier maakt een eigen selectie van opleidingen met een eigen selectie uit de vragenlijst. Expertisecentrum Handicap en Studie Jaarlijks stelt Expertisecentrum Handicap en Studie een jaarrapport op “Gebruikerstoets studeren met een handicap”. Hiervoor worden de resultaten van het vragenblok Handicap & Studie gebruikt uit de Nationale Studenten Enquête. Ook worden webgrafieken met gemiddelde scores per instelling gepubliceerd op http://www.handicapstudie.nl/onderwijsinstellingen.aspx over de volgende onderwerpen: De voorlichting en informatievoorziening over studeren met een handicap of beperking. De opvang die je opleiding aan studenten met jouw handicap bij de start van hun studie biedt. De beschikbare hulpmiddelen en faciliteiten. De aanpassingen in het onderwijs die je opleiding biedt. De mate waarin de docenten en overige medewerkers begrip voor jou hebben. De mate waarin de docenten en overige medewerkers voldoende kennis van zaken hebben. De speciale begeleiding die je tijdens je studie krijgt. Gemeente Tilburg Onderzoekers van Tilburg University hebben in opdracht van de gemeente Tilburg onderzoek gedaan naar de retentie van hoger opgeleiden van de Tilburgse hoger onderwijsinstellingen ‘Study in, Work in, Live in Tilburg; een onderzoek naar de retentie van hoger opgeleiden.’ Dit onderzoek had als doel inzicht te krijgen in het migratiepatroon van de afgestudeerden van de Tilburgse hoger onderwijsinstellingen. Om inzicht te krijgen in de manier waarop Tilburg met betrekking tot studeren beoordeeld wordt door studenten, is gebruik gemaakt van de Nationale Studenten Enquête 2013. Inspectie van het Onderwijs Jaarlijks wordt in het Onderwijsverslag ‘De Staat van het Onderwijs’ mede gerapporteerd over de tevredenheid van studenten in het hoger onderwijs. Dit rapport wordt uitgebracht door de Inspectie van het Onderwijs. Er wordt gerapporteerd naar stelsel en naar subonderdelen binnen het hoger onderwijs, zoals sectoren.


67

NAWOORD Studiekeuze123 doet er veel aan om een vinger aan de pols te houden met betrekking tot ontwikkelingen die leven bij de deelnemende instellingen om de NSE beter te maken. We onderhouden nauw contact met de instellingen. Elk jaar organiseert Studiekeuze123 een evaluatie van de uitvoering van de NSE. Instellingen, leveranciers en Studiekeuze123 bespreken dan wat er goed ging en wat er beter kan. Dit levert vaak waardevolle aandachtspunten op. In 2014 bijvoorbeeld is er naar aanleiding van deze evaluatie een nieuwe rapportage ontwikkeld waarmee instellingen de ontwikkeling van de respons beter kunnen volgen (zie paragraaf 5.7). Deze rapportage is samen met de instellingen ontwikkeld. Een ander voorbeeld is de nieuwe Factsheet die dit jaar gemaakt is (zie paragraaf 7.2). Ook die is samen met instellingen ontwikkeld. Studiekeuze123 vindt deze manier van samenwerken met instellingen erg belangrijk omdat we altijd van elkaar kunnen leren. Voor de NSE 2015 wil Studiekeuze123 meer aandacht geven aan het bevorderen van de respons. In 2014 hebben ruim 238.000 studenten de NSE ingevuld. Dit is een (netto) responspercentage van 33,7%. Vorig jaar had de NSE een responspercentage van 39,5%. Er is rekening gehouden met een daling vanwege de verkorting van de lengte van het veldwerk van 10 naar 8 weken, maar 33,7% respons is lager dan verwacht. Een hoog responspercentage is voor de NSE belangrijk. Niet vanwege de aantallen zelf, maar vooral vanwege de evenwichtige celvulling. Vooral bij kleinere opleidingen en specifieke subgroepen (bijv. masterstudenten). Er zijn ook flinke verschillen tussen instellingen. Een korte inventarisatie door Studiekeuze123 bij een aantal instellingen leverde geen duidelijke oorzaak voor de lagere respons. Wat wel veel genoemd werd, is het optreden van enquête-moeheid bij studenten. Studenten worden met enige regelmaat gevraagd om enquêtes, evaluaties e.d. in te vullen. In die verschillende onderzoeken gaat het vaak om tevredenheidsvragen waardoor al snel een beeld kan ontstaan van “dat heb ik toch al ingevuld?”. De lengte van de vragenlijst wordt ook genoemd als oorzaak, maar dat lijkt minder waarschijnlijk. Uit analyse blijkt namelijk dat wie eenmaal begonnen is met het invullen, de vragenlijst ook meestal afmaakt (zie paragraaf 5.4). Voor de NSE 2015 gaat Studiekeuze123 een aantal activiteiten uitvoeren die gericht zijn op het verhogen van de respons. Daarbij blijven we binnen de kaders die in de overeenkomst genoemd worden ten aanzien van het neutraal aanprijzen van de NSE, namelijk: 1. Als input voor aankomende studenten in de keuze van een opleiding; 2. Als input voor verbetering van het onderwijs; 3. Om je stem te laten horen. We willen proberen meer de vinger aan de pols te krijgen: wat zijn nu belangrijke zaken die betrekking hebben op de respons, kunnen we hier invloed op uitoefenen? Studiekeuze123 heeft onder de deelnemende instellingen een lijst met tips & tricks en do’s and don’ts verzameld. Verder is er ook dit jaar weer een enquête gehouden over de uitvoering van de NSE onder de contactpersonen bij de verschillende instellingen. ___________________________________________________ Onderzoeksverantwoording Nationale Studenten Enquête 2014

68

Aansluitend op het veldwerk, in maart 2015, gaat Studiekeuze123 een onderzoek doen onder mensen die de NSE niet invullen. Dit is een zogeheten non-respons onderzoek. We kiezen voor een aanpak die inzicht geeft in de antwoorden op de vraag waarom studenten de vragenlijst niet invullen (kwalitatief). We hopen hieruit te leren waarom mensen de NSE niet invullen – zodat we hier wellicht iets aan kunnen doen - en we willen graag weten of de groep niet-invullers afwijkt van de groep die de NSE wel invult. Dat laatste heeft niets te maken met de respons, maar is belangrijk voor de representativiteit van het onderzoek. Een technische maatregel op het gebied van de respons is het bevorderen van het invullen van de NSE op een smartphone. Het aantal smartphones in Nederland neemt sterk toe. Volgens onderzoeksbureau GfK waren er in december 2013 8,5 miljoen mensen met een smartphone, ruim 1,1 miljoen meer dan in december 2012. CBS stelt dat voor ruim 90% van de 18-25 jarigen de smartphone het meest gebruikte apparaat voor mobiel internet buitenshuis is. Studiekeuze123 heeft als doelstelling voor NSE 2015 om het invullen van de NSE mogelijk te maken op de smartphone, tablet en laptop/pc. Voor de NSE 2015 wordt daarom een nieuw ontwerp van de vragenlijst gemaakt dat snel en comfortabel in te vullen is op een smartphone. Met deze maatregelen, die we voor en samen met de instellingen uitvoeren, hopen we dat de NSE in toenemende mate een bruikbare bron blijft voor studiekeuze en kwaliteitszorg.


69

BRONVERMELDING GfK. (2013), Notitie invloed veranderingen vragenlijst op oplevering NSE-2. GfK. (2012) Check themascores op bestanden 2012. IBM Corp. (2013). IBM SPSS Statistics for Windows, Version 22.0. Armonk, NY: IBM Corp. Meurs, G. van, & Vijver, P. van den. (2013). De NSE: van 10 naar 8 weken? Een verdiepende analyse naar de mogelijke consequenties. GfK. Pass, J., & Broek, A. van den. (2009). Nationale Studentenenquête. Validatie NSE 2010. ResearchNed. Stichting Studiekeuze123. (2014a). Onderzoeksverantwoording Nationale Studenten Enquête 2014. Stichting Studiekeuze123. (2014b). Vragenlijst Nationale Studenten Enquête 2014 Nederlands. Stichting Studiekeuze123. (2014c). Vragenlijst Nationale Studenten Enquête 2014 Engels. Stichting Studiekeuze123. (2014d). Vragenlijst Nationale Studenten Enquête 2014 Duits. Stichting Studiekeuze123. (2014e). Codeboek NSE. Nationale Studenten Enquête 2014. Stichting Studiekeuze123. (2014f). Weging data Nationale Studenten Enquête. Werkgroep vragenlijst NSE (2012). Eindrapport werkgroep vragenlijst Nationale Studenten Enquête 2013. Studiekeuze- en sturingsinformatie.


70

TABELLEN- EN FIGURENOVERZICHT Figuren Figuur 2.1 Figuur 2.2 Figuur 3.1 Figuur 5.1 Figuur 5.2 Figuur 5.3 Figuur 6.1 Figuur 7.1 Figuur 7.2 Figuur 7.3 Tabellen Tabel 3.1 Tabel 3.2 Tabel 3.3 Tabel 3.4 Tabel 5.1 Tabel 5.2 Tabel 5.3 Tabel 5.4 Tabel 5.5 Tabel 5.6 Tabel 6.1 Tabel 6.2 Tabel 6.3 Tabel 6.4 Tabel 6.5 Tabel 7.1 Tabel 7.2 Tabel 7.3 Tabel Tabel Tabel Tabel

7.4 7.5 7.6 7.7

GfK Atlas Technische omgeving GfK Drive Schermafbeelding vraag 20 vragenlijst NSE 2014 Bruto responsverloop cumulatief en per dag Niet volledig ingevulde vragenlijst (verval voor een aantal vragen) Fictief voorbeeld Dashboard I (totaalrespons per instelling) Histogram van de huurwaarden in de NSE 2014 Gebruikte symbolen op Factsheet NSE 2014 Fictief voorbeeld van de voorzijde van de Factsheet Overlappende betrouwbaarheidsmarges

Aantal deelnemende instellingen per NSE-jaar Samenwerkingsverbanden voor de NSE 2014 Aantal instellingen dat Sleutelbestand heeft ontvangen Beschrijving NSE vragenlijst Samenstelling aangeleverde studentenpopulatie Respons Netto respons en veldwerkduur in 2010 tot en met 2014 Percentage ingevulde vragenlijsten 2013 en 2014, uitgesplitst naar taal Antwoorden studenten op nieuwe vraag 33a Non-responsanalyse NSE 2014 Minimaal vereiste aantal stellingen voor de berekening van de themascores Principale Componenten- en betrouwbaarheidsanalyses Componentenmatrix voor thema Studieomgeving/Huisvesting Componentenmatrix voor thema Stage en opleiding/Stage ervaring Componentenmatrix voor thema Internationale studenten/Engels taalaanbod Voorbeeld documentatie SPSS-bestand (betreft wijziging per 2014) Voorbeeld documentatie SPSS-bestand (betreft wijziging per 2013) Studiejaar eerstejaars en ouderejaars volgens onderwijsinstelling afgezet tegen mening studenten Studiejaar masterstudent volgens onderwijsinstelling afgezet tegen mening studenten Opname studentenoordelen in de Studiekeuzedatabase Overzicht tabellen met studentenoordelen in de Studiekeuzedatabase Aantallen per vertegenwoordigde indicator Studie in Cijfers 2014-2015


71

BIJLAGEN Bijlage 1: Overzicht uitgenodigde instellingen NSE 2014 en wel/niet deelname Soort HO

Bekostigd

Deelname 2014

Instelling*

BRIN

ABC Opleidingen

25FM

HBO

nee

nee

Academie Artemis

30DZ

HBO

nee

nee

Academie voor Wetgeving

30ND

WO

nee

Actuarieel Genootschap & Actuarieel Instituut

30FA

HBO

nee

nee

Amsterdam School of Real Estate

29VN

HBO

nee

nee

Amsterdamse Hogeschool voor de Kunsten

21QA

HBO

ja

nee

ArtEZ Hogeschool voor de Kunsten

27NF

HBO

ja

ja

Avans Hogeschool

07GR

HBO

ja

ja

Avans+

27WV

HBO

nee

nee

Business School Nederland

28DX

HBO

nee

nee

Business School Notenboom

24GE

HBO

nee

Centre for Latin American Research & Documentation

28BM

HBO

nee

Christelijke Hogeschool Ede

25BA

HBO

ja

Codarts Rotterdam

14NI

HBO

ja

ja

Cursus Godsdienst Onderwijs

27VW

HBO

nee

nee

De Haagse Hogeschool

27UM

HBO

ja

ja

Design Academy Eindhoven

02NT

HBO

ja

ja

Driestar Hogeschool

15BK

HBO

ja

ja

Duisenberg School of Finance

30PB

HBO

nee

Erasmus Universiteit Rotterdam

21PE

WO

ja

EuroCollege Hogeschool

27WC

HBO

nee

nee

European Institute For Brand Management

30RB

HBO

nee

nee

EuroPort Business School

28DT

HBO

nee

nee

Fontys Aangewezen HBO Opleidingen

28CC

HBO

nee

nee

Fontys Hogescholen

30GB

HBO

ja

ja

Gereformeerde Hogeschool

22HH

HBO

ja

ja

Gereformeerde Hogeschool II

27VY

HBO

ja

ja

Gerrit Rietveld Academie

02BY

HBO

ja

nee

Hanzehogeschool Groningen

25BE

HBO

ja

ja

HAS Hogeschool

21CW

HBO

ja

ja


nee

nee nee ja

ja ja

72

Bijlage 1: Overzicht uitgenodigde instellingen NSE 2014 en wel/niet deelname (vervolg) Soort HO

Bekostigd

Deelname 2014

Instelling*

BRIN

HES Consultancy BV

28EA

HBO

nee

nee

Hogeschool Dansacademie Lucia Marthas

23TG

HBO

nee

ja

Hogeschool De Kempel

08OK

HBO

ja

ja

Hogeschool der Kunsten Den Haag

23KJ

HBO

ja

nee

Hogeschool Dirksen

25RR

HBO

nee

ja

Hogeschool E3

29WJ

HBO

nee

nee

Hogeschool HBO Nederland

24KX

HBO

nee

nee

Hogeschool Inholland

27PZ

HBO

ja

ja

Hogeschool iPabo

21UG

HBO

ja

ja

Hogeschool Leiden

21RI

HBO

ja

ja

Hogeschool NCOI

29PZ

HBO

nee

Hogeschool NOVI

24HR

HBO

nee

Hogeschool PBNA

24FW

HBO

nee

nee

Hogeschool ProgreSZ

30HC

HBO

nee

nee

Hogeschool Rotterdam

22OJ

HBO

ja

Hogeschool SDO

30KA

HBO

Hogeschool Tio

23NG

HBO

nee

ja

Hogeschool Utrecht

25DW

HBO

ja

ja

Hogeschool van Amsterdam

28DN

HBO

ja

Hogeschool van Arnhem en Nijmegen

25KB

HBO

ja

ja

Hogeschool Van Hall Larenstein

30HD

HBO

ja

ja

Hogeschool voor de Kunsten Utrecht

00MF

HBO

ja

Hogeschool voor Pedagogisch en Sociaal-Agogisch Onderwijs Groningen

27WH

HBO

nee

ja

Hogeschool West-Nederland voor Vertaler en Tolk

24KF

HBO

nee

nee

Hotelschool Den Haag, Internationale Hogeschool voor Hotelmanagement

02NR

HBO

ja

ja

HZ University of Applied Sciences

21MI

HBO

ja

ja

InterCollege Business School

27WK

HBO

nee

nee

ISBW Hogeschool

25BV

HBO

nee

nee

Iselinge Hogeschool

09OT

HBO

ja

Islamitische Universiteit Rotterdam

30GW

HBO

nee

nee

ITV Hogeschool voor Tolken & Vertalen

25AC

HBO

nee

nee

IVA Driebergen Business School

27WU

HBO

nee

ja


nee nee

ja nee

ja

ja

ja

73


Bekostigd

Deelname 2014

Instelling*

BRIN

Katholieke PABO Zwolle

00IC

HBO

ja

ja

Landelijk Expertisecentrum Sociale Interventie

29TP

WO

nee

nee

LOI Hoger Onderwijs

24LK

HBO

nee

nee

Maastricht School of Management

28AT

WO

nee

ja

Maastricht University

21PJ 24FX/ 24KD/30ET

WO

ja

ja

HBO

nee

ja

Marnix Academie

10IZ

HBO

ja

ja

Media Academie

29ZF

HBO

nee

nee

Nederlandse Defensie Academie

30NA

HBO

nee

nee

Nederlandse School voor Onderwijsmanagement

29UJ

HBO

nee

nee

Netherlands Business Academy

30ET

HBO

nee

nee

Netherlands Maritime University

29UK

HBO

nee

nee

NHA

24GL

HBO

nee

nee

NHL Hogeschool

21WN

HBO

ja

ja

NHTV internationaal hoger onderwijs Breda

21UI

HBO

ja

ja

NTI

24UY

HBO

nee

ja

Nyenrode Business Universiteit

01MC

WO

nee

ja

Nyenrode New Business School

30FW

HBO

nee

nee

Open Universiteit Nederland

22NC

WO

ja

Oysterwyck Hogeschool

29ZU

HBO

nee

nee

Politieacademie

28DP

HBO

nee

nee

Pro Education

28DU

HBO

nee

nee

Protestantse Theologische Universiteit

00DV

WO

ja

ja

Radboud Universiteit Nijmegen

21PM

WO

ja

ja

Register Belastingadviseurs

29YE

HBO

nee

Rijksuniversiteit Groningen

21PC

WO

ja

ja

Saxion

23AH

HBO

ja

ja

Saxion Next

29PY

HBO

nee

ja

Schoevers

24GP

HBO

nee

ja

Schouten & Nelissen University

29VH

HBO

nee

nee

Schrofer Academie

30EB

HBO

nee

nee

Stenden Hogeschool

22EX

HBO

ja

Markus Verbeek Praehep


ja

nee

ja

74


Bekostigd

Deelname 2014

Instelling*

BRIN

Stenden Masters B.V.

30GX

HBO

nee

nee

Stichting Hogeschool van Amsterdam

28DR

HBO

nee

nee

Stichting HVO

30KV

HBO

nee

nee

Stichting NIFA Hogeschool

30RK

HBO

nee

nee

Stichting Opleidingen Musculoskeletale Therapie

28DW

HBO

nee

nee

Stichting Opleidingsinstelling GGZ Verpleegkundig Specialist

30EA

HBO

nee

nee

Stichting SOD-Opleidingen

27WJ

HBO

nee

nee

Technische Universiteit Delft

21PF

WO

ja

ja

Technische Universiteit Eindhoven

21PG

WO

ja

ja

The New School for Information Services

24KM

HBO

nee

ja

Theologische Universiteit Apeldoorn

21QO

WO

ja

ja

Theologische Universiteit Kampen

25AV

WO

ja

ja

THIM Hogeschool voor Fysiotherapie

24BU

HBO

nee

ja

Thomas More Hogeschool

30VP

HBO

nee

ja

TIAS

27ZC

WO

nee

ja

Tilburg University

21PN

WO

ja

ja

TMO, Hogeschool voor Modemanagement

24LY

HBO

nee

ja

Transfergroep Rotterdam

01EY

HBO

nee

ja

transnationale Universiteit Limburg

27YA

WO

nee

ja

TSM Business School

30HT

WO

nee

nee

Tyndale Theological Seminary

30NC

HBO

nee

nee

UNESCO-IHE Institute for Water Education

25ZF

HBO

nee

nee

Universiteit Leiden

21PB

WO

ja

ja

Universiteit Twente

21PH

WO

ja

ja

Universiteit Utrecht

21PD

WO

ja

ja

Universiteit van Amsterdam

21PK

WO

ja

ja

Universiteit voor Humanistiek

23BF

WO

ja

ja

Vilentum Hogeschool

30TX

HBO

ja

ja

Vrije Universiteit Amsterdam

21PL

WO

ja

ja

Wageningen University

21PI

WO

ja

ja

Wagner Group

30PH

HBO

nee

nee

Webster University

29WF

HBO

nee

nee


75


Bekostigd

Deelname 2014

Instelling*

BRIN

Windesheim

01VU

HBO

ja

ja

Wittenborg University

25AY

HBO

nee

ja

Zuyd 25JX HBO ja ja * In dit overzicht wordt uitgegaan van de instellingen die tijdens NSE 2014 geaccrediteerd onderwijs aanboden. Instellingen die eerdere jaren hebben deelgenomen, maar nu geen geaccrediteerd onderwijs aanbieden, zijn niet in dit overzicht terug te vinden.


76

Onderzoeksverantwoording Nationale Studenten Enquête 2014

Recommend Documents