Onderzoeksverantwoording Nationale Studenten Enquête 2013

Onderzoeksverantwoording Nationale Studenten Enquête 2013

Colofon Dit is een uitgave van Stichting Studiekeuze123 met bijdrages van GfK en ResearchNed, april 2014. Onderdelen uit deze Onderzoeksverantwoording Nationale Studenten Enquête 2013 mogen worden overgenomen met bronvermelding (bron: Studiekeuze123). Hoewel de grootst mogelijke zorg is besteed aan de inhoud van deze Onderzoeksverantwoording Nationale Studenten Enquête 2013, kunnen er geen rechten aan worden ontleend. Voor meer informatie: www.studiekeuzeinformatie.nl/nse

___________________________________________ Onderzoeksverantwoording Nationale Studenten Enquête 2013

2

Inhoudsopgave Inleiding

5

1.

De opzet en methode van onderzoek

6

2.

Technische infrastructuur 2.1 GfK Atlas 2.1.1 Functionality 2.1.2 Deliverability 2.2 GfK Drive 2.3 Testen van de vragenlijst 2.4 Beveiliging 2.4.1 Privacy 2.5 Incidenten

7 7 7 8 8 10 10 11 11

3.

Voorbereiding veldwerk 3.1 Overzicht en analyse van deelnemende instellingen NSE 2013 3.2 Combinatie-opleidingen 3.3 Overeenkomst(en) tot deelname 3.4 Startbijeenkomst en Routeboek 3.5 Aanlevering van studentgegevens 3.6 Verwerking van studentgegevens 3.7 De vragenlijst

13 13 13 13 14 15 16 16

4.

Communicatie 4.1 Communicatie studenten 4.2 Uitnodigingstekst en reminders 4.3 Communicatie instellingen 4.4 Sociale media 4.5 Special Interest Group NSE 4.6 Persbericht

18 18 18 18 19 19 19

5.

Populatie en respons 5.1 Mailing 5.2 Respons 5.3 Responsgedrag 5.4 Hoe is de NSE ingevuld? 5.5 Non-respons analyse 5.6 Responsoverzichten 5.7 Analyse verkorting veldwerk 5.8 Onderzoek respons beïnvloeding

20 20 20 21 22 23 25 26 27

6.

Datacleaning en bestandswerking 6.1 Verrijking en andere bewerkingen 6.1.1 Hercoderen open vragen Handicap & Studie 6.1.2 Huurwaarden 6.1.3 Invultijd 6.2 Themascores en instellingsvragen 6.3 Weging 6.4 Synchronisatie met voorgaande metingen 6.5 Aanmaak resultaatbestanden

28 28 28 29 29 29 34 35 35


3

7.

Opgeleverde producten 7.1 Bestanden 7.1.1 Bestanden voor deelnemende instellingen 7.1.2 Overige verwerking 7.2 Factsheets 7.3 Verwerking studentenoordelen in Studiekeuzedatabase (DB13.2.2.1) 7.3.1 Cleaning ten behoeve van koppeling met de Studiekeuzedatabase 7.3.2 Opnamecriteria 7.3.3 Controleren van respons per vraag 7.3.4 Samenvoegen van opleidingen bij onvoldoende respons 7.3.5 Aggregeren: het berekenen van de scores per opleiding

36 36 36 38 38 39 40 40 40 40 42

8.

Analyse wisseling uitvoerder

43

9.

Valorisatie

44

Nawoord

46

Bronvermelding

47

Tabellen- en Figurenoverzicht Figuren Tabellen

48 48 48

Bijlagen

49 49

Bijlage 1: Overzicht deelnemende instellingen 2010-2013


4

Inleiding De Nationale Studenten Enquête (NSE) is een grootschalig landelijk onderzoek. Jaarlijks worden bijna alle studenten in het hoger onderwijs uitgenodigd om deel te nemen aan de NSE. Met deelname geven studenten hun mening over hun opleiding en instelling. Onderwerpen zijn de inhoud van de opleiding, verworven vaardigheden, voorbereiding op de beroepsloopbaan, docenten, studiebegeleiding, toetsing en beoordeling, informatie vanuit de opleidingen, studieroosters, studielast, contacttijd, groepsgrootte, stages, studiefaciliteiten, kwaliteitszorg, studieomgeving, handicap & studie, internationale studenten. Ook wordt gevraagd naar de opinie van studenten over de stad waarin zij studeren en over de beschikbaarheid en betaalbaarheid van huisvesting. Studiekeuze123 is sinds 2009 verantwoordelijk voor de uitvoering van de NSE. Stichting Studiekeuze123 is een initiatief van de Vereniging Hogescholen, de VSNU en de NRTO en de studentenorganisaties LSVb en ISO, en vertegenwoordigt daarmee het gehele hoger onderwijs. Studiekeuze123 wordt volledig gefinancierd door het ministerie van OCW, met als één van de taken de jaarlijkse uitvoering van de NSE. Dit vanuit de behoefte naar beschikbare en transparante studiekeuzeinformatie, zodat de (aanstaande) studenten kunnen kiezen voor een opleiding die bij hen past. Studiekeuze123 wil zo een bijdrage leveren aan het verhogen van studierendement. Daarnaast geldt de NSE als impuls voor de hoger onderwijsinstellingen voor benchmarking in de ondersteuning van het horizontaal toezicht en beleidsontwikkeling. De NSE resultatenbestanden zijn publiek beschikbaar. Niet alleen Studiekeuze123 gebruikt de resultaten voor studiekeuze-informatie op haar website Studiekeuze123.nl, ook commerciële aanbieders zoals Elsevier met de jaarlijkse special De Beste Studies en C.H.O.I. met de Keuzegidsen gebruiken de NSE-resultaten. Daarnaast wordt de NSE gebruikt voor onderzoekstoepassingen en beleidsontwikkeling, zoals institutional research door de hoger onderwijsinstellingen zelf, de Onderwijsinspectie, Expertisecentrum Handicap en Studie en andere geïnteresseerden. Instellingen gebruiken de NSE-resultaten ook ter onderbouwing in NVAO-accreditaties en voor hun eigen marketing. De NSE heeft daarmee een steeds belangrijkere positie verworven. Vanuit de informatiebehoefte naar trends in studenttevredenheid is het van groot belang de vragenlijst van de NSE zo min mogelijk te wijzigen in de verschillende jaren. Tegelijkertijd is er een toename in verzoeken vanuit de omgeving om de vraagstelling uit te breiden of aan te passen. Als reactie heeft het bestuur van Studiekeuze123 eind 2011 besloten om de vragenlijst van de NSE 2012 ongewijzigd te laten maar daarnaast een werkgroep in te stellen met de opdracht een herzieningsvoorstel te verzorgen voor de NSE 2013. In de vragenlijst 2013 zijn, na een uitvoerig traject, beperkte wijzigingen doorgevoerd. Het volledige rapport van dit wijzigingstraject vindt u op www.studiekeuzeinformatie.nl/nse. Deze wijzigingen vroegen dit jaar extra aandacht in de oplevering van het benchmarkbestand 2010-2013. Studiekeuze123 voert de NSE niet zelf uit, maar werkt hiervoor samen met een onderzoeksbureau. De NSE 2009 t/m 2012 is uitgevoerd door ResearchNed. Dit contract liep af waarna, na een Europees aanbestedingstraject, de uitvoering is gegund aan GfK (voorheen GfK Intomart). De NSE 2013 is onder regie van Studiekeuze123 in samenwerking met GfK uitgevoerd.


5

1.

De opzet en methode van onderzoek

De Nationale Studenten Enquête (NSE) is het grootschalige landelijke onderzoek waarin jaarlijks bijna alle studenten in het hoger onderwijs worden uitgenodigd om hun mening te geven over hun opleiding. Alle NVAO-geaccrediteerde opleidingen aan hogescholen en universiteiten in Nederland kunnen participeren aan dit onderzoek. Sinds 2009 wordt dit onderzoek uitgevoerd door Studiekeuze123. De uitvoering van de NSE 2013 bestond uit drie fasen: voorbereiding, veldwerk en leveren van resultaten. Voorbereiding De voorbereiding startte met een bijeenkomst voor alle bestaande en eventueel nieuwe instellingen die geaccrediteerde opleidingen in het hoger onderwijs aanbieden, zowel publiek als privaat. Op deze startbijeenkomst werd de planning doorgenomen en werd aangegeven wat Studiekeuze123 van deelnemende instellingen verwacht en wat deelnemers mochten verwachten van Studiekeuze123. Daarna kregen de directies of Colleges van Bestuur (CvB) van de instellingen van Studiekeuze123 een uitnodiging om mee te doen aan de NSE. Ze deden dat door een ondertekende overeenkomst retour te sturen. Deelnemende instellingen leverden in de voorbereidingsfase achtergrondgegevens van alle studenten aan, zoals een e-mailadres en de opleiding die gevolgd wordt. Deze gegevens werden door GfK gecontroleerd en na akkoord gebruikt voor het uitvoeren van het veldwerk. Instellingen konden ook extra vragen aanleveren die ingingen op instellings-specifieke zaken. Deze vragen werden geprogrammeerd in de webvragenlijst en alleen gesteld aan studenten van die specifieke instelling nà de vragen van de NSE. Studiekeuze123 stelde ook divers promotiemateriaal ter beschikking dat deelnemende instellingen konden gebruiken om de NSE onder de aandacht te brengen. Veldwerk De NSE is een online afgenomen enquête. Studenten ontvingen een e-mail met een uitnodiging tot deelname, in de vorm van een persoonlijke url. Ze konden de enquête in delen afronden. Het veldwerk duurde in 2013 tien weken, van 14 januari tot en met 24 maart. Studenten die de enquête nog niet ingevuld hadden, ontvingen elke 2 weken een reminder. Studenten konden zich afmelden voor deelname. Contactpersonen van instellingen konden real-time de ontwikkeling van de respons bijhouden. Studiekeuze123 stuurde wekelijks een overzicht van de responsontwikkeling van alle instellingen aan stakeholders. Onder de deelnemende studenten werden de volgende prijzen verloot: 5 iPhones 5 t.w.v. € 800,-; 5 iPads mini t.w.v. € 400,- en 240 Bol.com bonnen van € 25,-. Leveren van resultaten In de laatste fase werden de antwoorden van de studenten door GfK geconsolideerd in een aantal bestanden die geleverd werden aan de deelnemende instellingen. De resultaten werden gesynchroniseerd met die van eerdere jaren. Het CvB dan wel de directie ontving een Factsheet met de belangrijkste resultaten van de instelling. De NSE oordelen werden geïntegreerd in de Studiekeuzedatabase van Studiekeuze123 voor publicatie op de website www.studiekeuze123.nl en in Studie in Cijfers. Deze fase werd afgesloten met een slotbijeenkomst. Hier werd ook geëvalueerd wat er goed was gegaan en wat er beter kon. Dat wordt gebruikt als input voor het volgend jaar.


6

2.

Technische infrastructuur

Voor de NSE 2013 werd gebruik gemaakt van een technische infrastructuur bij GfK die ook voor andere onderzoeken gebruikt wordt. Deze infrastructuur bevat voorzieningen gericht op het in stand houden van de dienstverlening (continuïteit) en het waarborgen van informatiebeveiliging (beschikbaarheid, vertrouwelijkheid en data-integriteit). De infrastructuur bestaat uit twee componenten: GfK Atlas voor het versturen van grote hoeveelheden mail en GfK Drive voor het veldwerk. Beide systemen draaiden in het centrale GfK data-center en waren volledig redundant uitgevoerd met een 24/7 monitoring door een team van IT specialisten. Dit team was 24 uur per dag stand-by om in het geval van calamiteiten snel een oplossing te kunnen bieden. In dit hoofdstuk wordt uitgelegd wat beide componenten doen, daarna wordt uitgelegd hoe de vragenlijst getest is en hoe de informatiebeveiliging van de NSE geregeld is. Tot slot volgt een overzicht van incidenten die zich gedurende het veldwerk hebben voorgedaan. 2.1 GfK Atlas Voor het verzenden van bulk mail werd gebruik gemaakt van de software GfK Atlas. GfK Atlas bestaat uit twee hoofdcomponenten: de functionaliteit voor het versturen van de e-mails (Functionality) en de component die ervoor zorgt dat de e-mails ook bezorgd worden (Deliverability). Deze laatste component zorgde er onder andere voor dat ontvangende servers geen belemmeringen opwierpen voor de bezorging van de e-mails. Schematisch zag dit er als volgt uit: Figuur 2.1: GfK Atlas

Atlas Mailer Functionality

Deliverability

Mail Merge

Return Path Support

ISP / IP Throttling

Campaign Scheduling

Feedback Processing

DNS

2.1.1 Functionality Binnen de component Functionality vond het volgende plaats: 1. Mailmerge Het samenvoegen van de gegevens van het steekproefbestand met de mailtemplates voor verzending van de uitnodigingen; ___________________________________________ Onderzoeksverantwoording Nationale Studenten Enquête 2013

7

2. ISP / IP Throttling Inregelen (doseren) van het aanbieden van e-mails aan providers, zodat meer dan 1 miljoen e-mails per dag gegarandeerd verzonden konden worden zonder dat GfK op een black list terecht kwam; 3. Campaign scheduling Planning van hoeveelheden en tijdintervallen wat ervoor zorgde dat de bulk mail in golven (gecontroleerd) kon worden verzonden. 2.1.2

Deliverability

Binnen de component Deliverability vond het volgende plaats: 1. Return Path Support Hiermee werd aan de hand van terugontvangen data actief gemonitord hoe “goed” de aflevering was bij de diverse providers, waarbij GfK dus op de white list bleef; 2. Feedback processing Mogelijkheden om geautomatiseerd bounce-informatie te vertalen in opvolgacties (deze waren in te stellen); 3. DNS Support op reverse DNS/PTR record (bezorgen mail), SPF record (verminderen spam) en DKIM (idem.); Verder zijn de volgende technische details van belang geweest voor de uitvoering:  GfK Atlas draaide in een centraal GfK data-center; de servers draaiden daar in een geclusterde omgeving.  Servers zaten achter een loadbalancer met failover, voor het verdelen van de last en waardoor, bij uitval, automatisch werd overgeschakeld naar een secundaire server.  De internetconnectie vanuit het data-center was 1,5 Gigabyte, waarbij er een redundante omgeving was opgesteld zodat bij uitval direct kon worden overgegaan op de tweede node.  De database omgeving was een SQL server 2008 omgeving met een actieve database en een passieve database die direct gesynchroniseerd was met de actieve database. Bij uitval kon dus naadloos worden omgeschakeld en ging geen data verloren. Er is tijdens de uitvoering van NSE 2013 geen failover-procedure noodzakelijk gebleken. Er is dus geen ervaring met de feitelijke werking van die failover-procedure. 2.2 GfK Drive Voor het veldwerk is gebruik gemaakt van de GfK Drive applicatie. Een belangrijk voordeel hiervan was de end-to-end oplossing die dit pakket bood voor het doen van enquêteonderzoek:  steekproef management;  Vragenlijstprogrammering;  online realtime responsmonitoring en -analyses;  online analyses en –rapportages;  oplevering van onderzoekdata in elk gewenst format (doorgaans in Microsoft Office Excel of SPSS (Statistical Package for the Social Sciences) van IBM).


8

De technische omgeving van GfK Drive zag er als volgt uit: Figuur 2.2: Technische omgeving GfK Drive

Naast het diagram waarin schematisch te zien is hoe de technische infrastructuur voor de NSE is ingericht, is in dit kader nog een aantal zaken van belang om te benoemen: 











GfK Drive bestond uit een cluster van interviewmachines zonder single point of failure. Dat wil zeggen dat de rol van machine-1 automatisch door machine-2 wordt overgenomen indien machine-1 onverhoopt uitvalt. De kans op down time werd door dit alles geminimaliseerd. De omgeving werd niet gedeeld met andere applicaties; Naast de interviewmachines gold dit ook voor de webservers, firewalls en SQLdataservers. De firewall-omgeving was een Checkpoint firewall in een geclusterde omgeving achter een loadbalancer met automatische failover-regeling; GfK Drive is gebouwd met als doel maximale compatibiliteit met diverse soorten en versies van browsers en operating systems. Er werd continu gewerkt om deze compatibiliteit te optimaliseren. Vooral in een setting waarin de variatie van gebruikersomgevingen groot is, zoals bij de NSE, was het van groot belang dat de vragenlijstsoftware goed correspondeerde met diverse omgevingen; GfK Drive bewaarde alle verzamelde data realtime op een Enterprise class filer storage unit met continue synchronisatie. Dit stelde respondenten ook in staat tussentijds de vragenlijst af te breken en op een later moment verder te gaan met invullen. Van de filer storage unit werd dagelijks een back-up gemaakt; Het team bestond uit IT-specialisten, die de systemen monitorden en beschikten over een zogenaamd ‘administrative account’, waarbij zowel de rechten werden geregeld als via track en trace de uitgevoerde handelingen konden worden nageslagen; GfK Drive leverde de data direct uit in Excel (.xls) of SPSS (.sav). Hier zat geen (extra) conversieslag tussen; er was dus geen risico op fouten;


9

2.3 Testen van de vragenlijst Zoals hierboven vermeld, heeft GfK gekozen om voor de uitvoering van de NSE 2013 gebruik te maken van de combinatie van GfK Atlas (voor verzending van de e-mails en het samplebeheer) en GfK Drive (voor het hosten van de vragenlijst en de uiteindelijke data storage). Deze combinatie wordt door GfK vaker voor kwantitatieve, grootschalige projecten gebruikt. Een technische capaciteitstest vooraf is niet uitgevoerd, maar continue monitoring van eventuele ‘hickups’ tijdens de uitvoering wel. Door dit monitoren werd op de eerste dag van het veldwerk ontdekt dat de snelheid van laden van de vragenlijst onvoldoende was. Na analyse bleek dit te liggen aan een instelling voor het doorladen van achtergrondgegevens - relevant voor het kunnen toepassen van selecties in de vragenlijst op samplekenmerk. Dit is direct aangepast en geoptimaliseerd. Met testen vooraf had dit wellicht eerder ontdekt kunnen worden. De vragenlijst is in technische zin getest door een controle uit te voeren of de gegeven antwoorden juist werden vastgelegd in het databestand. Hiermee konden ook selecties en routings op die manier op juistheid vanuit de data worden ‘afgelezen’. Inhoudelijk is de basisvragenlijst, in het Nederlands, Engels en Duits, voor de NSE 2013 door de projectleiding van GfK meermaals uitvoerig getest, in samenwerking met Studiekeuze123. De issues die op basis van de tests naar voren kwamen, waren beperkt en daardoor goed beheersbaar: het betrof relatief kleine tekstuele aanpassingen. 2.4

Beveiliging

In het kader van de informatiebeveiliging is het belangrijk te constateren dat het aantal verschillende rollen beperkt is door de kernachtige opzet van het projectteam. Bovendien waren er - buiten GfK - geen andere externe partijen betrokken bij de uitvoering, waardoor van een overdracht tussen partijen – met alle veiligheidsrisico’s die daarbij aan de orde zijn – geen sprake was. De verantwoordelijkheid lag dus in alle gevallen bij de projectleiding, die binnen het team op basis van hiërarchische en functionele argumenten de machtigingen toewees voor de toegang tot diverse typen gegevens die binnen de NSE gebruikt en/of verzameld werden. Voor wat betreft de IT-omgeving kan toegevoegd worden dat er binnen GfK een security officer aanwezig was die verantwoordelijk was voor de informatiebeveiliging. De data werden veilig bewaard in een eigen omgeving die niet benaderbaar was voor de buitenwereld (afgeschermd via firewalls). Alle aanpassingen aan de systemen werden gedaan op basis van een ‘ticket’. De toegekende taken behorend bij dit ticket waren leidend voor de werkzaamheden die medewerkers (mochten) uitvoeren. Studiekeuze123 heeft door bureau LBVD een onderzoek laten doen naar opzet, bestaan en werking van de informatiebeveiliging bij GfK. Dit betrof zowel de interne organisatie met betrekking tot informatiebeveiliging als de kwaliteit van de websites en tools voor deelnemende instellingen. Het onderzoek betrof een vraaggesprek met GfK over de inrichting van de informatiebeveiliging en een praktijkonderzoek (penetratietest, ‘pentest’) van de website van de vragenlijst en de website voor het responsoverzicht en het downloaden van bestanden door instellingen. LBVD meldde in haar rapport dat er geen ernstige kwetsbaarheden zijn gevonden in de praktijk test. Er waren wel enige verbeterpunten. Er waren 13 bevindingen met een laag risico, 1 met een gemiddeld risico en 1 met een hoog risico. Van de bevinding met een hoog risico bleek later dat dit risico door een andere maatregel (autorisatie) was afgedekt. Eind juni 2013 stonden er


10

nog twee bevindingen met een laag risico open, deze werden in de reguliere beheercyclus bij GfK verwerkt. De overige bevindingen zijn verwerkt. 2.4.1

Privacy

De NSE staat geregistreerd in het meldingenregister van het College Bescherming Persoonsgegevens (CBP) onder nummer 1481323. De NSE vereist een waarborging van privacy. Niet alleen gaat het dan om de waarborgen die de technische infrastructuur in dit kader biedt, maar ook gaat het om zorgvuldigheid in de naleving van de richtlijnen en procedures. GfK houdt zich aan de Gedragscode voor Onderzoek & Statistiek, zoals die voor de leden van de MOA (de MarktOnderzoeksAssociatie) is opgesteld. Daarin is exact aangegeven aan welke regels GfK zich in dit opzicht als gerenommeerd marktonderzoeksbureau dient te houden. Het College Bescherming Persoonsgegevens (CBP) heeft de Gedragscode voor Onderzoek & Statistiek, die overigens ook voldoet aan de internationale gedragscodes zoals opgesteld door ESOMAR, officieel van een goedkeurende verklaring voorzien op 21 juni 2010. De Gedragscode voor Onderzoek & Statistiek en de genoemde verklaring zijn online te raadplegen via: http://www.moaweb.nl/Gedragscodes/gedragscode-voor-onderzoek-en-statistiek. GfK behoort verder tot de groep onderzoeksbureaus die het predicaat Research Keurmerk Groep van de MOA dragen en bovendien jaarlijks haar kwaliteitssysteem laat auditen voor drie ISO certificaten, te weten:  ISO 9001 (kwaliteit algemeen)  ISO 20252 (kwaliteit marktonderzoek)  ISO 26362 (kwaliteit online access panels). Bij indiensttreding hebben alle medewerkers van GfK getekend voor het feit dat zij op vertrouwelijke wijze zullen omgaan met (privacy)gevoelige informatie en hier wordt in de praktijk op toegezien. In 2013 zijn deze richtlijnen vanuit de moederorganisatie nog strenger geworden en alle medewerkers hebben een verklaring ‘Integriteit & Compliance’ getekend. De persoonlijke informatie die GfK in het kader van de NSE 2013 van de instellingen ontving, werd enkel en alleen ten behoeve van de uitvoering van de NSE 2013 gebruikt. Privacygevoelige informatie en enquêteresultaten werden altijd separaat opgeslagen. Na afloop van het project werden de gebruikte persoonsgegevens in nauw overleg met de opdrachtgever Studiekeuze123 vernietigd. 2.5 Incidenten De door GfK gebruikte technische infrastructuur voor de NSE heeft voldaan aan de vereisten voor een onderzoek van dit volume en deze complexiteit - gedacht in termen van het aantal respondenten, het aantal benaderingen en de instelling specifieke vragen. Tijdens       

het veldwerk traden de volgende issues op: export van responsoverzicht (14/1, work-around, opgelost bij NSE 2014); inloggen op servers (16/1, opgelost); routering instellingsvragen bij drie instellingen (21/1, opgelost); lost link / wachtwoordtool (13/2, opgelost); registratie wel/geen complete (13/2, 18/2, deels opgelost (fix)); studenten die zich afgemeld hebben, ontvingen toch een uitnodiging (18/2, opgelost); studenten in klas konden niet inloggen (22/2, opgelost);


11

 

niet geheel versturen reminder op beloofde dag (4/3, opgelost); te vroeg verzonden last reminder bij één instelling (7/3, opgelost).

De oorzaken van deze issues lagen voor een deel in de techniek en voor een deel in de werkwijze. De technische problemen konden snel worden opgelost; in één geval kwam er een workaround beschikbaar. Issues werden gedetecteerd, Studiekeuze123 werd adequaat geïnformeerd en, in voorkomende gevallen, werd in overleg met de instelling een oplossing voorgesteld. Daarnaast is een aantal procedures bij GfK aangescherpt. Dit betrof onder andere het testen en in productie nemen van software. Dit is in lijn gebracht met de gangbare werkwijze die Studiekeuze123 ook voor andere leveranciers hanteert. Deze werkwijze biedt waarborgen voor het gecontroleerd in productie nemen van wijzigingen op systemen. De technische infrastructuur was een vast agendapunt tijdens het reguliere wekelijkse overleg tussen Studiekeuze123 en GfK.


12

3.

Voorbereiding veldwerk

3.1 Overzicht en analyse van deelnemende instellingen NSE 2013 In 2013 participeerden 52 hogescholen en 20 universiteiten in de Nationale Studenten Enquête. Studiekeuze123 nodigde alle instellingen in Nederland uit die geaccrediteerd hoger onderwijs aanbieden. Zowel door de minister van OCW aangewezen (particuliere) instellingen als door OCW bekostigde instellingen (publiek) werden uitgenodigd. Studiekeuze123 maakte hiervoor gebruik van twee registers: BRIN en CROHO. De Basis Registratie Instellingen (BRIN) is een register van het ministerie van OCW en bevat alle onderwijsinstellingen in Nederland. Het Centraal Register Opleidingen Hoger Onderwijs (CROHO) is een overzicht van alle in Nederland geaccrediteerde opleidingen voor hoger onderwijs. Het CROHO wordt ook uitgegeven door het ministerie van OCW en beheerd door de Dienst Uitvoering Onderwijs (DUO). Tabel 3.1: Aantal deelnemende instellingen per NSE-jaar

Aantal aangeschreven instellingen in 2013*

2013

Deelname 2012

WO Aangewezen (particulier) Bekostigd (publiek)

6 18

2 18

6 14

6 14

HBO Aangewezen (particulier) Bekostigd (publiek)

67 40

15 37

14 35

14 34

TOTAAL

131

72

69

68

2011

* Het betreft hier alle instellingen met een eigen BRIN-code in het CROHO

Zie Bijlage 1 voor een overzicht van de deelnemende instellingen van 2010 tot en met 2013. 3.2 Combinatie-opleidingen Een aantal instellingen had bij de NSE 2013 een samenwerkingsverband met elkaar. Dit betekende dat zij gezamenlijk een opleiding aanboden (eventueel via een gezamenlijk instituut). Instellingen konden via een mee te leveren code (label) bij het aanleveren van de studentgegevens duidelijk maken voor welke studenten dit gold. Bijvoorbeeld ACTA is een samenwerkingsverband tussen de Universiteit van Amsterdam en de Vrije Universiteit Amsterdam. De overeenkomst voor deelname (zie paragraaf 3.3) is in dit geval afgesloten met de Universiteit van Amsterdam en de Vrije Universiteit Amsterdam. 3.3 Overeenkomst(en) tot deelname Studiekeuze123 nodigde alle instellingen die geaccrediteerde opleidingen aanbieden in het hoger onderwijs in Nederland uit voor deelname aan de Nationale Studenten Enquête. De instellingen zijn uitgenodigd middels een Overeenkomst tot deelname die werd verzonden aan het Col___________________________________________ Onderzoeksverantwoording Nationale Studenten Enquête 2013

13

lege van Bestuur (CvB) dan wel de directie van de betreffende instelling. Wanneer de instelling de overeenkomst getekend retour stuurde, was deelname officieel vastgelegd. Naast de Overeenkomst tot deelname stuurde Studiekeuze123 ook een Aanvullende Overeenkomst voor de levering van een Sleutelbestand. Met dit Sleutelbestand konden instellingen een koppeling leggen tussen de resultaten en hun eigen studentgegevens. Studiekeuze123 stelde aanvullende eisen, die zijn opgenomen in de Aanvullende Overeenkomst, ten aanzien van de verwerking van dit bestand door de instelling. Als een instelling voor het eerst een aanvraag indiende voor het ontvangen van het Sleutelbestand, dan ging Studiekeuze123 langs voor een informerend gesprek over wat er nodig is om dit bestand veilig te kunnen verwerken. Dat wil zeggen met voldoende waarborgen voor het beschermen van de privacy van de student. Het ging hierbij vooral om de organisatorische, procedurele en technische inbedding van de verwerking binnen de instelling. Studiekeuze123 informeerde tijdens dit gesprek naar deze inrichting op basis van de Wbp, ontwikkelingen als de komende EU privacy Verordening en best practices van andere instellingen. Op basis hiervan bracht Studiekeuze123 een advies uit aan het CvB dan wel de directie van de instelling. Het was uiteindelijk de instelling zelf die bepaalde of ze al dan niet het Sleutelbestand wilde afnemen. In 2013 hebben 34 instellingen de Aanvullende overeenkomst getekend, waarvan 14 instellingen voor de eerste keer. Van deze 14 instellingen zagen 6 instellingen af van levering van het bestand op het moment dat Studiekeuze123 een afspraak wilde maken met de instelling voor een bezoek om de procedure toe te lichten. Studiekeuze123 heeft 8 bezoeken afgelegd; aan 4 nieuwe instellingen werd het bestand geleverd. In totaal hebben derhalve 24 instellingen het aanvullende Sleutelbestand ontvangen. Tabel 3.2: Aantal instellingen dat Sleutelbestand Aantal instellingen uit 2010-2012 Nieuwe aanvragen in 2013 Getekende Aanvullende overeenkomst Alsnog afgezien van deelname, bij nader inzien Totaal Afname Sleutelbestand 2013

heeft ontvangen 20 14 34 instellingen 10 24 instellingen

3.4 Startbijeenkomst en Routeboek Voor elke instelling was een algemene contactpersoon voor de NSE 2013 bekend (of werd door een nieuwe instelling aangesteld). Dit was de persoon binnen de instelling waarmee contact werd onderhouden over alle zaken aangaande de NSE 2013. De contactpersoon was ook de persoon die toegang had tot de resultaatbestanden. De Startbijeenkomst, gehouden op 4 oktober 2012 bij Studiekeuze123, was het eerste moment waarop de contactpersonen informatie ontvingen over de werkwijze van de NSE 2013. Het tweede gedeelte van de bijeenkomst was vormgegeven door de kerngroep van de Special Interest Group (SIG) NSE. De SIG NSE organiseert activiteiten gericht op kennisdeling en vergroten van het gebruik van de NSE-resultaten binnen instellingen. (zie tevens paragraaf 4.5). Tijdens de Starbijeenkomst werd door de SIG inhoudelijk in gegaan op het thema respons. In totaal hebben 58 personen de Startbijeenkomst bezocht. Tijdens de Startbijeenkomst werd ook het Routeboek Nationale Studenten Enquête 2013 uitgedeeld (Studiekeuze123, 2012). Hierin stond alles verwoord wat voor contactpersonen van belang was om te weten voor de NSE 2013, zoals werkwijze en planning. Contactpersonen die niet aanwezig waren, hebben het Routeboek per post toegestuurd gekregen. ___________________________________________ Onderzoeksverantwoording Nationale Studenten Enquête 2013

14

3.5 Aanlevering van studentgegevens Voor deelname aan de NSE 2013 werden studenten van de deelnemende instellingen uitgenodigd per e-mail. Daarom was het noodzakelijk dat elke instelling de mailadressen van haar studenten vooraf aanleverde aan GfK, samen met een aantal andere studentgegevens die noodzakelijk waren voor de routering in de vragenlijst, de berekening van de weegfactoren en het analyseren van de uitkomsten. Noodzakelijke velden die dienden te worden aangeleverd waren:  Een Student-ID;  E-mailadres(sen) van de student;  De actuele BRIN-Code;  De actuele CROHO-Code;  De locatie (gemeentenaam);  Opleidingsvorm;  Afstandsonderwijs;  Studiejaar;  Geslacht. Naast de noodzakelijke velden waren er nog enkele achtergrondgegevens, waarvan het optioneel was voor de instellingen om ze aan te leveren. Optionele velden die konden worden meegeleverd waren:  Vooropleiding;  Leeftijd;  Etniciteit. Bovendien kon iedere onderwijsinstelling maximaal vijf extra achtergrondkenmerken aanleveren. Hierbij kan worden gedacht aan velden als:  Afwijkende opleidingsnaam of instellingsnaam;  Organisatorische indelingen;  Specifiek studiejaar;  Honoursstudenten;  Studievoortganggegevens;  Samenwerkingsverbanden. GfK is nagegaan in hoeverre deze velden privacygevoelig waren (te herleiden naar specifieke studenten) en nam hierover bij twijfel contact op met de instelling. Er werd bijvoorbeeld gecontroleerd op aanwezigheid van id’s, emailadressen e.d. in deze velden. Ook gegevens die relevant waren voor het opstellen van de uitnodigingsmail, zoals de (optionele) instellings-specifieke ondertekening en de (eveneens optionele) ‘instellings-specifieke motivatieregel’ werden op recordniveau (dus per student) aangeleverd. In het Routeboek NSE 2013 was een uitleg gegeven over en zijn definities gegeven van deze aan te leveren gegevens. De studentgegevens moesten door elke instelling vooraf (uiterlijk op 14 december 2012) aangeleverd worden. Vrijwel alle instellingen hebben hier tijdig aan voldaan. Er is hiervoor gebruik gemaakt van een uploadmodule waarin instellingen in een vooraf gedefinieerd format de studentgegevens konden uploaden. Elke deelnemende onderwijsinstelling is half november door middel van een schriftelijke instructie geïnformeerd over hoe de uploadmodule gebruikt diende te worden en heeft eigen inloggegevens ontvangen. De uploadmodule - actief in een afgeschermde omgeving - bood onderwijsinstellingen ook directe feedback op het aangeleverde bestand door de reeds ingebouwde controles. ___________________________________________ Onderzoeksverantwoording Nationale Studenten Enquête 2013

15

Deze ingebouwde  controles  controles  controles  controles  controles

controles betroffen: op structuur van het bestand; op doublures (‘dubbele studenten’); op volledigheid (bv. CROHO); op geldigheid van de waarden (bv. CROHO, datum); op juistheid e-mailadressen (o.a. logische structuur, aanwezigheid @).

Nadat het bestand na de controles werd goedgekeurd en vervolgens geüpload, diende de instelling de status nog op ‘definitief’ te zetten. Dat was voor GfK het sein dat het geüploade bestand hét studentenbestand was waarmee voor de NSE 2013 gewerkt zou gaan worden. 3.6 Verwerking van studentgegevens Uiteindelijk zijn in totaal van 674.489 studenten de noodzakelijke gegevens aangeleverd om hen aan de NSE 2013 deel te kunnen laten nemen. Per student konden één of twee e-mailadressen aangeleverd worden. In totaal is voor 117.474 van deze studenten een tweede e-mailadres aangeleverd. Vervolgens voerde GfK nog enkele inhoudelijke controles uit, zoals een check op de privacygevoeligheid van de aangeleverde labels, controle op spelling en neutraliteit van de aangeleverde motivatieteksten en een extra controle op mogelijk oneigenlijk ingevulde velden. Daarna zijn de afzonderlijke instellingsbestanden samengevoegd tot één populatiebestand en vervolgens verrijkt met de volgende externe gegevens:  HBO of WO (uit 1cHO);  de actuele instellingsnaam (uit CROHO);  de actuele opleidingsnaam (uit CROHO);  Bachelor of Master (1cHO/ Studiekeuzedatabase);  studentaantallen (uit 1cHO) - globale controle met de aangeleverde studentaantallen. Sommige van deze gegevens werden óók door instellingen zelf aangeleverd (BRIN en CROHO); in dat geval diende de koppeling met het CROHO-register als controle. GfK voegde aan het totaalbestand unieke niet-sequentiële respondentnummers en wachtwoorden toe. De wachtwoorden bestonden uit twaalf karakters (een combinatie van cijfers en kleine letters en grote letters, bijvoorbeeld ‘pRQeVTCXMZJ4’). In aanloop naar de start van de NSE 2013 zijn de variabelen, benodigd voor het veldwerk, uit het totaalbestand geselecteerd. Dit bestand is geüpload naar zowel de software voor het verzenden van de e-mails (GfK Atlas) als de software voor de interviewserver (GfK Drive) en is dit bestand eveneens gebruikt voor de database ten behoeve van de wachtwoordmodule. De gegevens zijn concreet gebruikt voor authenticatie, terugkoppeling in de enquête over de opleiding waaraan men studeert, voor de routing van de vragenlijst en ook als basis voor het responsoverzicht. 3.7 De vragenlijst Instellingen hadden de mogelijkheid om tegen meerkosten enkele enquêtevragen toe te laten voegen aan de vragenlijst. Bij de NSE 2013 hebben 21 instellingen gebruik gemaakt van deze mogelijkheid. Door GfK werd gemonitord of de invulduur van de extra vragen binnen maximaal 5 minuten bleef. Tevens was het bewaken van de meerjarige vergelijkbaarheid van de vragen belangrijk, aangezien vragen die ook al in eerdere jaren waren gesteld, uiteindelijk in dezelfde ___________________________________________ Onderzoeksverantwoording Nationale Studenten Enquête 2013

16

variabele in de meerjarige instellingsbestanden dienden te belanden. Daarnaast zijn de extra vragen gecontroleerd op juistheid en formulering als ook op mogelijke privacy-gevoeligheid. De vertaling van de basisvragenlijst is door Studiekeuze123 verzorgd. De vertaling van de instellingsvragen hebben instellingen zelf voor hun rekening genomen, met een eventuele revisie door GfK. De vragenlijst inclusief alle instellingsvragen is vervolgens door GfK Intomart drietalig (Nederlands, Engels, Duits) geprogrammeerd in de GfK Drive software. De lay-out van de vragenlijst is in overleg met Studiekeuze123 afgestemd. Ter illustratie hieronder een schermafbeelding van het startscherm van de vragenlijst NSE 2013 (Figuur 3.1).

Figuur 3.1: Schermafbeelding startscherm vragenlijst NSE 2013


17

4.

Communicatie

In dit hoofdstuk wordt ingegaan op de communicatie-activiteiten die hebben plaatsgevonden richting de studenten en richting de instellingen. 4.1 Communicatie studenten De communicatie met studenten verliep tijdens de uitvoering van het veldwerk via [email protected]. Het uitlezen van [email protected] gebeurde in die periode dagelijks; daarvoor en daarna geschiedde het uitlezen van [email protected] minder vaak, maar nog wel minimaal wekelijks. Antwoorden op veel gestelde vragen waren voor studenten ook na te lezen op www.nse.nl/faq. In totaal zijn er 1.454 e-mails binnengekomen van studenten, waarvan er 1.369 binnenkwamen tijdens de veldwerkperiode. Onderwerpen van vragen waren grotendeels: niet willen deelnemen, vragen over verloting van de prijzen, extra opmerkingen, problemen met invullen van de vragenlijst. Daarnaast konden instellingen gebruik maken van promotiemateriaal dat door Studiekeuze123 was klaargezet. Studiekeuze123 heeft voor de NSE 2013 een poster, een flyer en een banner ontworpen. Naast dit basispakket kon een bouwpakket worden aangevraagd waarbij instellingen de mogelijkheid hadden om een eigen logo en/of tekst toe te voegen aan de flyer en poster. Het bouwpakket is door 22 instellingen aangevraagd. 4.2 Uitnodigingstekst en reminders De studenten ontvingen de uitnodiging voor deelname per e-mail. Voor de uitnodigingstekst en de reminders zijn de teksten van de NSE 2012 als basis gebruikt. Er zijn enkele aanpassingen gedaan in de teksten zodat de teksten iets minder lang waren ten opzichte van vorig jaar. Hierin hebben twee studenten van de Universiteit Utrecht met Studiekeuze123 en GfK meegekeken. Een aantal tekstuele suggesties is verwerkt. 4.3 Communicatie instellingen Algemene informatie over de NSE was terug te vinden in het Routeboek voor de Nationale Studenten Enquête 2013 en op de website www.studiekeuzeinformatie.nl/nse. Daarnaast werden de contactpersonen op de hoogte gehouden van ontwikkelingen via de NSE Bijblijver. In totaal zijn tijdens de NSE 2013 acht NSE Bijblijvers verstuurd. Voor de communicatie met deelnemende instellingen werd het centrale NSE e-mailadres [email protected] gebruikt, van waaruit zowel Studiekeuze123 als GfK communiceerden gedurende het gehele uitvoeringstraject van de NSE 2013. Daarnaast was er ook een NSE telefoonnummer beschikbaar (035-6257 668). Voor, tijdens en na het veldwerk is [email protected] vrijwel dagelijks uitgelezen. Er werd snel gereageerd op vragen. De binnengekomen e-mails via [email protected] zijn voor de NSE 2013 voor het eerst geregistreerd in JIRA. JIRA is een systeem dat binnengekomen mails registreert in een zogenaamde call en vervolgens wordt deze call toegekend door een medewerker van GfK aan een lid van het projectteam (van GfK of Studiekeuze123). Hiermee is eenvoudig de voortgang te monitoren en er wordt voorkomen dat gestelde vragen tussen wal en schip belanden. GfK beheerde onder regie van Studiekeuze123 dit call-afhandelingssysteem. In totaal zijn er 2.150 calls aangemaakt in de JIRA Servicedesk voor [email protected]. De piek in de binnenkomende communicatie lag in de voorbereidings- en uitvoeringsfase. Er was vooral contact over voorbe___________________________________________ Onderzoeksverantwoording Nationale Studenten Enquête 2013

18

reiding van het onderzoek (aanleveren studentgegevens, afstemming spamfilter, responsoverzichten). Andere onderwerpen die veel aan bod zijn gekomen, waren de vragenlijst, vragen over de bestanden en vragen over communicatie. De instellingen waren tevreden over de wijze en de snelheid van reageren. Dit is aan de orde geweest tijdens de Slotbijeenkomst van de NSE 2013. 4.4 Sociale media Studenten hadden in 2013 de mogelijkheid om aan het einde van de vragenlijst automatisch een bericht te plaatsen op Facebook of Twitter. Het standaard bericht was als volgt: ‘Nationale Studenten Enquête ingevuld en mijn mening gegeven over mijn opleiding! Wie volgt? nse.nl #NSE2013 http://www.nse.nl’. Het standaard bericht is in totaal 193 keer getwitterd. Het is niet inzichtelijk hoe vaak berichten op Facebook zijn geplaatst. Verder is er 472 keer getwitterd over de NSE 2013 met een eigen bericht. Berichten waarin een vraag of opmerking stond, zijn door Studiekeuze123 via Twitter (@Studiekeuze123) beantwoord. 4.5 Special Interest Group NSE Voor de Special Interest Group (SIG) NSE zijn drie bijeenkomsten georganiseerd. De Startbijeenkomst vond plaats op 4 oktober 2012 en had 58 deelnemers. De aanpak van de NSE 2013 werd besproken en de kerngroep heeft het inhoudelijke programma verzorgd met als thema respons. De Tussenbijeenkomst op 28 maart 2013 was dit jaar voor het eerst en trok 45 bezoekers. Hier werd het Codeboek gepresenteerd (structuur van het databestand) en werd ingegaan op het inhoudelijke thema ‘Resultaten NSE, wat kan je ermee?’. De Slotbijeenkomst vond plaats op 6 juni 2013. Een eerste evaluatie van de NSE 2013 vond plaats en Frank Steenkamp, directeur C.H.O.I. (uitgever van de Keuzegidsen) heeft gepresenteerd hoe C.H.O.I. omgaat met de resultaten van de NSE. De Slotbijeenkomst had 56 deelnemers. De inhoudelijke thema’s van de bijeenkomsten werden voorbereid door een kerngroep. In deze kerngroep zat in 2013 een vertegenwoordiging van de volgende instellingen: Hogeschool Inholland (voorzitter), Hogeschool Rotterdam, Technische Universiteit Delft, NHL Hogeschool, Markus Verbeek Praehep, Studiekeuze123 (secretaris). 4.6 Persbericht Bij het openbaar worden van de resultaten NSE 2013 heeft Studiekeuze123 op 6 juni 2013 een persbericht verspreid. Het persbericht met als kop ‘Nationale Studenten Enquête: van groot belang’ ging vooral in op de respons en de inhoud van de enquête. Daarnaast werd er een drietal Top 3’s gepresenteerd: Top 3 best scorende studies, Top 3 studententevredenheid over instellings- en opleidingsinhoudelijke aspecten, Top 3 studententevredenheid over studie aanverwante aspecten.


19

5.

Populatie en respons

5.1 Mailing Het veldwerk van de NSE 2013 duurde 10 weken, van maandag 14 januari tot en met zondag 24 maart 2013. De studenten zijn steeds benaderd op het beschikbare e-mailadres en - indien beschikbaar ook op een 2e e-mailadres. Elke verzending is gelijkmatig gespreid over de periode van één week. Het 2e e-mailadres is steeds aangeschreven op de maandag na deze verzendweek. In totaal zijn er 4.721.423 e-mails (alle verzonden e-mails opgeteld) aan 674.489 studenten verstuurd. Na de initiële uitnodigingsmail volgden nog drie reguliere herinneringsmails (met een interval van steeds 2 weken). Studenten die al hadden gereageerd, of die zich hadden afgemeld, zijn niet nogmaals benaderd. De deelnemende instellingen hadden na afloop van de NSE 2012 het verzoek neergelegd bij Studiekeuze123 om de veldwerkduur te verkorten. Om hierover een weloverwogen beslissing te nemen, is bij de NSE 2013 een experiment gedaan waarbij na 8 weken geen e-mails meer zijn verstuurd richting studenten, maar de vragenlijst nog wel gewoon kon worden ingevuld. De instellingen hadden de mogelijkheid voor een extra herinnering, een laatste appèl in week 9, waarin een laatste beroep werd gedaan op studenten om alsnog deel te nemen. Hiervan is door 48 instellingen gebruik gemaakt. In twee gevallen is een uitzondering gemaakt op deze benadering. Twee instellingen hebben ervoor gekozen om in 2013 nog de ‘oude’ benaderingsroutine toe te passen, met andere woorden: met één extra herinnering en de ‘last shot’-mail in de 10e week. De overige 22 instellingen hebben na week 8 geen e-mails meer ontvangen. De uitkomst van het experiment was dat voor de NSE 2014 en daarna is besloten het veldwerk te verkorten naar 8 weken (zie paragraaf 5.7). 5.2 Respons In totaal zijn 674.489 studenten benaderd om deel te nemen aan het onderzoek, zie Tabel 5.1. Tijdens het veldwerk bleken 1.045 studenten niet tot de doelgroep te behoren, deze waren per abuis aangeleverd door twee instellingen. Deze studenten zijn niet verder benaderd en uit de resultaten gefilterd.


20

Tabel 5.1: Respons

Typering

Aantal

Populatie initieel (bruto) - Aangeleverd, maar buiten de doelgroep - E-mailadres niet bereikt (bouncers)

674.489 1.045 2.775

Populatie bruikbaar (netto = responsbasis) - Afmelders via unsubscribe button - Afmelders via unsubscribe button (%)

670.669 4.964 0,7%

- Respons bruto - Respons bruto (%)

270.961 40,4%

- Respons netto (gecleaned) - Respons netto (%)

264.710 39,5%

Van de resterende 673.444 studenten konden 2.775 studenten niet deelnemen omdat zij niet met het beschikbare e-mailadres konden worden bereikt. Ook deze studenten zijn uit de resultaten gefilterd. De hieruit resulterende netto populatie bedroeg 670.669 studenten. Elke student die minimaal de eerste inhoudelijke enquêtevraag (v14: algemene tevredenheid over de opleiding) had ingevuld, is in de respons meegerekend. Op basis hiervan bedroeg de bruto respons 270.961 studenten (40,4%). Na cleaning op invulduur (zie paragraaf 6.1.3) kwam de netto respons uit op 264.710 deelnemende studenten (39,5%). 0,7% van alle studenten heeft zich tijdens de uitvoering van het onderzoek afgemeld voor deelname door te klikken op de afmeldlink in de uitnodigingsmail of reminder (‘unsubscribe’). De betreffende studenten zijn vervolgens binnen het mailsysteem uitgesloten voor verdere benaderingen. 5.3 Responsgedrag De netto respons in 2013 was hoger dan in 2010, 2011 en 2012. Tabel 5.2: Netto respons in 2010 tot en met 2013 Jaar Netto respons 2010 35% 2011 35,2% 2012 31% 2013 39,5%


21

Figuur 5.1: Bruto responsverloop cumulatief en per dag 45%

25.000

40% 20.000

30% 15.000 25%

20% 10.000

Bruto respons per dag (n)

Cumulatief verloop bruto respons (%)

35%

15%

10%

5.000

5%

Bruto respons cumulatief (%)

0% 14-jan

21-jan

Uitnodiging 1

28-jan 1e rappel

4-feb

11-feb 2e rappel

18-feb

25-feb

4-mrt

3e rappel

11-mrt

last shot

18-mrt

0 25-mrt

Bruto respons per dag (n)

laatste appèl

Uit het bruto responsverloop in Figuur 5.1 blijkt het effect dat iedere remindermail heeft gehad (respons piekt). Ook is zichtbaar dat meer dan de helft van de uiteindelijke respons is behaald na de initiële uitnodigingsmail en de eerste herinnering. Op de maandag na elke verzendweek, zodra het 2e beschikbare e-mailadres werd aangeschreven, is ook een piek zichtbaar. Dat komt enerzijds doordat het aantal e-mails iets groter was dan bij de reguliere mailings, maar anderzijds werd hier ook gemiddeld beter op gerespondeerd. 5.4 Hoe is de NSE ingevuld? De enquête is geprogrammeerd in drie talen: Nederlands, Engels en Duits. Bij de start van de vragenlijst konden studenten een taal kiezen, waarna de student direct werd doorgeleid naar de vragenlijst in de door hem/haar gekozen taal. In totaal vulde 91,8% de Nederlandse vragenlijst in, 5,4% de Engelse en 2,8% de Duitse. In vergelijking met 2012 waren de wijzigingen beperkt. (zie Tabel 5.3). Tabel 5.3: Percentage ingevulde vragenlijst 2012 en 2013, uitgesplitst naar taal NSE 2012 NSE 2013 Nederlands 90,7% 91,8% Engels 5,7% 5,4% Duits 3,6% 2,8% Totaal 100% 100% De gemiddelde invulduur van de vragenlijst bedroeg 13,6 minuten voor studenten die op locatie onderwijs volgden en 10,0 minuten voor studenten die afstandsonderwijs volgden en als gevolg hiervan een kortere vragenlijst invulden (zie paragraaf 6.1.3). Belangrijk voor de datakwaliteit was de mate waarin de vragenlijst volledig (tot het einde, tot en met de ‘ultimate question’) werd ingevuld. Op basis van de netto respons kan geconcludeerd worden dat 91,0% van de studenten de vragenlijst integraal beantwoordde. Dit betekent een ___________________________________________ Onderzoeksverantwoording Nationale Studenten Enquête 2013

22

lichte toename ten opzichte van de NSE 2012 (89,5%). Dit wil zeggen dat de hogere respons in 2013 niet heeft geleid tot minder complete deelnames. Figuur 5.2: Niet volledig ingevulde vragenlijst (verval voor een aantal vragen)

Niet volledig ingevulde vragenlijsten (verval voor een aantal vragen)

100,0 100,0 98,0

96,4

Percentage

96,0 93,6

94,0

92,7 91,7

92,0

91,0

90,0 88,0 86,0 Vraag 14

Vraag 15n

Vraag 20h

Vraag 25

Vraag 30d

Vraag 42

Hieronder is opgenomen welke vragen het betrof: Vraag 14: algemeen oordeel over de studie; Vraag 15n: tevredenheid over betrekken student bij opleiding; Vraag 20h: tevredenheid over kennis docenten beroepspraktijk; Vraag 25: tevredenheid over de mogelijkheid om zonder vertraging de gewenste studieonderdelen te volgen ; V30d: tevredenheid over de manier waarop je opleiding op klachten en problemen reageert; V42: Zou je jouw opleiding aanraden aan vrienden, familie of collega’s? In Figuur 5.2 valt na te gaan waar studenten (die zijn meegerekend tot de netto respons) in de vragenlijst uitvielen. De meeste studenten vielen snel na de algemene tevredenheidsvraag (v14) af. Op het einde van de vragenlijst is er nog weinig sprake van uitval. Dit wijst erop dat studenten die eenmaal besloten om deel te nemen, over het algemeen niet later tijdens het invullen van de vragenlijst alsnog door de lengte werden ontmoedigd om verder te gaan. 5.5 Non-respons analyse Het netto responspercentage bedroeg 39,5 %. Dat wil zeggen dat ongeveer twee vijfde deel van de studentenpopulatie wel heeft deelgenomen en drie vijfde deel van de studentenpopulatie niet heeft deelgenomen aan het onderzoek. In een analyse is uitgezocht in hoeverre er verschillen bestaan tussen degenen die respondeerden en de studenten die dat niet deden. Er is ten opzichte van de Onderzoeksverantwoording 2012 afgezien van een multinomiale regressieanalyse, aangezien de verklarende kracht daarvan al in 2012 erg gering bleek. Dit kwam mede doordat een aantal relevante variabelen (bijv. respons inspanningen van instellingen zelf) niet in de analyse konden worden meegenomen, waardoor er geen sprake was van een echt ___________________________________________ Onderzoeksverantwoording Nationale Studenten Enquête 2013

23

verklarende analyse. Bovendien bevatte de analyse alleen elementen waar instellingen niet op konden sturen (als sekse, onderwijsvorm, eerstejaars/ouderejaars etc.), waardoor het uitvoeren hiervan ook niet leidde tot bruikbare adviezen. Voor de analyse zijn percentages berekend voor de volgende groepen studenten:  vragenlijst volledig ingevuld: studenten die de vragenlijst volledig hadden ingevuld;  vragenlijst onvolledig ingevuld: studenten die de vragenlijst niet volledig hadden ingevuld, maar wel de algemene tevredenheidsvraag hadden beantwoord;  de non-respons: studenten die de e-mail hadden ontvangen, maar niet hadden meegedaan met het onderzoek;  afmelders: studenten die niet meer mee wilden doen aan het onderzoek;  e-mail adres niet bereikt: studenten van wie de e-mail niet was aangekomen (“bouncers”). De verschillen zijn geanalyseerd naar soort hoger onderwijs (hogeschool of universiteit), type hoger onderwijs (Bachelor, Master of anders, bijvoorbeeld Associate degree), opleidingsvorm (voltijd, deeltijd of duaal), sekse (man of vrouw) en studiejaar (eerstejaars of ouderejaars). Hieronder worden per onderwerp de verschillen tussen de vijf responscategorieën getoond. Tabel 5.4: Non-responsanalyse So o rt HO

Type o nderwijs

To taal

Ho gescho o l

Universiteit

B achelo r

M aster

A nders

35,8%

36,7%

34,2%

35,8%

35,6%

38,9%

3,5%

3,8%

3,1%

3,7%

2,6%

3,6%

59,6%

58,5%

61,5%

59,5%

60,4%

56,4%

A fmelders

,7%

,6%

,9%

,6%

1,0%

,3%

E-mailadres niet bereikt

,4%

,5%

,3%

,4%

,4%

,7%

100%

100%

100%

100%

100%

100%

To taal

Vo ltijd

Deeltijd

Duaal

M an

Vro uw

Eerstejaars

Ouderejaars

35,8%

36,0%

34,3%

34,1%

32,1%

39,2%

38,3%

34,5%

3,5%

3,6%

3,0%

3,0%

2,9%

4,1%

4,3%

3,1%

59,6%

59,3%

61,3%

61,5%

63,5%

55,9%

56,4%

61,2%

A fmelders

,7%

,7%

,8%

,6%

1,0%

,4%

,6%

,7%

E-mailadres niet bereikt

,4%

,4%

,7%

,8%

,5%

,3%

,4%

,4%

100%

100%

100%

100%

100%

100%

100%

100%

Vragenlijst vo lledig ingevuld Vragenlijst o nvo lledig ingevuld No n-respo ns

To taal

Opleidingsvo rm Vragenlijst vo lledig ingevuld Vragenlijst o nvo lledig ingevuld No n-respo ns

To taal





  

Sekse

Studiejaar

De respons lag enigszins hoger op hogescholen dan op universiteiten. Er waren iets meer afmelders bij universiteiten, maar minder e-mails die niet konden worden bezorgd; De totale respons was enigszins hoger bij bachelorstudenten dan bij masterstudenten; het aantal volledig ingevulde vragenlijsten lag in beide groepen ongeveer op hetzelfde niveau. In de groep “anders” (voornamelijk bestaande uit “Associate degree”) was de respons iets hoger dan de andere twee groepen. Masterstudenten meldden zichzelf naar verhouding iets vaker af; Voltijders respondeerden vaker dan deeltijdstudenten en studenten in een duaal traject; Vrouwen respondeerden duidelijk vaker dan mannen; laatstgenoemden meldden zich daarbij iets vaker af voor deelname aan het onderzoek dan vrouwen; Eerstejaars respondeerden iets vaker dan ouderejaars.


24

Op basis van bovenstaande analyse kan worden geconcludeerd dat - van de variabelen in de tabel - met name sekse en studiejaar verschilden in respons; voor de overige variabelen waren de verschillen minder duidelijk. 5.6 Responsoverzichten Tijdens het veldwerk konden instellingen via de GfK Drive omgeving vrijwel live de respons van hun eigen onderwijsinstelling bijhouden en de verschillen in hoogte van de respons met andere instellingen inzien. Het actuele, gedetailleerde inzicht in de respons stelde hen in staat om de communicatieve inspanningen specifiek af te stemmen op opleidingen en/of locaties waar de respons nog een extra stimulans kon gebruiken. Men had hiervoor een instellings-specifieke toegangscode, waarmee zowel 1) een overzicht van alle deelnemende instellingen (Figuur 5.3) als 2) de respons naar opleiding, de respons naar opleiding en opleidingsvorm (voltijd, deeltijd, duaal) en de respons naar opleiding en opleidingsvorm en locatie kon worden gevolgd (Figuur 5.4). Dit laatste overzicht, Figuur 5.4, was alleen toegankelijk voor de instelling in kwestie. De responstabellen toonden in absolute aantallen het aantal benaderde studenten, het aantal ingevulde vragenlijsten en het hieruit volgende responspercentage (NB: nog zonder enige vorm van bewerking). Figuur 5.3: Responsoverzicht (% alle instellingen)

Instelling X

Instelling X Instelling Y Et cetera


25

Figuur 5.4: Responsoverzicht (% vorm x opleiding, instellings-specifiek)

Instelling X

5.7 Analyse verkorting veldwerk GfK heeft een analyse verzorgd over de pilot uitgevoerd gedurende de NSE 2013 over het verkorten van de veldwerkperiode van de NSE van 10 weken naar 8 weken. Aanleiding van de analyse (GfK, van Meurs en van de Vijver (2013)) was de groeiende behoefte om resultaten van de NSE eerder beschikbaar te stellen aan belanghebbenden en tevens het aantal reminders aan studenten terug te brengen. Om hierover een weloverwogen beslissing te nemen, is bij de NSE 2013 een experiment gedaan met betrekking tot het verkorten van het veldwerk (zie ook paragraaf 5.1). De analyse verkorting veldwerk van 10 naar 8 weken richtte zich op de gevolgen voor:  de hoogte van de netto respons;

 

de representativiteit van de netto respons; de invloed op de (inhoudelijke) onderzoeksresultaten.

De conclusie van het onderzoek was dat de verkorting van het veldwerkperiode een wens is die Studiekeuze123 kan doorvoeren. Hierbij werd uitgegaan dat na besluitvorming de communicatie naar studenten zich verder zal richten op een veldwerkperiode van 8 weken. Wel werd opgemerkt dat de NSE 2013 een jaar was waarin de respons al vanaf het begin van het veldwerk, goed is verlopen. In de laatste twee weken is wel extra respons gerealiseerd, zo’n 3 a 4 procentpunt extra respons. Het gaat over 8,7% van de totale respons (100%) in de laatste twee weken ten opzichte van 13,8% in 2012. Dit wordt mede verklaard door de twee instellingen die de communicatie hadden ingericht op 10 weken veldwerk. Bij deze instellingen bleef de respons gedurende de eerste weken achter bij het gemiddelde. Voor deze instellingen was een groter deel van de totale respons pas in de laatste twee veldwerkweken behaald. Ook is gekeken naar de respons van 8 weken en vergeleken met die van 10 weken. Gekeken is naar de ‘structuur’ van het antwoordbestand na 8 weken en na 10 weken. Met structuur wordt bedoeld: respondenten naar instelling (BRIN), opleiding (CROHO) en locatie. Geconcludeerd is dat de gemiddelde representativiteit naar instelling, opleiding en locatie niet veranderde of nauwelijks anders was vergeleken met de respons van 10 weken of 9 of 8 weken. De stan___________________________________________ Onderzoeksverantwoording Nationale Studenten Enquête 2013

26

daarddeviatie veranderde nauwelijks. De verhoudingen van respondenten naar instellingen en opleidingen bleef gelijk. Dit gaf een indicatie van gedegen kwaliteit van het eindbestand. Daarnaast is er gekeken naar het aandeel mannen en vrouwen, eerstejaars en ouderejaars respondenten na 8 weken veldwerk en na 10 weken veldwerk. Het viel op dat vrouwelijke, jongere studenten relatief sterk vertegenwoordigd waren in de respons. De analyse liet zien dat de aandelen van mannen of vrouwen, eerstejaars/ouderejaars respondenten in de netto respons weinig meer verschoven in de laatste twee weken veldwerk. In de laatste twee weken vond er een beperkte verschuiving plaats die dit verschil iets kleiner maakte. Mogelijk speelde ook de toonzetting van het laatste appèl hierin mee. De vraag is overigens of deze conclusie van de analyse bij een communicatieve focus op 8 weken veldwerk nog steeds zal gelden. Op basis van deze analyse heeft Studiekeuze123 besloten om de veldwerkperiode van de NSE 2014 8 weken te laten duren. De analyse is gepubliceerd op www.studiekeuzeinformatie.nl/nse. 5.8 Onderzoek respons beïnvloeding Tijdens de NSE 2013 is extra aandacht besteed aan de communicatie-uitingen en aan acties van instellingen gericht aan de studenten om de NSE in te vullen. De nadruk lag hierbij op de vraag of er sprake was van (structurele) beïnvloeding door instellingen met als doel om hogere NSEscores te behalen. De afspraak tussen Studiekeuze123 en de deelnemende instellingen (vastgelegd in de Overeenkomst tot deelname) was dat de communicatie-uitingen niet tot beïnvloeding van de scores mochten leiden. Het onderzoek bestond uit vier onderdelen:  Een enquête onder de NSE contactpersonen over de wijze waarop de instelling de communicatie had georganiseerd en welke acties hadden plaatsgevonden; In totaal hebben 44 contactpersonen gereageerd, 32 daarvan betroffen contactpersonen in het hoger beroep onderwijs (hbo) en 12 in het wetenschappelijk onderwijs (wo). In het hbo gaf 51,7% aan meer aan communicatie-uitingen te hebben gedaan om de respons te verhogen, in het wo was dat 88,9%;  Eigen bevindingen naar aanleiding van meldingen van studenten, online via sociale media, twitter of instellingswebsites. Er is hierbij onderzocht of er geen sprake was van positieve beïnvloeding. In 10 gevallen is contact opgenomen met de instelling. Het ging hierbij om 8 tweets en twee mailings die zijn verzonden die niet geoorloofd waren. In alle gevallen heeft de instelling het bericht verwijderd of gerectificeerd;  In de NSE 2012 was een viertal vragen opgenomen die specifiek ingingen op de wijze van afnemen en de communicatie; deze antwoorden zijn geanalyseerd. Analyse is gedaan naar a) waar (locatie), b) met wie (alleen of klassikaal), c) onder aansporing van (wie attendeert de studenten op de vragenlijst) en d) met welk invulmedium de enquête was ingevuld. Tevens was het mogelijk om te analyseren of deze aspecten de mate van tevredenheid op een of andere manier heeft beïnvloed (Brenders, 2013);  Gesprek met het ISO en de LSVb. Er heeft een gesprek met bestuursleden van ISO en LSVb plaatsgevonden waarin nagegaan is of de studentenorganisaties op de hoogte waren van eventuele positieve beïnvloeding. Dit bleek niet het geval te zijn. Het rapport van dit onderzoek is besproken in de vergadering van het Deskundigenpanel van 4 juni 2013. De belangrijkste conclusie was dat er geen sprake is van structurele beïnvloeding door instellingen met als doel het behalen van hogere NSE-scores. ___________________________________________ Onderzoeksverantwoording Nationale Studenten Enquête 2013

27

6.

Datacleaning en bestandswerking

Na afronding van het veldwerk zijn de bestanden verrijkt met externe gegevens, opgeschoond, en gestructureerd. Vervolgens is de data geanalyseerd en zijn themascores berekend. Het responsbestand is gekoppeld aan het bestand met alle aangeleverde studentgegevens en de variabelen zijn qua naamgeving in overeenkomst gebracht met de naamgeving als gehanteerd in het Codeboek. Op basis van de in het interviewsysteem vastgelegde gegevens zijn eveneens de invulduur en de invuldatum bepaald. Alleen indien V14 (algemene tevredenheid opleiding) was ingevuld, is de respons als geldig beschouwd. Vragenlijsten met een ongeloofwaardig korte invulduur die wel als ‘complete’ (volledig ingevuld) waren geregistreerd, zijn daarna nog verwijderd (zie paragraaf 6.1.3). Dit leidde tot een basisbestand waarvan alle andere bestanden werden afgeleid. 6.1 Verrijking en andere bewerkingen Aan dit basisbestand zijn vanuit externe databases gegevens gekoppeld. Allereerst het CROHOregister, het register van DUO over alle geaccrediteerde opleidingen die in Nederland worden aangeboden in het hoger onderwijs. Het CROHO-register is vanuit Excel ingelezen en geaggregeerd. De gemeentenamen in het CROHO-register zijn gesynchroniseerd met de Studiekeuzedatabase en de meerjarige benchmarkbestanden van 2010, 2011 en 2012. Het CROHO-register is aan het basisbestand gekoppeld op een combinatie van de variabelen CROHO*BRIN*locatie*vorm, waarmee tevens is gecontroleerd of alle codes in het bestand geldige en actuele codes waren. In tegenstelling tot de opleidingen die zijn opgenomen in de Studiekeuzedatabase (alleen opleiding met instroom), zijn in dit bestand alle actuele opleidingen opgenomen (dus ook de opleidingen die geen instroom meer kennen, maar nog wel aangeboden worden). Aan het bestand zijn verder bekostigingskenmerken, CROHO-onderdelen en fixusgegevens toegevoegd. Ook is er een variabele aangemaakt waarmee samenwerkingsverbanden zijn te herkennen (combinatie-opleidingen die gezamenlijk door enkele instellingen worden aangeboden, zie hiervoor ook paragraaf 3.2). De variabelen stedelijkheid en landsdeel waren afkomstig uit CBS Statline en zijn op gemeentecode aan het basisbestand gekoppeld. Op basis van 1cHO zijn de velden BaMa (bachelormaster) en soort hoger onderwijs (HBO-WO) aangemaakt. Missende records in het door instellingen aangeleverde studentenbestand zijn achteraf aangevuld vanuit de antwoorden op de vragenlijst (studiejaar, leeftijd, vooropleiding etc.); in geval van tegenstrijdige gegevens hebben de door de instellingen aangeleverde gegevens voorrang gekregen. Etniciteit is in 2013 niet bevraagd in de vragenlijst: voor zover de informatie in het basisbestand (en in het NSE Onlinebestand) was opgenomen, betrof het door de instellingen zelf aangeleverde gegevens. Vervolgens zijn de missende waarden bij de tevredenheidsvragen gedefinieerd. Er is onderscheid gemaakt tussen werkelijke missende scores (-1) en een code voor de vragen die niet van toepassing waren (-2). Deze codes zijn in het bestand gedefinieerd als ‘missing value’. 6.1.1 Hercoderen open vragen Handicap & Studie De wijzigingen in de vragenlijst hadden betrekking op het blok Handicap & Studie. Bij vragen 34 en 35 van het blok Handicap & Studie werd gevraagd welke ziektes c.q. functiebeperkingen de student heeft. Bij beide vragen werd een lijst gepresenteerd met items waar de studenten er één of meerdere van konden kiezen. Dit waren dus geen tevredenheidsvragen. Bij beide vragen konden studenten ook zelf een antwoord geven, bij “Anders, namelijk”. Dit is achteraf gerubriceerd. In 2013 leverde dit 10.400 antwoorden op. Deze zijn door een basisarts achteraf geco___________________________________________ Onderzoeksverantwoording Nationale Studenten Enquête 2013

28

deerd. In meer dan 99% van de gevallen konden de open antwoorden gehercodeerd worden naar een categorie die in het vragenblok Handicap & Studie werd gebruikt. 6.1.2 Huurwaarden Er bevonden zich in 2013 geen onrealistische huurwaarden aan de hoge kant van het spectrum. De meeste afwijkingen waren te vinden aan de lage kant van het spectrum, maar ook hier ging het om relatief beperkte aantallen en bestond geen aanleiding om te denken dat het om irreële bedragen ging. Er is daarom in afstemming met Studiekeuze123 besloten om in 2013 geen correctie op extreme huurwaarden toe te passen. 6.1.3 Invultijd De antwoorden van studenten die de enquête in minder dan 5 minuten invulden zijn, net zoals in eerdere jaren, verwijderd. Een invulduur langer dan 30 minuten is afgekapt op deze 30 minuten, aangezien studenten de vragenlijst tussentijds konden onderbreken en later weer konden verder gaan. Op basis van een analyse heeft GfK voorgesteld om de grens voor studenten afstandsonderwijs op 3,5 minuut te stellen. Dat kwam doordat studenten afstandsonderwijs een kortere route door de vragenlijst namen. De volgende vragen werden niet gesteld aan studenten afstandsonderwijs.  Inhoud en opzet van het onderwijs (9 wel, 2 niet: 16J en 16K);  Samenwerking met anderen (17E);  Studieroosters (2 vragen);  Contacttijd (4 vragen);  Groepsgrootte (3 vragen);  Stages (6 vragen);  Studiefaciliteiten (5 vragen niet, 1 vraag wel:29F);  Studieomgeving (7 vragen);  Woonsituatie (2 vragen);  Handicap en studie (8 vragen). 6.2 Themascores en instellingsvragen Themascores zijn gemiddelde scores die betrekking hebben op hetzelfde onderwerp. Tijdens de uitvoering bleek, na analyse van de data, dat voor de thema’s stages, internationale studenten (niet in Benchmarkbestand) en studieomgeving een andere nadere uitsplitsing mogelijk was. Dit is verder geanalyseerd door GfK, (GfK, 2013), vervolgens heeft Studiekeuze123 besloten om deze indeling te hanteren voor het Benchmarkbestand, zie het Codeboek (paragraaf 7.1.1). Bij de berekening van de themascores is aangehouden dat er door de student over een minimaal aantal onderliggende items een mening moest zijn gegeven. Daarbij zijn de volgende criteria gehanteerd:  Bij thema’s die in vorige metingen in dezelfde vorm zijn behandeld: hetzelfde minimum als in 2012;



Bij nieuwe thema’s en thema’s die zijn veranderd: >= 9 items: een mening over het aantal items -3, 6-8: een mening over het aantal items: -2, 2-5 een mening over het aantal items: -1. Hiermee werd aangesloten bij de logica die in voorgaande metingen is gehanteerd. Een voorbeeld: als er 8 items bij een thema hoorden, dan diende een student over minimaal 5 van deze items (8-3) een mening te hebben gegeven om voor dat thema een themascore te berekenen voor die student.


29

Na de fase van cleaning en bewerking van de resultaatbestanden zijn Principale Componentenen betrouwbaarheidsanalyses uitgevoerd, waarna de themascores konden worden berekend (zie Tabel 6.1). Met behulp van Principale Componentenanalyse (PCA) kan van een groot aantal vraagitems worden vastgesteld in hoeverre deze inhoudelijk “bij elkaar passen”. Dat gebeurt door het aanmaken van een aantal latente, aan elkaar ongecorreleerde variabelen (componenten) in een ndimensionale ruimte, waarna de correlatie wordt berekend tussen de vraagitems en de componenten. Daarbij kunnen de componenten dusdanig worden geroteerd (“gedraaid”) in de virtuele ruimte, dat de correlaties tussen de vraagitems en de componenten worden gemaximeerd. Dit leidt doorgaans tot beter benoembare componenten. Deze methode (Varimax-rotatie genaamd) is alleen gebruikt voor de explorerende analyse. Voor de confirmatieve analyse was de Varimaxrotatie niet van toepassing. Missende waarden in de PCA zijn behandeld volgens de methode “pairwise deletion”, dat wil zeggen ook studenten die een missende waarde op een of meer vraagitems hadden zijn meegenomen in de analyse. Deze aanpak komt overeen met de uiteindelijke berekening van de themascores, waarbij ook, afhankelijk van het aantal vraagitems, één of meer missende waarden zijn toegestaan op de items waaruit de score is opgebouwd. Hierdoor wordt optimaal gebruik gemaakt van de beschikbare gegevens en wordt het reeds beperkte - aantal missende waarden verder gereduceerd. Een groot deel van de vraagitems is al in eerdere NSE-jaargangen gegroepeerd. In 2013 is, als gevolg van enkele aanpassingen in de vragenlijst, een verkennende PCA uitgevoerd om de uiteindelijke samenstelling van de themascores vast te kunnen stellen. Na het bepalen van de samenstelling van de themascores is nogmaals een PCA uitgevoerd, per thema afzonderlijk, ter vaststelling van de factorladingen en om te bevestigen dat inderdaad sprake was van voldoende samenhang tussen de items en de inhoudelijk daar achterliggende dimensie. De resultaten daarvan zijn in Tabel 6.1 opgenomen. Ten eerste worden de communaliteiten getoond: die geven aan welk deel van de variantie van het item door de component wordt verklaard. Eveneens wordt in de tabel aangegeven wat de correlatie van de vraagitems met de component was, de zogeheten componentladingen. Hoe hoger de lading, hoe sterker het item met de component samenhangt. Per component is ook het totale percentage verklaarde variantie weergegeven: dit percentage lag tussen 0% en 100% en geeft aan hoe goed de vraagitems tezamen het achter de component liggende concept (het thema) meten. De verklaarde variantie lag bij alle thema’s rond of ruim boven 50%. We kunnen als vuistregel hanteren dat waarden rond 50% ruim voldoende zijn, waarden vanaf 60% goed en waarden boven 70% uitzonderlijk goed1. Vervolgens is uit de bij elkaar passende vraagitems een themascore berekend. Voorafgaand aan de berekening is een betrouwbaarheidsanalyse uitgevoerd, die aangeeft in hoeverre de vraagitems tezamen een betrouwbare indicator (ook wel schaal genoemd) vormen. De betrouwbaarheid van elke schaal kan worden uitgedrukt in een getal tussen 0 en 1, Cronbach’s Alpha genaamd. In de sociale wetenschappen wordt een Cornbach’s Alpha waarde van 0,7 of hoger als betrouwbaar behandeld. In het geval van de themascores die voor de NSE 2013 werden berekend, is ruimschoots aan dat criterium voldaan.

1

Uiteraard gaat het hier niet om absolute grootheden. Deze waarden worden geformuleerd op basis van de gemiddelde onderzoekresultaten van veel sociaalwetenschappelijk uitgevoerd onderzoek.


30

Tabel 6.1: Principale Componenten- en betrouwbaarheidsanalyses Inhoud (themascore)

Communaliteiten Componentladingen

Alpha if item deleted

Het niveau van je opleiding

0,51

0,72

0,92

De aansluiting van de inhoud bij het beeld dat je van je opleiding had

0,58

0,76

0,91

De aansluiting van je opleiding bij je vooropleiding

0,37

0,61

0,92

De mate w aarin de inhoud van je opleiding stimulerend is

0,64

0,80

0,91

De aansluiting van de inhoud van je opleiding bij actuele ontw ikkelingen

0,52

0,72

0,91

De samenhang tussen de verschillende onderdelen van je opleiding

0,50

0,70

0,92

De in jouw opleiding gehanteerde w erkvormen

0,53

0,73

0,92

De mogelijkheid die je opleiding je biedt om zelf de inhoud te bepalen

0,38

0,62

0,92

De inhoudelijke kw aliteit van het studiemateriaal

0,52

0,72

0,92

De aansluiting bij je w erkervaring (nieuw vanaf 2013)

0,64

0,80

0,92

De mate w aarin je het geleerde kunt toepassen in je baan (nieuw vanaf 2013)

0,61

0,78

0,92

% verklaarde variantie

52,6

Cronbach's Alpha

0,92

Algemene vaardigheden (themascore)



Het aanleren van een kritische houding

0,58

0,76

0,84

Probleemoplossend vermogen

0,65

0,81

0,83

Het onderbouw en van conclusies

0,67

0,82

0,82

Communicatieve vaardigheden (bijv. mondelinge presentaties, gespreksvoering)

0,52

0,72

0,84

Samenw erken met anderen

0,45

0,67

0,85

Argumenteren/redeneren

0,66

0,81

0,82


58,8

Cronbach's Alpha

0,86

Wetenschappelijke Vaardigheden WO (themascore)



Analytisch denken

0,49

0,70

0,86

Het kritisch beoordelen van w etenschappelijk w erk

0,65

0,81

0,83

Het schrijven van w etenschappelijke artikelen

0,67

0,82

0,83

Methoden en technieken van onderzoek Het doen van onderzoek (w as WetenschappelijkeVaardighedenWo_06 tot 2012, gew ijzigde vraagstelling in 2013)

0,73

0,85

0,82

0,70

0,84

0,82


64,7

Cronbach's Alpha

0,86

Wetenschappelijke Vaardigheden HBO (themascore)



Analytisch denken

0,63

0,80

0,87

Het kritisch beoordelen van praktijkgericht onderzoek

0,77

0,88

0,82

Het schriftelijk rapporteren over praktijkgericht onderzoek

0,75

0,86

0,83

Methoden en technieken van praktijkgericht onderzoek

0,75

0,86

0,83


72,5

Cronbach's Alpha

0,87


31

Tabel 6.1: Principale Componenten- en betrouwbaarheidsanalyses (vervolg) Voorbereiding Beroepsloopbaan (themascore)



Het opdoen van vaardigheden voor de beroepspraktijk

0,81

0,90

0,78

De praktijkgerichtheid van je opleiding

0,83

0,91

0,77

Het contact met de beroepspraktijk (bijv. stages, gastsprekers)

0,71

0,84

0,87


78,4

Cronbach's Alpha

0,86

Docenten (themascore)



De inhoudelijke deskundigheid van docenten

0,60

0,77

0,90

De didactische kw aliteit van docenten

0,62

0,79

0,90

De bereikbaarheid van docenten buiten contacturen

0,53

0,73

0,91

De betrokkenheid van de docenten bij de studenten

0,68

0,82

0,90

De kw aliteit van de begeleiding door docenten

0,73

0,86

0,89

De kw aliteit van feedback van docenten

0,63

0,80

0,90

De mate w aarin docenten inspirerend zijn

0,67

0,82

0,90

De kennis van de docenten over de beroepspraktijk

0,50

0,71

0,91


61,9

Cronbach's Alpha

0,91

Studiebegeleiding (themascore)



De mogelijkheid tot begeleiding

0,84

0,92

0,84

De kw aliteit van de begeleiding De mate w aarin jouw opleiding initiatief neemt in ondersteuning of begeleiding (nieuw vanaf 2013)

0,85

0,92

0,83

0,79

0,89

0,88


82,8

Cronbach's Alpha

0,89

ToetsingBeoordeling (themascore)



De duidelijkheid van criteria w aarop beoordeeld w ordt

0,63

0,80

0,87

De aansluiting van toetsing en beoordeling bij de inhoud van de opleiding

0,78

0,88

0,81

De kw aliteit van de toetsing op kennis en inzicht (nieuw vanaf 2013)

0,77

0,88

0,82

De kw aliteit van de toetsing op vaardigheden (nieuw vanaf 2013)

0,72

0,85

0,84


72,5

Cronbach's Alpha

0,87

Informatievoorziening (themascore)



De informatie over jouw studievoortgang

0,65

0,81

0,72

De informatie over regels en procedures

0,72

0,85

0,69

De informatie over de opzet van de opleiding (nieuw vanaf 2013) Het tijdig bekend maken van resultaten van toetsen en beoordelingen (w as voorheen ToetsingBeoordeling_03)

0,65

0,80

0,72

0,46

0,68

0,80


61,8

Cronbach's Alpha

0,79


32

Tabel 6.1: Principale Componenten- en betrouwbaarheidsanalyses (vervolg) Studierooster (themascore)



Het tijdig bekendmaken van de studieroosters

0,85

0,92

n.v.t.

Het tijdig bekendmaken van w ijzigingen in het studierooster

0,85

0,92

n.v.t.


84,6

Cronbach's Alpha

0,82

Studielast (themascore)



De spreiding van de studielast over het studiejaar

0,66

0,81

0,76

De haalbaarheid van deadlines De mate w aarin de studiepunten (EC) overeenkomen met de daadw erkelijke studielast (w as Studielast_03 tot 2012, gew ijzigde vraagstelling vanaf 2013) De mogelijkheid om zonder vertraging de gew enste studie-onderdelen te volgen (nieuw vanaf 2013)

0,70

0,84

0,74

0,59

0,77

0,78

0,62

0,79

0,77


64,2

Cronbach's Alpha

0,81

Groepsgrootte (themascore)



De groepsgrootte bij w erkgroepen (nieuw vanaf 2013)

0,69

0,83

0,81

De groepsgrootte bij hoorcolleges (nieuw vanaf 2013) De verhouding kleinschalig versus grootschalig onderw ijs in mijn opleiding (nieuw vanaf 2013)

0,74

0,86

0,76

0,79

0,89

0,70


74,0

Cronbach's Alpha

0,82

Stage En Opleiding (themascore)



De kw aliteit van de stagebegeleiding vanuit de opleiding (w as VoorbereidingBeroepsloopbaan_04 tot 2012)

0,81

0,90

n.v.t.

De voorbereiding op de stage door de opleiding (nieuw vanaf 2013)

0,81

0,90

n.v.t.


81,4

Cronbach's Alpha

0,77

Stage Ervaring (themascore) De begeleiding op je stageplek door het bedrijf of de instelling w aar je stage loopt (nieuw vanaf 2013)



0,67

0,82

0,73

Wat je tijdens je stage hebt geleerd (nieuw vanaf 2013) De aansluiting van de stages bij het overige onderw ijs (w as VoorbereidingBeroepsloopbaan_05 tot 2012)

0,77

0,88

0,61

0,64

0,80

0,75


69,3

Cronbach's Alpha

0,77


33

Tabel 6.1: Principale Componenten- en betrouwbaarheidsanalyses (vervolg) Studiefaciliteiten (themascore)



De geschiktheid van de onderw ijsruimten De geschiktheid van w erkplekken (bv. computers, studieruimten van voldoende kw aliteit)

0,59

0,77

0,88

0,74

0,86

0,86

De beschikbaarheid van w erkplekken (bv. voldoende w erkplekken)

0,65

0,81

0,88

De bibliotheek/mediatheek

0,61

0,78

0,88

De ICT-faciliteiten

0,72

0,85

0,87

De digitale leeromgeving

0,58

0,76

0,88


65,0

Cronbach's Alpha

0,89

Kw aliteitszorg (themascore, w as Betrokkenheid tot 2012) Onderw ijsevaluaties die onder studenten plaatsvinden (w as Betrokkenheid_01 tot 2012) Informatie over de uitkomsten van onderw ijsevaluaties (w as Betrokkenheid_02 tot 2012) De w ijze w aarop je opleiding gebruik maakt van de uitkomsten van onderw ijsevaluaties (w as Betrokkenheid_03 tot 2012) De manier w aarop je opleiding op klachten en problemen reageert (w as Betrokkenheid _04 tot 2012)


0,63

0,80

0,87

0,73

0,86

0,84

0,83

0,91

0,81

0,70

0,84

0,85


72,5

Cronbach's Alpha

0,88

Studieomgeving (themascore)




De bereikbaarheid van je instelling (openbaar vervoer e.d.)

0,41

0,64

0,70

De restauratieve voorzieningen op je instelling De sportvoorzieningen vanuit je instelling (w as Studieomgeving_03 tot 2012, gew ijzigde vraagstelling vanaf 2013)

0,38

0,61

0,70

0,33

0,57

0,74

De horecavoorzieningen in je studiestad (kroegen, eetcafés, restaurants e.d.)

0,70

0,84

0,64

Het cultureel aanbod van je studiestad (bioscopen, theaters, evenementen e.d.)

0,68

0,82

0,65


49,9

Cronbach's Alpha

0,73

Huisvesting (themascore)



De beschikbaarheid van w oonruimte in je studiestad

0,91

0,95

n.v.t.

De betaalbaarheid van w oonruimte in je studiestad

0,91

0,95

n.v.t.


90,6

Cronbach's Alpha

0,90

6.3 Weging Om te corrigeren voor de responsverschillen tussen opleidingen en instellingen, is de netto respons gewogen op het niveau van BRIN*CROHO*Locatie. Hiertoe is eerst de respons bepaald per mogelijke combinatie. De weegfactor is vastgesteld door de proportie in de populatie te delen door de proportie in de respons. Vervolgens is de “range” van de resulterende weegfactoren onderzocht om vast te stellen in hoeverre sprake was van extreme weegfactoren. Er was geen sprake van extreme waarden aan het “lage uiteinde” van het spectrum: de laagste waarde bedroeg 0,39. De weegfactoren boven een waarde van 4 zijn op 4,0 gefixeerd. In 2012 is er gefixeerd op een waarde van 4,5, maar ___________________________________________ Onderzoeksverantwoording Nationale Studenten Enquête 2013

34

het aangescherpte criterium is legitiem door het feit dat er minder extreme gewichten waren. De fixatie op 4,0 in plaats van 4,5 maakte niets uit voor de berekening van de themascores. De fixatie op 4,0 betekende - net als in 2012 - een fixatie voor in totaal 26 (van de in totaal 3.043) cellen, corresponderend met 50 respondenten. Een cel was in dit geval een BRIN*CROHO*Locatie combinatie. Dertien cellen hadden een weegfactor tussen de 4 en 6; in acht cellen lag de weegfactor tussen 6 en 10 en in vijf gevallen had de weegfactor een waarde van meer dan 10. Tot slot is de weegfactor ‘herschaald’ (door de weegfactor te delen door het gemiddelde gewicht), zodat het gemiddelde gewicht wederom uitkwam op een waarde van 1 en aldus voor de totale groep de ongewogen aantallen gelijk waren aan de gewogen aantallen. Het strengere criterium (fixatie op 4,0) is overigens niet met terugwerkende kracht opgelegd aan eerdere meetjaren, gezien de grote impact die dit communicatief met zich mee zou brengen en de zeer beperkte inhoudelijke toegevoegde waarde. 6.4 Synchronisatie met voorgaande metingen Om de trendbestanden op te stellen, was een synchronisatie van de organisatorische mutaties op basis van het CROHO-register nodig. Dit gebeurde als volgt:  update voor mutaties tussen aanlevering en afsluiting veldwerk NSE 2013;  update voor mutaties die ten opzichte van voorgaande jaren hadden plaatsgevonden. De mutaties konden betrekking hebben op BRIN, CROHO en Locatie. Om dit te inventariseren zijn het meerjarige Benchmarkbestand, de door instellingen aangeleverde studentgegevens (NSE 2013) en het op dat moment meest actuele CROHO-register (van 22-03-2013) naast elkaar gelegd. De verschillen hiertussen zijn beoordeeld door GfK en vervolgens is aan contactpersonen van deelnemende instellingen teruggekoppeld welke zaken er naar de mening van GfK gesynchroniseerd zouden moeten worden. Deze dubbelcheck is gedaan, omdat GfK geen eerdere ervaring had met deze synchronisatieslag. Het aantal te synchroniseren zaken was beperkt (ongeveer 100 opleidingen waarbij bedacht moet worden dat sommige opleidingen door meerdere instellingen gegeven werden). De fusie van twee instellingen (Stoas Hogeschool en Christelijke Agrarisch Hogeschool) tot één nieuwe instelling, te weten Vilentum Hogeschool is ook verwerkt in de databestanden. In de door GfK uitgeleverde bestanden (als belangrijkste het meerjarige Benchmarkbestand) is in de variabelen BrinActueel, BrinNaamActueel, CrohoActueel en CrohoNaamActueel de meest up-to-date naam en codering van instelling en opleiding terug te vinden. De benaming en codering als oorspronkelijk aangeleverd door de instelling zijn nog altijd terug te vinden in de variabelen Brin, BrinNaam, Croho en CrohoNaam. 6.5 Aanmaak resultaatbestanden Op basis van bestanden uit eerdere jaren en het bestand voor de NSE 2013 is door GfK een meerjarig moederbestand gemaakt. Dit moederbestand is gebruikt als basis voor de bestanden voor de NSE 2013.


35

7.

Opgeleverde producten

7.1 Bestanden Na afloop van het veldwerk is er een aantal bestanden geproduceerd. Het betrof databestanden:  voor de deelnemende instellingen;  voor overige verwerking van de NSE-resultaten door Studiekeuze123 zelf en door anderen. Daarnaast is er een Factsheet gemaakt voor het CvB/de directie van elke deelnemende instelling. De NSE oordelen zijn geïntegreerd in de Studiekeuzedatabase van Studiekeuze123 voor publicatie op de website www.studiekeuze123.nl. De oplevering van bestanden vond plaats in de beveiligde GfK Drive omgeving. Met inloggegevens kon men daar de door GfK voor de gebruiker klaargezette bestanden downloaden. Hieronder volgt een algemene beschrijving van alle in het kader van de NSE 2013 uitgeleverde bestanden. Detailinformatie is beschikbaar in de NSE productencatalogus. 7.1.1 Bestanden voor deelnemende instellingen Codeboek De wijzigingen in het Benchmarkbestand zijn gedocumenteerd in een Codeboek, dat in 2013 voor het eerst is uitgebracht. Het Codeboek is een beschrijving van de structuur van het openbaar Benchmarkbestand. Het geeft de semantiek van de variabelen in het SPSS bestand. Het bevat ook een gedetailleerde beschrijving van hoe de wijzigingen in de vragenlijst zijn doorgevoerd in het Benchmarkbestand. Studiekeuze123 heeft ervoor gekozen om de wijzigingen in de vragenlijst met terugwerkende kracht door te voeren in het Benchmarkbestand. Het bestand blijft hiermee actueel, in de zin dat de laatste versie van de vragenlijst leidend is. Zo zijn bijvoorbeeld vragen die verwijderd zijn in 2013 ook verwijderd in 2010-2012. In het Codeboek en in het SPSS-bestand zijn in de beschrijving van de variabelen aantekeningen gemaakt over wijzigingen, zodat een verwerker die niet het Codeboek bij de hand heeft, toch een indicatie heeft van de wijzigingen. Zie Figuur 7.1 en 7.2. Figuur 7.1: Documentatie SPSS-bestand

Figuur 7.2: Documentatie SPSS-bestand


36

Benchmarkbestand (2010-2013) Dit bestand bevat voor alle deelnemende instellingen alle antwoorden sinds 2010 op de standaard NSE vragenlijst. Het bestand is geanonimiseerd. Bovendien zijn door middel van verrijking gegevens uit externe bronnen (als het CROHO-register) en gegevens uit de door instellingen aangeleverde informatie over studenten toegevoegd (zie ook Hoofdstuk 3). Het bestand bevat geen instellings-specifieke vragen of informatie (labels) en ook geen privacygevoelige gegevens. Het Benchmarkbestand is te openen en te bewerken in het softwarepakket SPSS (Statistical Package for the Social Sciences) van IBM. Dit bestand is een openbaar bestand, in die zin dat het ook opvraagbaar is door externe partijen bij Studiekeuze123. Het Benchmarkbestand voor de NSE 2013 heette ‘nse_definitief_benchmarkbestand_20122013.sav’ en had een digitale handtekening (MD5): 5acb932274638389494c6d0cda5f5d51. Met een digitale handtekening kan de authenticiteit van het bestand vastgesteld worden. Het bestand bevatte de volgende variabelen: random volgnummer, jaar, weegfactor, actuele instellingscode, actuele instellingsnaam, oorspronkelijke instellingscode, oorspronkelijke instellingsnaam, actuele opleidingscode, actuele opleidingsnaam, oorspronkelijke opleidingscode, oorspronkelijke opleidingsnaam, locatie volgens CROHO, sector, sectornaam, soort hoger onderwijs, type hoger onderwijs, gemeentecode, stedelijkheid, landsdeel, numerus fixus, decentrale selectie, bekostiging, opleidingsvorm (vt/dt/du), opleidingsvorm (vt/dt), alle tevredenheidsoordelen, contacttijd, huur, woonsituatie en de antwoorden op de ultimate question. De antwoorden op de vragen over handicap &studie, internationale studenten en Engels taalaanbod waren niet opgenomen. Instellingsbestand Het Instellingsbestand is een extract uit het Benchmarkbestand met de antwoorden van alle deelnemende studenten van de specifieke instelling. Het werd geleverd in SPSS formaat en, op verzoek, in Microsoft Office Excel formaat. Bovendien bevatte het Instellingsbestand de instellings-specifieke vragen (indien gesteld), de informatie die door de instelling zelf was aangeleverd in labels, de achtergrondkenmerken (leeftijd, geslacht en studiejaar en indien van toepassing de optionele achtergrondkenmerken vooropleiding en etniciteit) en de antwoorden op handicap & studie, internationale studenten en Engels taalaanbod. Sleutelbestand Het Sleutelbestand legt de relatie tussen het ID als gebruikt in de NSE en het StudentID als aangeleverd door de instelling. Dit Sleutelbestand stelde instellingen in staat om de NSEresultaten te koppelen aan andere gegevens die in hun studentenregistratie beschikbaar waren (denk bijvoorbeeld aan studievoortgang). Het bestand werd geleverd in SPSS formaat. Open vraag bestand Dit bestand bevatte voor iedere instelling antwoorden van alleen de eigen studenten op de volgende open vraag, die als afsluiting werd gesteld van de NSE vragenlijst: Heb je nog wensen of ideeën voor de verbetering van je opleiding of heb je verder nog opmerkingen? De door jou geplaatste opmerkingen worden doorgegeven aan jouw instelling. Zij gebruiken deze informatie voor het verbeteren van het onderwijs. De open antwoorden op bovengenoemde vraag waren achteraf niet bewerkt en werden dus in ruwe vorm uitgeleverd aan de instellingen. Het bestand werd geleverd in Excel formaat.


37

7.1.2 Overige verwerking Populatiebestand Het Populatiebestand is een bestand waarin de populatie (bruto N) en de respons (netto n) is opgenomen. Op basis van dit bestand zijn voor alle combinaties van achtergrondkenmerken, de N en n beschikbaar gemaakt. Dit bestand werd gebruikt bij de beslisregels voor het tonen van NSE resultaten op www.studiekeuze123.nl en voor Studie in Cijfers. Tevens werd (een aggregatie van) dit bestand gebruikt voor de Studiekeuzedatabase. De beslisregels kunt u vinden op www.studiekeuzeinformatie.nl. NSE Online-bestand Het NSE Online-bestand is gebruikt voor opname van de NSE data in de NSE Online applicatie. Dit bestand is in feite een samenvoeging van het Benchmarkbestand en alle instellingsspecifieke zaken uit het Instellingsbestand. Benchmarkbestand Plus Het Benchmarkbestand Plus is een versie van het reguliere Benchmarkbestand aangevuld met de achtergrondkenmerken leeftijd, geslacht en studiejaar plus alle antwoorden van het blok Handicap & Studie (vraag 33-40). Dit bestand is gebruikt voor verwerking door Studiekeuze123 voor Studie in Cijfers (www.studiekeuzeinformatie.nl/studieincijfers) en de Studiekeuzedatabase (zie paragraaf 7.3). 7.2 Factsheets Voor alle deelnemende instellingen is bij de definitieve oplevering van de databestanden een Factsheet gemaakt. De Factsheet bevatte per instelling een overzicht van de gemiddelde themascores en gemiddelde scores op losse items van de eigen instelling, waarbij met kleur in het blok met de vraagtekst aangegeven werd wat de gemiddelde score van de instelling was: score lager dan 3 (rood), tussen 3 en 3,5 (blauw) of hoger dan 3,5 (groen). In het blok met de scores werd steeds aangegeven of de instellingsscore significant lager, gelijk aan of hoger was dan het landelijk gemiddelde. Tevens was aangegeven of de instellingsscore significant hoger of lager was dan de vorige meting. De Factsheets zijn op schrift verstuurd naar de CvB dan wel directie van deelnemende instellingen en via de downloadomgeving digitaal beschikbaar gesteld aan de contactpersonen NSE van de instellingen.


38

Figuur 7.3: Voorbeeld (selectie uit) Factsheet

7.3 Verwerking studentenoordelen in Studiekeuzedatabase De Studiekeuzedatabase van Studiekeuze123 bevat feiten en kwaliteitsoordelen over alle geaccrediteerde hbo- en wo-opleidingen. De database is te openen en bewerken in Microsoft Office Access. Het bevat onder andere arbeidsmarktcijfers, accreditatiegegevens, toelatingseisen en instroomaantallen. Ook de studentenoordelen uit de NSE worden erin verwerkt. De Studiekeuzedatabase is gericht op studiekiezers, dit betekent dat alleen opleidingen waarvoor studenten zich nog kunnen aanmelden worden opgenomen. De verwerking van de NSE 2013 in de Studiekeuzedatabase van juni 2013 (DB13.2.2.1) leidde ertoe dat er voor 1.486 bacheloropleidingen, 625 masteropleidingen, 712 deeltijdopleidingen en 95 duaal opleidingen gegevens beschikbaar waren. Van 9 bacheloropleidingen, 1 masteropleidingen en 2 deeltijdopleiding zijn de resultaten van 2012 opgenomen in de Studiekeuzedatabase, omdat er geen oor___________________________________________ Onderzoeksverantwoording Nationale Studenten Enquête 2013

39

delen over 2013 bekend waren. Dit betekende dat er in die versie van de database studentoordelen beschikbaar waren voor 94% van de bacheloropleidingen, 75% van de masteropleidingen, 68% van de deeltijdopleidingen en 62% van de duale opleidingen die in collegejaar 2012-2013 werden aangeboden in Nederland. Tabel 7.1 toont het aantal opleidingen dat is opgenomen in de Studiekeuzedatabase. De verwerking van de resultaten van de NSE kende een aantal stappen die in de onderstaande paragrafen worden toegelicht. 7.3.1 Cleaning ten behoeve van koppeling met de Studiekeuzedatabase De Studiekeuzedatabase bevat alleen opleidingen waarbij nieuwe instroom van studenten mogelijk is. In de NSE zijn ook studenten ondervraagd van opleidingen die nog actueel zijn, maar waar geen nieuwe instroom mogelijk was. De resultaten van deze opleidingen zijn niet opgenomen in de Studiekeuzedatabase, omdat deze opleidingen niet meer voorkomen in de Studiekeuzedatabase. Het betrof 86 van de 2.714 opleidingen. Om te kunnen koppelen met de Studiekeuzedatabase zijn de historische opleidingsgegevens van 138 opleidingen omgezet naar de actuele situatie (voorjaar 2013). Het betrof hierbij gewijzigde instellingen, opleidingen en locaties. Zo zijn bij één particuliere instelling alle locaties samengevoegd tot één locatie ‘Diverse locaties’, omdat de Studiekeuzedatabase deze samenvoeging ook hanteerde. Voor 9 opleidingen is de locatie omgezet van de gemeentenaam naar de naam van de vestigingsplaats om de opleiding te kunnen koppelen met de Studiekeuzedatabase. 7.3.2 Opnamecriteria De gemiddelde oordelen van opleidingen werden alleen opgenomen in de Studiekeuzedatabase wanneer voldoende studenten van de betreffende opleiding hadden deelgenomen aan de NSE. Om de privacy van respondenten van kleine opleidingen te waarborgen lag de grens bij een minimale respons van vijf respondenten per opleiding. Dit houdt in dat minstens 5 studenten de vragenlijst minimaal tot en met de algemene oordeelvraag moesten hebben ingevuld (criterium benchmarkbestand). Dit jaar is voor het eerst een betrouwbaarheidscriterium gebruikt. Daarbij is gekeken naar de 95%-betrouwbaarheidsmarge van het oordeel. Deze mocht niet meer dan .5 bedragen, hetgeen inhoudt dat bij een gemiddelde populatiescore die .5 hoger of .5 lager ligt de kans op de steekproefuitkomst minder dan 5% is. Overigens is bij de berekening van de marge een eindigheidscorrectie toegepast. Dit houdt in dat er rekening is gehouden met een eindige populatie. Bij de berekening van een betrouwbaarheidsmarges werd onder andere rekening gehouden met het aantal oordelen. Hoe groter het aantal oordelen, des te kleiner de marge. Zie voor meer informatie de uitleg op www.studiekeuzeinformatie.nl. 7.3.3 Controleren van respons per vraag Niet alle respondenten hadden alle vragen ingevuld (‘missing values’ of ‘niet van toepassing’). Wanneer een bepaalde vraag door minder dan vijf respondenten was beantwoord, is de gemiddelde score niet opgenomen in de Studiekeuzedatabase, omdat de betrouwbaarheid hiervan te laag was. 7.3.4 Samenvoegen van opleidingen bij onvoldoende respons Van de 1.619 voltijd bacheloropleidingen hadden 134 (120 + 14) opleidingen geen studentenoordelen in de Studiekeuzedatabase vanwege een te lage respons. Voor 14 opleidingen zijn de oordelen van verschillende locaties (minimaal 5 respondenten) of van verwante opleidingen ___________________________________________ Onderzoeksverantwoording Nationale Studenten Enquête 2013

40

(met name lerarenopleidingen) samengevoegd om te komen tot een voldoende grote steekproef of een kleinere marge (op opleidingsniveau). Wanneer een opleiding is samengevoegd met een andere opleiding is dit vermeld in het veld ‘Noot’ in de Studiekeuzedatabase. Van de 835 voltijd masteropleidingen hadden 232 (210 + 22) opleidingen een te lage respons. Van 22 opleidingen zijn de oordelen van verschillende locaties of van verwante opleidingen (met name lerarenopleidingen) samengevoegd, zodat de opleidingen samen voldoende respons (minimaal 5 respondenten), of een kleinere marge hebben. Bij één opleiding (Tandheelkunde) zijn de oordelen van de opleiding van twee instellingen samengevoegd, omdat de opleiding in samenwerking werd aangeboden. Ook bij de masteroordelen is in het veld ‘Noot’ in de Studiekeuzedatabase aangegeven wanneer een opleiding is samengevoegd met een andere opleiding. Van de 1.048 deeltijd opleidingen (bachelor en master) hebben 339 (336 + 3) opleidingen geen studentenoordelen in de Studiekeuzedatabase vanwege een te lage respons. Van 3 opleidingen zijn de oordelen van verschillende locaties of van verwante opleidingen (met name lerarenopleidingen) samengevoegd, zodat de opleidingen samen voldoende respons (minimaal 5 respondenten) of een kleinere marge hadden. Net als bij de bachelor en masteropleidingen is informatie over samengevoegde opleidingen terug te vinden in het veld ‘Noot’ in de Studiekeuzedatabase. Zie tevens Tabel 7.1. In 2013 zijn voor het eerst de studentenoordelen voor duale opleidingen (bachelor en master) opgenomen. Van de 188 duale opleidingen hebben 116 een oordeel gekregen (62%). Voor 72 opleidingen was de respons onvoldoende of de marge te ruim. Van 21 opleidingen zijn opleidingsoordelen samengenomen met aanverwante opleidingen (7 setjes van opleidingen) om tot voldoende respons te komen. Het betrof hier met name lerarenopleidingen. Ook hier is de basis waarop opleidingen zijn samengevoegd terug te vinden onder het veld ‘Noot’ in de Studiekeuzedatabase. Als een instelling niet meedeed in 2013 maar wel in 2012, zijn de oordelen uit 2012 gebruikt. Oordelen van vóór 2012 werden niet gebruikt. Tabel 7.1: Opname studentenoordelen in Studiekeuzedatabase Opname in database Opleidingen in database Oordelen 2013 Oordelen 2012 Opleidingen zonder oordelen Percentage met oordelen % Gebruik van oordelen op opleidingsniveau Opname opleiding Samenvoeging Onvoldoende respons

Bachelor

Master

1.619 1.477 9 120 94% Bachelor

Deeltijd 835 624 1 210 75%

Master

Duaal

1.048 710 2 336 68%

Deeltijd

188 116 0 72 62% Duaal

1.486 14 -

625 22 -

712 3 -

95 21 -

Marge te groot

54

52

151

16

Beide (onvoldoende respons / te grote marge)

66

158

185

120

210

336

Totaal niet opgenomen

56 72


41

7.3.5 Aggregeren: het berekenen van de scores per opleiding Per opleiding zijn de gemiddelde oordelen per vraag berekend. Om te corrigeren voor responsafwijkingen betrof het gewogen gemiddelden. Hierbij is gebruik gemaakt van de weegfactor uit het Benchmarkbestand. Naast een gewogen gemiddelde is per opleiding het aantal respondenten, de standaarddeviatie en de betrouwbaarheidsmarge per vraag weergegeven. Bij de berekening van de betrouwbaarheidsmarge is rekening gehouden met de eindigheidscorrectie (om te corrigeren voor benadering populatie van respons). In Tabel 7.2 staan de verschillende aggregatieniveaus weergegeven, zoals al hierboven is beschreven. Tevens zijn aggregaties op het niveau van studies, steden en vestigingen opgenomen. In de Studiekeuzedatabase zijn ook oordelen opgenomen die specifiek aan studenten met een handicap zijn voorgelegd. Op basis van deze oordelen is een tabel berekend per instellingslocatie. Bij de berekening van deze tabel zijn dezelfde beslisregels gebruikt als bij de andere tabellen. Tabel 7.2: Tabellen in Studiekeuzedatabase Tabel in Studiekeuzedatabase

Opmerking

Ba voltijd Ma voltijd Ba en Ma deeltijd Ba en Ma duaal Studies Steden Vestigingen Handicapoordelen per vestiging

Alle voltijd bachelor opleidingen Alle voltijd master opleidingen Alle deeltijdopleidingen (Ba & Ma) Alle duale opleidingen (Ba & Ma) Oordelen per studie (aggregatieniveau in SKDB) Oordelen per studiestad Oordelen per instellingslocatie Handicapoordelen per instellingslocatie


42

8.

Analyse wisseling uitvoerder

Sinds 2009 is Studiekeuze123 verantwoordelijk voor de uitvoering van de NSE. ResearchNed is de partij die de NSE 2009, 2010, 2011 en 2012 op succesvolle wijze heeft uitgevoerd. Het contract liep vervolgens af waarna met een Europese aanbesteding een nieuwe partij, GfK, is geselecteerd. Als een nieuwe uitvoerder aantreedt, is het belangrijk te monitoren dat dit geen effect geeft in de resultaten van de enquête. Belangrijk onderdeel van de NSE uitvoering is het proces om te komen van de ruwe data naar de resultaatbestanden. Aan Gfk is verzocht om deze exercitie voor alle tevredenheidsitems te herhalen op de data van 2012 en te rapporteren. Hieruit kwamen dezelfde resultaten. De werkwijze is getoetst en akkoord bevonden door Bureau Sixtat. Hierover is gerapporteerd aan het Deskundigenpanel.


43

9.

Valorisatie

Naast de uitvoering van het onderzoek besteedde Studiekeuze123 aandacht aan het bevorderen van het gebruik van de NSE-gegevens binnen de instellingen. Special Interest Group NSE De deelnemende instellingen vormen samen een Special Interest Group (SIG) NSE. Deze SIG organiseert activiteiten gericht op kennisdeling en vergroten van het gebruik van de NSEresultaten binnen instellingen. Dit jaar zijn er drie bijeenkomsten geweest. Zie ook paragraaf 4.5. EAIR congres Op 28 – 31 augustus 2013 vond de 35e editie van het jaarlijkse congres van EAIR plaats. EAIR staat voor the European Association for Institutional Research. Dit is een Europese samenwerkingsorganisatie gericht op institutional research in het hoger onderwijs in een internationale context. Studiekeuze123 heeft hier twee papers over de NSE gepresenteerd:  ’The Organization and practical use of the National Student Survey (NSE) in the Netherlands’. Dit paper was een samenwerking tussen Studiekeuze123 en Avans Hogeschool en werd gepresenteerd door Sijtsma van Studiekeuze123 en Nelissen van Avans Hogeschool;  ‘Response, reliability, and validity of the Dutch National Student Survey’. Dit paper is gepresenteerd door Brenders van Studiekeuze123. De papers zijn eerst gereviewed voor zij werden geaccepteerd door EAIR. De papers staan gepubliceerd op www.studiekeuzeinformatie.nl. Onderzoeksdag Op 28 juni 2013 kwam een selecte groep genodigden uit de wetenschap, praktijk van het onderwijs, politiek, dienstverlening en onderzoekers van drie universiteiten en een hogeschool bij elkaar. Doel van de bijeenkomst was om onderzoekers bij elkaar te brengen voor kennisuitwisseling en te kijken naar mogelijke samenwerkingsverbanden of kruisbestuivingen. Hoewel iedereen overtuigd is van het belang van de juiste student op de juiste plek, is nog weinig bekend over hoe die beslissing genomen wordt en welke factoren een doorslaggevende rol spelen. Naast het keuzeproces blijft de vraag over studiesucces en -uitval van maatschappelijk belang. Nog steeds vallen te veel studenten voortijdig uit met alle gevolgen van dien. Onderzoek naar bepalende factoren die van invloed zijn op studiesucces en -uitval is daarbij onmisbaar. Er zijn gedurende deze Onderzoeksdag drie onderzoeken gepresenteerd die gebruik maken van de NSE-resultaten: een onderzoek naar studierendement en studenttevredenheid, een onderzoek naar de invloed op de invoering van een bindend studieadvies op studie-uitval, en een onderzoek naar de verbanden tussen studiesucces en studenttevredenheid bij een aantal opleidingen. Uit de discussies bleek dat de gedachtenuitwisseling van die dag werd gewaardeerd. Er bleek ook een duidelijke behoefte aan meer gedetailleerde informatie, zoals het kunnen volgen van studielooppaden. Het belang van eenduidige definities werd nog eens benadrukt. Ook voor Studiekeuze123 was het erg nuttig de behoeften van de onderzoeker met betrekking tot de databestanden en onderlinge kennisdeling te peilen. ___________________________________________ Onderzoeksverantwoording Nationale Studenten Enquête 2013

44

Presentatie Tilburg University Tilburg University had op 26 juni 2013 een openbare bijeenkomst georganiseerd om de resultaten van de NSE te bespreken. Brenders en Sijtsma van Studiekeuze123 hebben daar presentaties gegeven over respectievelijk data-kwaliteit en praktische tips voor succesvolle toepassing van de NSE-resultaten binnen de instelling.


45

Nawoord De NSE in de huidige vorm, dat wil zeggen met een jaarlijks terugkerende vragenlijst, bestaat sinds 2010. In het Benchmarkbestand van 2013 komen ruim 900.000 cases voor, dat is een zeer rijke bron voor analyses. Deze gegevens worden door toekomstige studiekiezers, studieswitchers en internationale studenten gebruikt als basis voor een meer doordachte studiekeuze. Hierbij wordt een stevige basis gelegd voor verhoging van het studierendement in het hoger onderwijs, het draagt bij aan het aantal hoger opgeleiden en het komt tegemoet aan de eisen die de toekomstige arbeidsmarkt stelt. Studiekeuze123 merkt in contacten met de instellingen dat de resultaten van de NSE steeds meer gebruikt worden bij de instellingen. Naast het gebruik voor studiekeuze-advies is het voor instellingen een belangrijk instrument voor kwaliteitszorg. Ook buiten de instellingen wordt de NSE in toenemende mate gebruikt, bijvoorbeeld voor beleidsanalyses. Het grote voordeel van de NSE voor studiekiezers is dat de NSE de mening weergeeft van studenten die op dit moment een studie volgen. Het gaat dus om actuele gegevens. Bij instellingen gaat het inmiddels meer om de vraag hoe ze de resultaten van de NSE maximaal kunnen inzetten binnen de eigen instelling. Kortom, een antwoord geven op de vraag: wat heeft nu voor onze instelling prioriteit, op basis van de resultaten uit de NSE? Dat is voor veel instellingen een lastig vraag. De resultaten van de NSE geven een eerste algemene indruk en moeten veelal aangevuld worden met eigen onderzoek en bestanden om een meer precies antwoord te krijgen op deze vraag. In de afgelopen twee jaren zijn er veel instellingen geweest die bij een bijeenkomst van de SIG NSE hebben laten zien hoe zij dit vraagstuk aanpakken. Dat leverde een overzicht op van een rijke verscheidenheid aan producten, variërend van geavanceerde datawarehouses tot Excel sheets. Het is inspirerend om te zien met welke inzet en welk enthousiasme mensen dit doen binnen de instellingen. Opvallend is ook de bereidheid om de kennis te delen met andere instellingen. Om echt succesvol te zijn is het van belang dat er naast inzicht op basis van analyse ook een kwaliteitsbewustzijn op gang komt binnen een instelling. Een proces van het constant nadenken over hoe het beter kan en daar acties aan verbinden. Belangrijk hierbij is om niet de nadruk te leggen op wat er niet goed gaat, maar vooral op hoe het beter kan. Wij kunnen in deze veel van elkaar leren. Het vergroten van het gebruik van de NSE binnen de instellingen blijft wat Studiekeuze123 betreft, de komende jaren een belangrijk thema. Studiekeuze123 ziet hier voor zichzelf een faciliterende en verbindende rol. Een ander thema dat met ingang van 2014 op de agenda komt te staan is de respons. We willen meer inzicht krijgen in de vraag welke factoren nu van invloed zijn op de respons. Het gaat er daarbij niet om een zo hoog mogelijke respons te krijgen met de NSE, de respons van 2013 was met 39,5% de hoogste ooit, maar vooral een evenwichtige vulling van de respons. Vooral bij kleinere opleidingen en specifieke subgroepen (bijv. masterstudenten). De kracht van de NSE is dat het een onderzoek van en voor de instellingen is. Studiekeuze123 is degene die de kwaliteit van het onderzoek bewaakt en de uitvoering mogelijk maakt. Studiekeuze123 betrekt de instellingen intensief bij de verdere ontwikkeling van de NSE als instrument. In 2015 staat de evaluatie van de vragenlijst weer op de agenda. Uiterlijk in 2016 volgt een nieuwe aanbesteding. ___________________________________________ Onderzoeksverantwoording Nationale Studenten Enquête 2013

46

Bronvermelding Brenders, P. (2013). Analyse wijze en stimuleren van invullen Nationale Studenten Enquête 2012. Stichting Studiekeuze123. van Meurs, G., & van de Vijver, P. (2013). De NSE: van 10 naar 8 weken? Een verdiepende analyse naar de mogelijke consequenties. GfK. Studiekeuze123 (2012). Routeboek, Nationale Studenten Enquête 2013. Stichting Studiekeuze123.

Indien u meer informatie wenst over bovenstaande bronnen, neem dan contact op met Studiekeuze123 via het contactformulier op www.studiekeuzeinformatie.nl.


47

Tabellen- en Figurenoverzicht Figuren Figuur 2.1: Figuur 2.2: Figuur 3.1: Figuur 5.1: Figuur 5.2: Figuur 5.3: Figuur 5.4: Figuur 7.1: Figuur 7.2: Figuur 7.3: Tabellen Tabel 3.1: Tabel 3.2: Tabel 5.1: Tabel 5.2: Tabel 5.3: Tabel 5.4: Tabel 6.1: Tabel 7.1: Tabel 7.2:

GfK Atlas Technische omgeving GfK Drive Schermafbeelding startscherm vragenlijst NSE 2013 Bruto responsverloop cumulatief en per dag Niet volledig ingevulde vragenlijst (verval voor een aantal vragen) Responsoverzicht (% alle instellingen) Responsoverzicht (% vorm x opleiding, instellings-specifiek) Documentatie SPSS-bestand Documentatie SPSS-bestand Voorbeeld (selectie uit) Factsheet

Aantal deelnemende instellingen per NSE-jaar Aantal instellingen dat Sleutelbestand heeft ontvangen Respons Netto respons in 2010 tot en met 2013 Percentage ingevulde vragenlijst 2012 en 2013, uitgesplitst naar taal Non-responsanalyse Principale Componenten- en betrouwbaarheidsanalyses Opname studentenoordelen in Studiekeuzedatabase Tabellen in Studiekeuzedatabase


48

Bijlagen Bijlage 1: Overzicht deelnemende instellingen 2010-2013 Deelname 2013

Deelname 2012

Deelname 2011

Bekostigd

Deelname 2010

Soort HO HBO WO

nee nee nee nee nee ja ja nee

nee nee

HBO HBO HBO

nee nee nee nee nee nee ja nee ja nee

HBO HBO HBO

nee nee nee nee ja ja ja ja nee nee nee nee

nee nee ja ja nee ja nee

HBO

nee nee nee nee

HBO

ja

ja

ja

ja

nee ja ja

HBO HBO HBO HBO HBO HBO HBO HBO HBO HBO HBO WO HBO HBO HBO HBO

ja ja ja ja ja ja nee nee nee nee ja ja ja ja ja ja

ja ja ja nee ja ja nee nee nee nee ja ja ja nee ja ja

ja ja ja ja nee nee nee nee nee nee ja ja ja nee ja ja

ja ja ja nee ja ja nee nee nee nee ja ja ja nee ja ja

ja ja ja ja nee ja nee nee nee nee ja ja ja nee ja ja

BRIN Instelling 30DZ Academie Artemis 0DHW Academie voor Wetgeving Actuarieel Genootschap & Actuarieel Insti30FA tuut 29VN Amsterdam School of Real Estate 21QA Amsterdamse Hogeschool voor de Kunsten ACTA 27WV Avans Hogeschool B.V. 27NF ArtEZ 28DX BSN Nederland Centrum voor studie en documentatie voor 28BM Latijns Amerika Amsterdam University College 07GR Avans Hogeschool Christelijke Agrarische Hogeschool/ CAH 01MY Vilentum 25BA Christelijke Hogeschool Ede 01VU Windesheim 02NT Design Academy Eindhoven 14NI Codarts, Hogeschool voor de Kunsten 27UM De Haagse Hogeschool 27WC EuroCollege Hogeschool 28DT Europort Business School 29YE Federatie BelastingAcademie 28CC Fontys Aangewezen HBO Opleidingen 15BK Driestar educatief 21PE Erasmus Universiteit Rotterdam 30GB Fontys Hogescholen 02BY Gerrit Rietveld Academie 22HH Gereformeerde Hogeschool 27VY Gereformeerde Hogeschool II ___________________________________________ Onderzoeksverantwoording Nationale Studenten Enquête 2013

49

Bijlage 1: Overzicht deelnemende instellingen 2010-2013 (vervolg) Bekostigd

Deelname 2010

Deelname 2011

Deelname 2012

Deelname 2013

Instelling HBO Nederland HES Consultancy BV Hanzehogeschool Groningen Hogeschool Dirksen B.V. Hogeschool E3 HAS Den Bosch Hogeschool Gorinchem IDE bv Hogeschool der Kunsten Den Haag Hogeschool Edith Stein/ Onderwijscentrum 08YJ Twente 04CS Hogeschool Helicon 25BV Hogeschool ISBW B.V. 27PZ Hogeschool INHOLLAND Hogeschool Management Documentaire In27WJ formatievoorziening (HMDI) 29PZ Hogeschool NCOI 21UG Hogeschool IPABO Amsterdam Alkmaar 24FX Hogeschool Praehep 30HC Hogeschool ProgreSZ 21RI Hogeschool Leiden 24GE Hogeschool Notenboom 25AL Hogeschool Schumann Akademie BV 22OJ Hogeschool Rotterdam 24GP Hogeschool Schoevers 23NG Hogeschool TIO 25DW Hogeschool Utrecht Hogeschool voor Pedagogisch en Sociaal27WH Agogisch Onderwijs Groningen 28DN Hogeschool van Amsterdam 25KB Hogeschool van Arnhem en Nijmegen 30HD Hogeschool van Hall Larenstein 00MF Hogeschool voor de Kunsten Utrecht 25AY Wittenborg University of Applied Sciences

Soort HO

BRIN 24KX 28EA 25BE 25RR 29WJ 21CW 27WM 23KJ

HBO HBO HBO HBO HBO HBO HBO HBO

nee nee ja nee nee ja nee ja

ja nee ja nee nee ja ja ja

nee nee ja nee nee ja ja nee

nee nee ja nee nee ja nee ja

Nee nee ja nee nee ja nee nee

HBO HBO HBO HBO

ja ja nee ja

ja ja nee ja

ja ja nee ja

ja ja nee ja

ja ja nee ja

HBO HBO HBO HBO HBO HBO HBO HBO HBO HBO HBO HBO

nee nee ja nee nee ja nee nee ja nee nee ja

nee nee nee nee nee nee ja ja ja nee nee nee nee ja ja ja ja ja ja ja nee nee ja ja ja ja ja ja ja ja ja ja ja ja

nee nee ja nee nee ja ja nee ja ja ja ja

HBO HBO HBO HBO HBO HBO

nee ja ja ja ja nee

ja ja ja ja ja ja

ja ja ja ja ja ja

ja nee ja ja nee ja

ja ja ja ja ja ja


50

Bijlage 1: Overzicht deelnemende instellingen 2010-2013 (vervolg) Soort HO

Bekostigd

Deelname 2010

Deelname 2011

Deelname 2012

Deelname 2013

BRIN Instelling HZ University of Applied Sciences 21MI /Hogeschool Zeeland 25AJ INHOLLAND Select Studies 29UH Instituut Defensie Leergangen 27WR Instituut voor psychosynthese 27WK InterCollege Business School Internationale Hogeschool voor Fysiotherapie 24BU Thim van der Laan 25JX Zuyd Hogeschool 30GW Islamitische Universiteit Rotterdam 25AC ITV Hogeschool voor Tolken en Vertalen 02NR Hotelschool Den Haag 09OT Iselinge Hogeschool 0KIM Koninklijk Instituut voor de Marine Landelijk Expertisecentrum Sociale Interven29TP tie (LESI) 30ET Markus Verbeek Business Academy 27WU IVA Driebergen 29ZF Media Academie 28AT MSM Maastricht School of Management Nederlandse School voor Onderwijsma29UJ nagement 30FW New Business School Amsterdam 00IC Katholieke PABO Zwolle Markus Verbeek Opleidingen Stichting Hoger 24KD Onderwijs 10IZ Marnix Academie 21WN NHL Hogeschool 29ZU Oysterwyck Hogeschool B.V. 24FW PBNA-HBO 21UI NHTV internationale hogeschool Breda 01MC Nyenrode Business Universiteit 28DP Politieacademie 28DU Pro Education B.V.

HBO HBO HBO HBO HBO

ja nee nee nee nee

ja ja nee nee nee

ja ja nee nee nee

ja nee nee nee nee

ja nee nee nee nee

HBO HBO HBO HBO HBO HBO HBO

nee ja nee nee ja ja nee

nee ja nee nee nee ja nee




WO HBO HBO HBO WO

nee nee nee nee nee

nee nee nee ja ja nee nee nee nee

nee nee ja nee nee

nee nee ja nee nee

HBO HBO HBO

nee nee nee nee nee nee nee nee ja ja ja ja

nee nee ja

HBO HBO HBO HBO HBO HBO WO HBO HBO

nee ja ja nee nee ja nee nee nee

ja ja ja nee nee ja ja ja nee

ja ja ja nee nee ja ja nee nee




51

Bijlage 1: Overzicht deelnemende instellingen 2010-2013 (vervolg) Deelname 2010

Deelname 2012

Deelname 2013

Deelname 2011

Bekostigd

Instelling Protestantse Theologische Universiteit Open Universiteit Nederland Hogeschool De Kempel Radboud Universiteit Nijmegen Rijksuniversiteit Groningen Schouten & Nelissen University St. Amsterdamse Balletacademie STC-Group Saxion Stenden Masters B.V. Stg ter bev vh bestuderen vd leer der waar27VW heid geref gem R'dam Stichting ABC Hogeschool Dordrecht en Om25FM streken 30EB Stichting Contract.nu 30KA Stichting Deeltijd Opleidingen 29PY Saxion Next 24GL Stichting Hogeschool NHA 28DR Stichting Hogeschool van Amsterdam Stichting Hogeschool West-Nederland voor 24KF Vertaler en Tolk 30KV Stichting Humanistisch Vormings Onderwijs 24LK Stichting LOI Hoger Onderwijs 22EX Stenden hogeschool Stichting Opleidingen Musculoskeletale The28DW rapie Stichting Opleidingsinstelling GGZ Verpleeg30EA kundig Specialist 01DZ Stoas Wageningen, Vilentum Hogeschool Hogeschool NOVI/ Stichting Hoger Onderwijs 24HR NOVI 24UY Stichting NTI Hogeschool 21PF Technische Universiteit Delft 21PG Technische Universiteit Eindhoven

Soort HO

BRIN 00DV 22NC 08OK 21PM 21PC 29VH 23TG 29UK 23AH 30GX

WO WO HBO WO WO HBO HBO HBO HBO HBO

ja ja ja ja ja nee nee

ja ja ja ja ja nee nee

ja ja ja ja ja nee ja nee ja nee

ja ja ja ja ja nee ja nee ja nee

HBO

nee nee nee nee

nee

HBO HBO HBO HBO HBO HBO

nee nee nee nee nee nee nee nee nee ja ja nee nee nee nee ja nee

nee nee nee ja nee nee

nee nee nee ja nee ja

HBO HBO HBO HBO

nee nee nee ja

nee nee nee ja

nee nee nee ja

HBO

nee nee nee nee

nee

HBO

ja

nee nee nee ja ja nee

nee ja

HBO HBO WO WO

nee nee ja ja

ja ja ja ja

ja ja ja ja ja nee nee ja ja ja ja nee nee nee

nee nee nee ja

nee nee nee ja

ja ja ja ja

ja ja ja ja

ja ja ja ja


52

Bijlage 1: Overzicht deelnemende instellingen 2010-2013 (vervolg)

nee ja nee ja nee nee nee nee

WO

ja

nee ja

ja

WO WO HBO HBO WO WO WO WO WO WO WO WO HBO WO WO

ja nee nee nee nee ja ja ja ja ja ja ja nee ja ja

ja nee nee nee ja ja ja ja ja ja ja ja nee ja ja

ja nee nee ja ja ja ja ja ja ja ja ja nee ja ja

Deelname 2013

HBO HBO

nee nee nee ja ja ja ja ja ja ja ja ja nee ja ja

Deelname 2012

Deelname 2011

Bekostigd

Deelname 2010

Soort HO BRIN Instelling 24KM The New School for Information Services 27ZC TiasNimbas Business School Theologische Universiteit v.d. Christelijke 21QO Gereformeerde Kerken (Apeldoorn) Theologische Universiteit v/d Gereformeerde 25AV Kerken (vrijg.) Ned. (Kampen) 30HT TSM Business School B.V. 25ZF UNESCO-IHE Institute for Water Education 24LY TMO, Hogeschool voor Modemanagement 27YA transnationale Universiteit Limburg 21PB Universiteit Leiden 21PJ Universiteit Maastricht 21PH Universiteit Twente 21PD Universiteit Utrecht 21PK Universiteit van Amsterdam 21PN Tilburg University 23BF Universiteit voor Humanistiek 29WF Webster University 21PL Vrije Universiteit Amsterdam 21PI Wageningen University

ja nee ja ja nee nee ja ja ja ja ja ja ja ja ja nee ja ja


53

Onderzoeksverantwoording Nationale Studenten Enquête 2013

Recommend Documents