NSE Onderzoeksverantwoording. Onderzoek in opdracht van Stichting Studiekeuze123 Anja van den Broek Bas Kurver Steffie Hampsink SK

NSE 2012 Onderzoeksverantwoording

Onderzoek in opdracht van Stichting Studiekeuze123 Anja van den Broek Bas Kurver Steffie Hampsink SK123 12.0315

ResearchNed november 2012

© 2012 ResearchNed Nijmegen in opdracht van Stichting Studiekeuze123. Alle rechten voorbehouden. Het is niet geoorloofd gegevens uit dit rapport te gebruiken in publicaties zonder nauwkeurige bronvermelding.

Inhoudsopgave

1

2

Voorbereiding

3

1.1 1.2 1.3

Voorbereiding mailing Enquête Communicatie 1.3.1 Kanalen 1.3.2 Issues 1.3.3 Social media

3 4 5 5 5 7

Technische infrastructuur

9

2.1 2.2 2.3 2.4 3

4

5

Infrastructuur Technische test vragenlijst Inhoudelijke test vragenlijst Beveiliging

Respons

15

3.1 3.2 3.3 3.4 3.5 3.6

15 15 16 17 18 20

Mailing Responspercentage Responsgedrag Taal, invultijd en niet compleet ingevulde vragenlijsten Non-respons analyse Responsoverzichten

Datacleaning en bestandsbewerking

23

4.1 4.2 4.3 4.4 4.5 4.6 4.7 4.8

23 23 23 27 27 27 28 28

Inlezen en toevoegen populatiekenmerken Aanmaken relevante variabelen Themascores en instellingsvragen Weegfactoren Synchronisatie voorgaande jaren Extract benchmarkbestand Extract instellingsbestanden Dossiers NSE Online

Overige publicaties

31

5.1

31 31 31 32 32 32 32

5.2

Opname van de NSE 2012 in de Studiekeuzedatabase 5.1.1 Cleaning ten behoeve van koppeling met de Studiekeuzedatabase 5.1.2 Controleren van respons per opleiding 5.1.3 Samenvoegen van opleidingen bij onvoldoende respons 5.1.4 Aggregeren: het berekenen van de scores per opleiding 5.1.5 Controleren van respons per vraag NSE-factsheets

Overzicht van figuren en tabellen

3

9 11 12 12

- Onderzoeksverantwoording NSE 2012

35

1

1.1

Voorbereiding

Voorbereiding mailing Op verschillende manieren is in de maanden september tot en met november contact gezocht met de instellingen binnen het hoger onderwijs. In de afwikkeling van de NSE 2011 is de contactpersonen gevraagd of de instelling ook in 2012 weer zou deelnemen aan de NSE. Daarnaast is op 13 oktober een startbijeenkomst georganiseerd, waarbij de werkwijze voor 2012 is toegelicht aan de contactpersonen van de instellingen. Alle contactpersonen kregen het ‘Routeboek voor de Nationale Studentenenquête 2012’ uitgereikt. In deze publicatie konden zij de volledige werkwijze en de planning nalezen. Vervolgens is gestart met de (telefonische) werving van de instellingen. In deze telefoongesprekken was tevens een extra mogelijkheid voor het stellen van vragen en werd de werkwijze rondom de NSE nader toegelicht. Uit de telefoongesprekken volgde in veel gevallen al een voorlopige toezegging of afmelding. Door middel van contracten die door Studiekeuze123 naar de CvB’s en besturen van de instellingen zijn gestuurd, konden de instellingen officieel hun deelname kenbaar maken. In 2012 namen 69 instellingen deel aan de NSE (tabel 1.1); 63 hiervan voor de tweede keer. Alle bekostigde universiteiten participeerden zowel in 2010 als in 2011. In totaal nam 91 procent van alle bekostigde instellingen in 2012 deel aan de NSE. Twee hbo-instellingen die in 2011 participeerden, zagen in 2012 af van deelname (Amsterdamse Hogeschool voor de Kunsten en Design Academy Eindhoven). De Gerrit Rietveld Academie nam noch in 2010, noch in 2011, noch in 2012 deel. Vijf bekostigde hboinstellingen deden in 2011 niet mee, in 2012 wel: Codarts Hogeschool voor de Kunsten, De Haagse Hogeschool, Hogeschool der Kunsten Den Haag, Hogeschool van Amsterdam, Hogeschool voor de Kunsten Utrecht. Van de niet-bekostigde instellingen zagen vier hbo-instellingen en één universiteit af van deelname in 2011 (Azusa Theologische Hogeschool, HBO Nederland, Hogeschool Schumann Akademie, Stoas Hogeschool en Academie voor Wetgeving).

Tabel 1.1:

Deelname onderwijsinstellingen Totaal aantal*

Deelname in 2011

Deelname in 2012

% Deelname 2012

Wo

21

20

20

95%

Aangewezen Bekostigd

7 14

6 14

6 14

86% 100%

Hbo

59

48

49

83%


19 40**

14 34

14 35

74% 88%

Totaal

80

68

69

86%


26 54

20 48

20 49

77% 91%

*

Het betreft hier alle bekostigde instellingen uit CROHO; van de niet-bekostigde instellingen is het aantal weergegeven dat of in 2011 participeerde of in 2012.

** Eén bekostigde hbo-instelling (Gerrit Rietveld Academie) zag af van deelname in zowel 2010, 2011 als 2012.

3


Uiterlijk op 22 december dienden de e-mailadressen en achtergrondgegevens geüpload te worden. De upload van de e-mailadressen vond plaats in een beveiligde omgeving via een uploadfaciliteit op www.studiekeuzeinformatie.nl. Sommige instellingen hadden moeite om de deadline van eind december te halen (tabel 1.2). Om die reden zijn in januari nog uploads geaccepteerd. In het live-project wilden enkele instellingen in tweede instantie correcties aanbrengen of extra records toevoegen. Tegen betaling is dit in vijf gevallen gebeurd. De instellingen konden hiervoor een inlogcode en wachtwoord aanvragen of de inloggegevens gebruiken die ze hadden aangevraagd voor de NSE 2011. Alle aangeleverde gegevens zijn vergeleken met het CROHO. Van alle ontvangen bestanden waren 16 bestanden in de eerste versie correct aangeleverd. Na controle bleek dat 54 bestanden fouten of inconsequenties bevatten. In geval van inconsistenties werd contact opgenomen met de instellingen.

Tabel 1.2:

Aanlevering bestanden

Eerste versie aangeleverd Aangeleverd vóór 22/12 Aangeleverd na 22/12

Aantal bestanden 50 20

% 71% 29%

Naast de verplichte en gewenste achtergrondgegevens was er ook de mogelijkheid om eigen labels toe te voegen aan het bestand. In totaal 64 procent (44 van de 69 instellingen) maakte hiervan gebruik. Dit gebruik lag overigens lager bij de niet-bekostigde instellingen dan bij de bekostigde instellingen (29% versus 71%). De labels zijn door ResearchNed alleen gecontroleerd op privacygevoeligheid. Er heeft geen verdere controle plaatsgevonden op de inhoud (spel- en typefouten). Er is duidelijk aan de instellingen gecommuniceerd dat dit de verantwoordelijkheid was van de instelling zelf. Van alle labels zijn via een hercodering numerieke waarden aangemaakt. Dit was noodzakelijk om de labels op te kunnen nemen in NSE Online. De ontvangen Excel-bestanden zijn met behulp van uniforme beslisregels eenvormig gemaakt en aan elkaar gekoppeld. Aan alle velden zijn de CROHO-labels toegevoegd, gemeentenamen zijn gesynchroniseerd met de Studiekeuzedatabase en e-mailadressen zijn gecontroleerd op ongeoorloofde karakters. Voor alle mutaties na dit bestand zijn nieuwe versies van de instellingsbestanden aangemaakt; alle mutaties zijn gedocumenteerd en reproduceerbaar. Aan dit bestand zijn unieke niet-sequentiële wachtwoorden toegevoegd, bestaande uit tien karakters (een combinatie van cijfers en letters, bijvoorbeeld ‘pk4kdv5nv3’). Het totale bestand vormde samen met gegevens over het soort hoger onderwijs, opleiding, locatie, instelling, type hoger onderwijs (BaMa) en de opleidingsvorm (vt, dt, du) de basis van de enquête. Dit bestand is geüpload naar de interviewserver en is gebruikt voor authenticatie en terugkoppeling in de enquête over de opleiding waaraan men studeert. 1.2

Enquête De vragenlijst voor de NSE 2012 is op alle punten gelijk gebleven aan die van 2011. Om het effect van onder andere het klassikaal invullen (wat willen zeggen het tegelijk met een aantal medestudenten in een lokaal) te meten is een aantal vragen aan het eind van de vragenlijst toegevoegd, zodat hier in een later stadium analyses op gedaan kunnen worden. De vragen die hiervoor zijn toegevoegd zijn:

4

Waar heb je het grootste gedeelte van de vragenlijst ingevuld? Vulde je het grootste gedeelte van deze vragenlijst alleen of klassikaal in? Ben je door iemand aangespoord om deze vragenlijst in te vullen? Je hebt de vragenlijst ingevuld op…


Studiekeuze123 is samen met een werkgroep bezig de vragenlijst voor de NSE 2013 aan te passen. In dit proces zullen ook de opmerkingen van de instellingen, de begeleidingsgroep, de HBO-raad en het deskundigenpanel meegenomen worden. Instellingen konden tegen kostprijs (programmeren, testen, databewerking en labelling) vragen toevoegen aan de enquête. In totaal 20 instellingen hebben van deze mogelijkheid gebruik gemaakt. Gemiddeld werden ongeveer veertien vragen toegevoegd. De enquête is in drie talen (Nederlands, Engels en Duits) geprogrammeerd in Dimensions van SPSS. De studenten konden in een beginscherm de gewenste taal aangeven. Alle data zijn in één database weggeschreven. De enquête is uitgebreid getest volgens een vast protocol op inhoud, routing, functionaliteiten en design. Alle testresultaten zijn gearchiveerd in een logboek en verwerkt in de enquête. 1.3

1.3.1

Communicatie

Kanalen Informatie over de NSE was terug te vinden in het Routeboek en op de website www.studiekeuzeinformatie.nl. Om de overige communicatie zo soepel mogelijk te laten verlopen is een speciaal NSE e-mailadres aangemaakt: [email protected]. Alle communicatie met de contactpersonen liep via dit e-mailadres. De communicatie met studenten liep via [email protected]. Voor, tijdens en na het veldwerk van de NSE zijn beide e-mailaccounts dagelijks uitgelezen en beantwoord. In de periode van de voorbereiding, het veldwerk en de analyse van de NSE 2012 zijn in totaal 1.327 mails (ten opzichte van 1.847 mails in 2011) verstuurd naar het centrale e-mailadres [email protected] en 1.080 mails (ten opzichte van 1.014 in 2011) naar [email protected]. Tabel 1.3 en tabel 1.4 geeft een overzicht van deze issues, ingedikt naar hoofdthema’s.

1.3.2

Issues Het grootste gedeelte van de e-mails van contactpersonen ging over de voorbereiding van de NSE-data: 33,7 procent (tabel 1.3). De vragen gingen onder andere over het aanpassen van de spamfilters, het aanleveren van gegevens en extra vragen. Belangrijk binnen dit thema was de communicatie met de contactpersonen over de match tussen het CROHO en het door de instelling aanleverde bestand. Per geval van een mismatch is gecommuniceerd met de instelling en is er samen geprobeerd te achterhalen wat de reden van de mismatch was.

Tabel 1.3:

(Gerubriceerd) overzicht van issues van contactpersonen

Mails contactpersonen ([email protected])

Aantal

Voorbereiding Communicatie Analyse Mailing/respons Vragenlijst

448 304 275 218 82

33,7 22,9 20,7 16,4 6,2

1.327

100,0

Totaal

%

De categorie ‘communicatie’ bevat vragen/mededelingen van een meer algemene aard. Het gaat hier onder andere om wijzigingen van contactpersonen, het opvragen van wachtwoorden en vragen van instellingen over prijzen die ze zelf aan hun studenten wilden uitreiken.

5


Ruim 20 procent van de vragen ging over de mailing of de respons. Deze vragen werden vooral gesteld rond en tijdens de periode van het veldwerk. Vaak betrof het hier vragen van instellingen over studenten die niet konden inloggen of het doorgeven van voorkeuren voor dagen waarop de instelling gemaild moest worden. De vragen over de analyse (20,7%) gingen onder andere over hoe ze bepaalde gegevens het beste konden interpreteren. Ook vragen die NSE Online betroffen zijn in deze categorie opgenomen. Binnen het thema vragenlijst gingen de vragen veelal over het aanvragen van de inhoud van de vragenlijst en de procedure rondom de ontwikkeling van de vragenlijst voor NSE 2013. Deze zijn allemaal doorgestuurd naar Studiekeuze123. In de meeste e-mails van studenten ([email protected]) gaven studenten aan niet mee te willen doen met het onderzoek: 45 procent van de 1.080 (tabel 1.4). De reden dat de studenten niet deelnamen werd meestal niet duidelijk. In een enkel geval gaven de studenten aan geen zin of geen tijd te hebben om deel te nemen. Deze mails zijn standaard beantwoord met de melding dat studenten zich konden uitschrijven via de uitschrijflink onderaan de mail. Zestien procent van de e-mails ging over inlogproblemen.

Tabel 1.4:

(Gerubriceerd) overzicht van issues van studenten

Mails studenten ([email protected]) Wil niet mee doen Inloggen lukt niet Vragenlijst al ingevuld, toch reminder gekregen Wil nieuwe code ontvangen Opmerkingen Overige reden om vragenlijst niet in te vullen Vraag over incentives Vraag over privacy Totaal

Aantal

%

486 175 128 109 85 62 25 10

45,0 16,2 11,9 10,1 7,9 5,7 2,3 0,9

1.080

100,0

Meestal had de student de vragenlijst al op een eerder tijdstip ingevuld of ze probeerden binnen tien minuten na het afbreken van de enquête opnieuw in te loggen (dit laatste is bij wijze van beveiliging niet mogelijk). In ruim elf procent van de e-mails gaven de studenten aan onterecht een reminder te hebben ontvangen. De reden hiervan is dat er tijd zit tussen het aanmaken van de mailbatches en het versturen van de reminders. Het is mogelijk dat studenten in die tussenliggende periode de vragenlijst hebben ingevuld en onterecht een reminder ontvingen. In een aantal gevallen bleek dat de student de vragenlijst nog niet had ingevuld en de NSE waarschijnlijk verwarde met een ander onderzoek. Tien procent van de vragen ging over het aanvragen van een nieuwe inlogcode. In de meeste gevallen is het inlogcode voor de student opgezocht, nadat zij hun studentnummer en instelling door hadden gegeven. Wanneer het niet lang meer duurde voordat de student een reminder zou krijgen is aangeraden te wachten op de reminder. Er is een klein aantal mails binnengekomen van studenten die aangaven geen mail ontvangen te hebben, dit is in alle gevallen gecheckt bij de instelling en in alle gevallen betrof het februari instromers. Opmerkingen die zijn binnengekomen via de mail (7,9%) gingen onder andere over de vragenlijst, aanvullende opmerkingen over de opleiding of instelling. Een overige reden om de vragenlijst niet in te vullen (5,7%) was voornamelijk dat de student al was afgestudeerd. Een klein gedeelte van de e-mails ging over de incentives die aan het eind van het veldwerk werden verloot (2,3%). Studenten vroegen zich bijvoorbeeld af hoe incentives konden worden verloot als ze nergens hun e-mailadres hoefden achter te laten of wilden graag weten wanneer de prijzen verloot zouden worden. Nog geen één procent van de vragen ging over de privacy van de NSE.

6


1.3.3

Social media In is 2012 voor het eerst op een actieve wijze sociale media ingezet. Aan het eind van de vragenlijst is een knop geprogrammeerd waarmee de respondenten automatisch een Tweet konden plaatsen met de volgende tekst: ‘Nationale Studentenenquête ingevuld en mijn mening gegeven over mijn opleiding! Wie volgt? http://www.nse.nl #NSE2012’. De respondenten hadden tevens de mogelijkheid een eigen tekst op Twitter te plaatsen.

Eigen tekst; 358; 28%

Standaard tekst; 901; 72%

Figuur 1.1: Tweets tijdens NSE 2012

Figuur 1.1 laat de verhouding zien tussen het aantal respondenten dat van de standaard tekst gebruik heeft gemaakt en wie een eigen tekst gepost heeft. In totaal zijn er tijdens het veldwerk 1.259 tweets over de NSE gepost. Berichten waarin een vraag of opmerking genoemd werd, zijn door Studiekeuze via Twitter (@Studiekeuze123) beantwoord.

7


2

2.1

Technische infrastructuur

Infrastructuur Voor het veldwerk is gebruik gemaakt van SPSS Dimensions (zie figuur 2.1):

Dimensions is een cluster van interviewmachines, waarbij de interviewcapaciteit lineair kan worden uitgebreid door het toevoegen van extra hardware. Het cluster bestaat uit machines die elk één van drie mogelijke taken verrichten: respondentverbindingen, vragenlijstbeheer en management/dataopslag. Techniek is zoveel mogelijk gestandaardiseerd; MS Windows servers en applicatie geschreven in Net framework. Bovendien zijn web servers standaard IIS servers. Alle vragen worden gepresenteerd in standaard HTML (XHTML v. 3), aangevuld met images in jpg of png formaat. De HTML bevat geen browserspecifieke onderdelen. Het bestandsformaat van de verzamelde data bij export is een (SPSS) sav-bestand. Omdat Dimensions onderdeel is van de datacollectie software-suite van SPSS, is de correctheid van het beschikbare savbestand optimaal. Bestandsformaat van de vragenlijst is XML met een volledige beschrijving. Tijdens de uitgevoerde tests is gebleken dat per interviewserver minimaal 400 simultane verbindingen mogelijk zijn binnen de gestelde criteria. Voor de tests waren drie webservers met een loadbalancing device beschikbaar. De gebruikersinterface (werkomgeving) voor vragenlijstprogammeurs- en applicatiebeheerders is een capaciteitvergende applicatie. Mede om die reden is besloten om beide applicatieservers dubbel uit te voeren en op beide machines inloggen mogelijk te maken. De betrouwbaarheid van de technische infrastructuur is gewaarborgd door het plaatsen van een monitoringapplicatie op alle operationele machines om eventuele problemen met de capaciteit van de clusters in een vroeg stadium te zien aankomen. Alle machines zijn permanent gecontroleerd op de volgende parameters: CPU load, Memory Free, Network traffic Volume, Disk free. Op deze parameters zijn alarms ingesteld waardoor de beheerders automatisch op de hoogte worden gesteld van afnemende performance, problemen of uitval.

In geval van uitval van machines binnen de infrastructuur zijn de volgende voorzieningen getroffen:

9

Uitval van een webserver: via loadbalancing worden interviews automatisch doorgezonden naar twee andere identieke machines tot het moment dat de uitgevallen machine zich weer aanmeldt. Machines herstellen zelf de verbinding met de overige machines in het cluster. Uitval van de secundaire applicatieserver: de interviews verplaatsen automatisch naar een andere beschikbare applicatieserver. Uitval van de primaire applicatieserver: het gehele cluster komt tot stilstand en een herstartprocedure is noodzakelijk. In het geval een herstartprocedure niet mogelijk is, kan een master image van deze virtuele machine worden geactiveerd waarmee het cluster weer operationeel is. Uitval van de database server: er is een tweede mirror database server die continu een exacte kopie bevat van de operationele database server. Zodra hiermee een probleem optreedt, kan besloten worden om de mirror database server in te zetten, zonder dataverlies en met een minimale downtime. De applicatieservers zullen tijdens de downtime een buffer aanleggen van gegeven antwoorden en deze doorzenden aan de SQL server zodra deze weer online is. Lopende interviews kunnen normaal verdergaan, nieuwe interviews zijn niet te starten (afwezigheid van de authenticatietabel op de SQL server). In geval van een volledige onbereikbaarheid van het cluster, kan worden teruggevallen op het off-site backup cluster. Als dit het geval is, wordt de URL (link) in de portals aangepast aan het adres van het backup cluster.


Figuur 2.1: Schematische weergave van ‘dedicated’ technische infrastructuur voor de NSE 2012

Het is mogelijk om wijzigingen in de vragenlijst aan te brengen zonder downtime en zonder gevolgen voor de reeds verzamelde data. Omdat het mogelijk is dat de vragenlijst in productie is bij het maken van wijzigingen, is het aantal wijzigingen tot uitsluitend het noodzakelijke beperkt. In het geval dat een respondent de vragenlijst onderbreekt, kan deze bij terugkeer hervat worden op het punt van de laatst gestelde vraag. Alle beheer, wijzigingen en reparaties in de applicatie worden op afstand uitgevoerd. In geval van een onaanvaardbaar lange uitval van de gehele applicatie, bijvoorbeeld door onvoorziene hardwareproblemen van het datacenter, kan worden teruggevallen op een alternatieve server in een tweede datacenter. Deze server wordt gedurende het onderzoek permanent gesynchroniseerd met de data die zich op het productiecluster bevonden. Dit geschiedt door middel van SQL server replicatie. De backupserver heeft een minder grote capaciteit, maar dat levert uitsluitend een beperking op bij overname van de functionaliteit tijdens piekuren. Er is geen sprake van uitval geweest. De servers konden het zoals verwacht goed aan. Er hebben zich geen incidenten voor gedaan.

Voor de gehele technische infrastructuur zijn SPF’s (Single Point of Failure) geïdentificeerd en voor ieder punt is een oplossing gekozen waardoor downtime voorkomen wordt of tot het minimum beperkt wordt:

2.2

portal op alle drie de webservers; drie identieke web servers; twee (virtuele) interviewmachines voor snelle vervanging bij uitval; één + één sql-server met mirroring; firewalls en internetlijnen dubbel uitgevoerd in failover configuratie; data worden gespiegeld op de tweede sql-server en door de off-site fallback server; het cluster is dubbel uitgevoerd.

Technische test vragenlijst De tests zijn uitgevoerd op de feitelijke vragenlijst; testantwoorden zijn uitsluitend voorzien van een testvlag, zodat deze eruit gefilterd kunnen worden bij export van de antwoorden. De feitelijke interviewdata bevatten informatie over hoe de vraag is beantwoord en of deze door een respondent of een script is ingevuld. Vragen vallen onder versiebeheer waardoor niets kan verdwijnen of gemanipuleerd worden zonder bewijs. Gegevens die de respondenten kunnen identificeren en eventueel een koppeling mogelijk maken tussen individuen en hun gegeven antwoorden, zijn gescheiden opgeslagen van de antwoorden. Alleen personen die toegang hebben tot beide soorten gegevens kunnen een koppeling maken. De toegang hiertoe kan worden gescheiden door het rechtenbeheer binnen Dimensions. Informatie over het collectieproces zelf wordt opgeslagen bij de antwoorden van de respondent en kan worden meegenomen in de data-export. Parameters die hierbij worden meegenomen zijn onder andere:

de begin- en eindtijd van het invullen van de vragenlijst; de bron van de antwoorden (of ze door een respondent zijn ingevuld of door het script); de versie van de vragenlijst die is gebruikt voor het interview; de wijze van datacollectie (om onderscheid te kunnen maken tussen feitelijke interviewdata en handmatig toegevoegde data); het volgnummer van de respondent; de identificatiecode gebruikt door de respondent; met deze code kan een verband gelegd worden met de respondentgegevens (bijv. e-mailadres) indien deze toegankelijk zijn.

De applicatie is voorzien van een integraal logboek, waarbij vrijwel alle handelingen van zowel applicatiegebruikers als respondenten geregistreerd worden. Opgeslagen worden onder andere:

log van activiteiten door onderzoekers/applicatiegebruikers; log van inlogpogingen door respondenten; log binnen de vragenlijst: vrij invulbaar door de auteur van de vragenlijst.

Het proces van invullen van alle respondenten wordt bijgehouden in een afzonderlijke tabel voor toegangsbeheer (authenticatie) en voortgangsbewaking (status). Deze tabel staat overigens los van eventuele antwoorden van respondenten. De volgende tests zijn succesvol afgerond:

Om de capaciteit te bepalen is ten eerste vastgesteld dat een respondent maximaal twee seconden mag wachten op het tonen van een vraag. Als deze tijd langer is dan twee seconden, neemt het risico toe dat respondenten de vragenlijst niet afmaken.

11 - Onderzoeksverantwoording NSE 2012

2.3

Er is door ResearchNed een analyse uitgevoerd op historische data om te bepalen wat de te verwachten belasting binnen een dag is op de servers (simultane interviews). De uitnodigingen geleidelijk aan verzonden om geen pieken in de belasting te creëren. In de start van het veldwerk werden 10.000 mails per uur verzonden. Toen na verloop van tijd bleek dat in met die verzendsnelheid de server weinig werd belast, is de verzendsnelheid verhoogt naar 25.000 mails per uur. SPSS Load Tool: voor het testen van een Dimensions-applicatie heeft SPSS een eigen applicatie beschikbaar, die een aantal interviews kan simuleren en dit gedurende een vooraf ingestelde periode of voor een ingevoerd aantal interviews uitvoert. Aangezien de loadbalancer het IP-adres van de respondent analyseert, is de loadtest van vier verschillende IP-ranges uitgevoerd. Dit zorgde ervoor dat de belasting over de drie webservers werd verdeeld. Het testen van de functionaliteit na oplevering van de applicatie is gedaan door middel van een testvragenlijst die was voorzien van images. Testen op correcte werking gebeurde vanaf zes locaties. Daarnaast is gekeken naar het vinden van de URL en de (correcte) weergave van illustraties van interviewsjablonen. Er is een export gemaakt van de testdata, om te valideren dat het bestand dat het onderzoek produceert, leesbaar en volledig is.

Inhoudelijke test vragenlijst In totaal hebben zes medewerkers van ResearchNed en twee medewerkers van Studiekeuze123 de vragenlijst van de NSE 2012 getest. Voor het testen is een protocol opgesteld waarbij met alle verschillende routings binnen de vragenlijst rekening is gehouden. Alle mogelijke routes zijn uitgeschreven en verdeeld over het testteam. Hierbij is onderscheid gemaakt tussen de basisvragenlijst en de extra vragen. In totaal waren er 88 verschillende routes om te testen, waarbij de basis als uitgangspunt is genomen, na de basisvragenlijst zijn tevens de extra vragen van de instellingen (inclusief eventuele routings) getest. Alle instellingen die eigen vragen hebben aangeleverd hebben ook een testwachtwoord ontvangen waarmee ze zelf hun eigen vragen konden testen. Hier zijn geen opmerkingen uit voort gekomen. Uit het testen van de basisvragenlijst bleek dat bij een aantal vragen de taal niet overeenkwam met de taal waarin de vragenlijst werd ingevuld. Ook kwam een aantal keer het onjuist gebruiken van leestekens, hoofdletters of spaties naar voren.

2.4

Beveiliging Ten aanzien van de beveiliging zijn de volgende acties ondernomen:

Er is gebruik gemaakt van een veel voorkomende veilige opstelling van de servers. De Web servers bevinden zich in een DMZ, wat betekent dat ze gescheiden zijn van zowel het internet als het interne netwerk door middel van een firewall. De servers in het interne netwerk bevinden zich dus achter twee firewalls. Deze interne servers dienen als interviewengines (die de routing bepalen) en voor dataopslag. De firewall van DMZ naar de interne servers staat uitsluitend open op poort 80, wat een standaard-http poort is. Om te voorkomen dat respondenten vaker dan eenmaal kunnen inloggen, ontvangen respondenten een unieke inlogcode. Deze code wordt uitsluitend aan de respondent bekendgemaakt en is op de server uitsluitend in te zien als men uitgebreide rechten heeft. Er is een https (SSL) certificaat op web servers geïnstalleerd voor versleutelde overdracht tussen de cliënt (browser) en de server (applicatie) van de antwoorden gegeven door de respondent tijdens het interview. Vanaf de webservers vindt de communicatie met de interne servers volledig plaats over poort 80 (SOAP over http).


Voor het beschermen van persoonsgegevens worden antwoorden van respondenten gescheiden opgeslagen van eventuele identificerende gegevens. De definitie van de vragenlijst bevat uitsluitend de vragen, antwoordmogelijkheden en de routing door de vragenlijst en is in een eigen bestand opgeslagen. Tot de (webbased) interviewapplicatie is uitsluitend toegang te verkrijgen door het invullen van een gebruikersnaam en wachtwoord. Geen enkele vorm van informatie is beschikbaar als er geen geldige naam/wachtwoordcombinatie wordt ingevoerd. Binnen de interviewapplicatie wordt gewerkt met modules (bijvoorbeeld data-export, bewerking vragenlijst, respondentenoverzicht, scorebord) waarvoor het gebruiksrecht is verleend aan gebruikersgroepen. Een gebruiker kan deel uitmaken van geen enkele, één of meerdere groepen.


3

3.1

Respons

Mailing In totaal zijn er 5.993.069 mails aan 4.651.546 studenten verstuurd, verspreid over acht perioden (alle verzonden e-mails opgeteld). Na een initiële mailing volgden zes reminders (elke week aan alle studenten die nog niet reageerden, met uitzondering van de voorjaarsvakantie). In de reminders is een onderscheid gemaakt tussen studenten die de vragenlijst nog helemaal niet ingevuld hadden en studenten die de vragenlijst als deels hadden ingevuld. Voor deze groepen zijn aparte mailteksten gebruikt. Op de laatste dag is aan alle studenten een zevende reminder verstuurd met de mededeling dat het de laatste kans was om mee te doen aan de NSE. De mailings zijn verstuurd door het mailbedrijf eCircle. Van maandag tot en met vrijdag startte de mailing rond 9 uur ’s ochtends. In de start van het veldwerk werden er 10.000 mails per uur verzonden. Later is dit aantal verhoogd naar 25.000 per uur omdat bleek dat de servers de belasting goed aankonden.

3.2

Responspercentage In totaal zijn 682.389 studenten benaderd om mee te werken aan het onderzoek (tabel 3.1). Op basis van de enquête bleek dat 0,6 procent niet tot de doelgroep behoorde (afgestudeerd, niet meer studerend). Een andere groep van 22.119 studenten kwam de mail onbestelbaar retour (1,4% bounced mails). Daarnaast is tevens een groep met onder andere dubbelingen verwijderd. Deze drie groepen zijn in mindering gebracht op de populatieaantallen. De netto populatie bedraagt aldus 650.458 studenten.

Tabel 3.1:

Responsoverzicht NSE Verwijderd Incomplete Complete

Respons Incomplete Complete

Totaal

Respons Valide Eerste oordeelsvraag niet ingevuld Te korte invultijd Buiten de doelgroep

0 8.255 0 0

0 0 966 1.170

22.135 0 0 0

180.646 0 0 0

202.781 8.255 966 1.170

Totaal

8.255

2.136

22.135

180.646

213.172

10.391

Responspercentages

N

Populatie initieel Buiten de doelgroep Populatie ontdubbeld Bounce

682.389 3.745 6.067 22.119

Totaal

650.458

Respons bruto (-/-buiten doelgroep) Respons gecleaned Unsubscribers

212.002 202.781 11.658

202.781

213.172

%

33% 31%

Na sluiting van het veldwerk was door 212.002 respondenten de vragenlijsten geraadpleegd. Een deel van de geraadpleegde enquêtes was niet volledig ingevuld of een hadden een te korte invultijd. Deze vragenlijsten zijn wel verwerkt, mits de eerste oordeelsvraag was ingevuld. Op basis van deze beslisregels zijn 9.221 records verwijderd (4%).


3.3

Responsgedrag De respons in 2012 was wat lager dan in 2011 en 2010. Figuur 3.1 toont het percentage van de respons dat is gerealiseerd per dag en het responspercentage gerelateerd aan de populatie. In de eerste vijf weken wordt ongeveer de helft van de respons gerealiseerd. In de twee weken erna wordt nog ongeveer dertien procent van de respons gerealiseerd (vier procent van de populatie respondeert in deze periode). Dat betekent dat in deze periode de respons nog stijgt van ongeveer 27 naar ongeveer 31 procent. In vergelijking met 2011 is het percentage respons dat in de laatste dagen nog opgehaald wordt dit jaar een stuk lager. Aantal per dag 2012

Respons 2012

11.000

33

10.000

30

9.000

27

8.000

24

7.000

21

6.000

18

5.000

15

4.000

12

3.000

9

2.000

6

1.000

3

0

0 1

7

13

19

25

31

37

43

49

55

61

67

Figuur 3.1: Responsgegevens: totale respons en respons per dag Figuur 3.2 toont de respons per dag van de week. Opvallend is dat er in vergelijking met 2010 en 2011 minder is gerespondeerd op maandag. In 2012 is er meer gemaild op vrijdag, vandaar dat de respons op deze dag hoger ligt dan voorgaande jaren. 25 24 20

22 21 18

20 19

19

18

19

18

17 17

15

16 13 12

10

5 5

5

5

5

5

5

0 Maandag

Dinsdag

Woensdag 2010

Figuur 3.2: Respons per dag van de week


Donderdag 2011

2012

Vrijdag

Zaterdag

Zondag

3.4

Taal, invultijd en niet compleet ingevulde vragenlijsten De enquête is geprogrammeerd in drie talen: Nederlands, Engels en Duits. Bij aanvang van de vragenlijst konden studenten een taal kiezen. In totaal vulde 91 procent de Nederlandse lijst in, 5,7 procent de Engelse en 3,6 procent de Duitse. In figuur 3.3 is de invultijd weergegeven gerelateerd aan het aantal extra vragen. Zowel het gemiddelde als de mediaan zijn getoond. De gemiddelde invultijd van alle studenten die de vragenlijst compleet hebben ingevuld bedraagt 16,7 minuten1 (mediaan 14 minuten).

20,0 19,5 19,0 18,5 18,0 17,5 17,0 16,5 16,0 15,5 15,0 14,5 14,0 0

10 Gemiddelde

20 Mediaan

30

Lineair (Gemiddelde)

40

Lineair (Mediaan)

Figuur 3.3: De relatie tussen invultijd en het aantal extra instellingsvragen (alleen completes).

Studenten die de vragenlijst niet volledig hebben ingevuld zijn deels buiten beschouwing gelaten. De eerste oordeel vraag is hierbij als kritiek punt gehanteerd. De groep studenten die wel de eerste oordeelvraag heeft ingevuld maar gaandeweg is uitgevallen, is gemiddeld na 45 vragen gestopt. Tabel 3.2 geeft het aandeel studenten weer (incompletes) naar het kritisch moment van afhaken. Zo is bijna tien procent van de incompletes al na vijftien vragen afgehaakt. Slechts vijf procent van de incompletes vulde meer dan 90 vragen in (maar minder dan 106; de complete vragenlijst).

Tabel 3.2:

Incompletes: moment van afhaken (% vragen ingevuld)

Aantal ingevulde vragen 1-15 16-30 31-45 46-60 61-75 76-90 meer dan 90

1

% 9,9 14,4 39,2 12,3 7,9 11,0 5,5

Deze systeemvariabele is opgeschoond: studenten die een waarde lager dan 5 minuten hadden en die de vragenlijst volledig hadden afgerond, zijn uit het bestand verwijderd. Omdat studenten de mogelijkheid hebben het invullen van de vragenlijst te onderbreken, is een invultijd van meer dan 30 minuten gemaximeerd op 30.


3.5

Non-respons analyse Zoals eerder aangegeven bedraagt het bruto responspercentage van de NSE 2012 33 procent. Aangezien de gehele populatie is aangeschreven kan gezegd worden dat twee derde niet heeft deelgenomen aan het onderzoek. Deze groep non-respondenten bestaat uit twee groepen respondenten: de groep ‘niet bereikte’ studenten en de groep ‘weigeraars’. Studenten die niet zijn bereikt betreffen studenten waarvan de uitnodiging is gebounced. De groep ‘weigeraars’ bestaat uit studenten die zich hebben uitgeschreven voor deelname (unsubscribers), studenten die tijdens het invullen van de vragenlijst zijn afgehaakt (onvolledige respons) en studenten die helemaal niet hebben deelgenomen (non-respons). Om na te gaan in hoeverre de verschillende nonrespons een selectieve groep vormen in vergelijking met de responsgroep is een non-respons analyse uitgevoerd.

Tabel 3.3:

Typering van verschillende non-respons groepen in vergelijking met responsgroep (%) Niet bereikt

Weigeraars

Respons

Bounced

Unsubscribers

Onvolledig

Non respons

87,3 12,7

53,9 46,1

65,0 35,0

58,9 41,1

68,1 31,9

0,3 91,2 7,1 1,4

0,8 78,9 19,8 0,4

0,5 87,5 11,5 0,5

0,6 83,7 15,2 0,5

0,4 85,3 13,7 0,6

82,6 15,2 2,2

87,3 10,8 2,0

88,4 9,9 1,6

85,7 12,4 1,9

85,6 12,7 1,7

56,5 43,5

71,1 28,9

47,9 52,1

50,4 49,6

41,3 58,7

29,5 70,5

21,7 78,3

35,8 64,2

27,9 72,1

32,2 67,8

Soort hoger onderwijs Hbo Wo

Type hoger onderwijs Overig (oude stijl, anders) Bachelor Master Associate Degree

Opleidingsvorm Vt Dt Du

Geslacht Man Vrouw

Studiejaar Eerstejaars Ouderejaars

In tabel 3.3 zien we dat de onderscheiden responsgroepen qua samenstelling behoorlijk verschillen. Daar waar bijna een derde van de respons Wo-studenten betreft, bevat de Bounced relatief minder universitaire studenten (13%). Daarentegen is het aandeel wo’ers onder de unsubscribers weer wel relatief hoger. Ook het aandeel mannen en ouderejaars is relatief hoog binnen de groep unsubscribers. Sommige verschillen zijn instellingsspecifiek. Zo kunnen instellingen bijvoorbeeld verouderde mailadressen aangeleverd hebben waardoor het bounced-percentage relatief hoog is binnen de instelling. Hierdoor kunnen bovenstaande cijfers een enigszins vertekend beeld laten zien. Indien bijvoorbeeld een hogeschool met relatief veel vrouwen verouderde mailadressen heeft aangeleverd kan dit resulteren in een scheve verhouding tussen mannen en vrouwen en hbo en wo. Om deze vertekening uit te sluiten is een multinominale regressie-analyse binnen een multi-level design uitgevoerd. De resultaten hiervan zijn weergegeven in tabel 3.4.


Tabel 3.4:

Kans op non-respons versus respons en populatie; resultaten van een multinominale regressie-analyse binnen een multilevel structuur

Bounced vs .populatie B Odds Intercept

Unsubscribers vs. Bounced vs. respons populatie B Odds B Odds

Unsubscribers vs. Non respons vs. Non respons vs. respons respons populatie B Odds B Odds B Odds

-3,583

0,028

**

-2,653

0,070

**

-4,956

0,007

**

-3,721

0,113

1,120

**

0,256

1,292

**

0,781

2,184

**

1,050

0,035 0,052

1,036 1,053

0,004 0,074

1,004 1,077

-0,069 0,131

0,933 1,139

0,011

1,011

0,046

1,047

0,298

1,347

-0,032 0,283 -0,220

0,968 1,327 0,803

-0,067 0,240 -0,175

0,935 1,271 0,840

0,093 0,154 -0,011

1,097 1,166 0,989

-0,529

0,589

-0,529

0,589

0,258

1,294

0,024 **

Onvolledige respons vs .populatie B Odds

Onvolledige respons vs. respons B Odds

-0,632

0,532

**

0,321

1,378 ** -2,865

0,057 ** -1,777

0,169

**

2,858

0,113

1,120

**

0,393

1,482 ** -0,053

0,948 **

0,243

1,275

**

-0,111 0,204

0,895 * 1,226 *

0,014 0,037

1,014 1,038

0,008 0,119

1,008 -0,254 1,126 ** -0,156

0,776 ** -0,266 0,856 ** -0,061

0,767 0,941

**

0,374

1,453 **

0,066

1,068

0,183

1,201 ** -0,262

0,769 ** -0,166

0,847

**

0,024 0,049 0,143

1,024 1,050 1,154

-0,033 -0,063 0,084

0,967 0,939 1,088

-0,052 -0,107 0,260

0,949 0,041 0,898 * -0,185 1,297 * -0,049

1,042 -0,013 0,831 ** -0,279 0,095 0,952

0,987 0,757 1,100

0,221

1,247

0,096

1,101

1,264

1,028

1,168

Geslacht (vrouw = ref.) Man

Vorm (Vt = ref.) Dt Du

**

*

**

Studiejaar (Eerstejaars = ref.) Ouderejaars

**

**

Type ho (Ba = ref.) Oude stijl Master Ad

**

**

**

** *

Soort Ho (Hbo = ref.) Wo

N Respondenten N Opleidingen N Instellingen

Variantie niveau 1 & 2 Variantie niveau 3

704.112 2.657 70

0,332 5,150

205.686 2.574 69 ** **

** Significant bij p> .001; * significant bij p> .005

0,437 5,484

*

692.713 2.657 70 ** **

0,210 0,625

194.287 2.575 69 ** **

0,301 ** 0,883 **

0,235

1.119.558 2.657 70

0,013 0,422

621.132 2.654 70 ** **

0,216 ** 0,709 **

0,028

711.599 2.657 70

0,025 ** 0,039 **

0,155

*

213.173 2.577 70

0,084 0,046

** **

Binnen een multinominale regressie-analyse worden telkens twee opties ‘tegen elkaar uitgespeeld’. Hierbij wordt onderscheid gemaakt tussen de verschillende non-respons groepen enerzijds en de responderende groep en populatie anderzijds. Op persoons-, opleidings-, en instellingskenmerken wordt gekeken in hoeverre beide groepen (non respons / respons-populatie) van elkaar verschillen indien deze gezamenlijk geanalyseerd worden. Kijken we naar de kans op Bounce dan zien we dat zowel in vergelijking met de populatie als geheel als met de responsgroep er relatief veel mannen en veel master studenten een bounce mail hebben gehad. Verder lijkt het krijgen van een bounced mail een kwestie van toeval, dan dat er duidelijke patronen kunnen worden onderscheiden. Zetten we de unsubscribers af tegen de populatie en de responsgroep dan zien we dat mannen, duale- en ouderejaars studenten zich vaker uitschrijven. De kans voor mannen om zich uit te schrijven is twee keer zo hoog dan voor vrouwen. Hierbij moet opgemerkt worden dat het aandeel uitschrijvers op de totale nonrespons groep relatief klein is (+/- 2%) en de kans om je überhaupt uit te schrijven dus ook. De grootste groep non-respondenten bestaat uit studenten die wel de mail heeft ontvangen, zich niet heeft uitgeschreven en de vragenlijst niet heeft ingevuld. De groep behelst ongeveer 90 procent van de totale groep non-respondenten. Deze groep omvat relatief veel mannen, ouderejaars en duale studenten. De kansverhoudingen (odds) om in de ene of andere groep te ze zitten zijn weliswaar significant, maar ze zijn maar klein. Zo is de kans voor een man om niet te hebben gereageerd slechts 1,1 keer groter dan dat die voor vrouwen is. Tot slot is de groep mensen die die vragenlijst niet volledig heeft ingevuld afgezet tegen de populatie en de responsgroep. Opvallend hierbij is dat de groepen die in eerdere analyses oververtegenwoordigd waren bij de non-respons juist vaker de hele vragenlijst invullen. Met andere woorden, op het moment dat mannen, deeltijders en ouderejaars eenmaal starten met de vragenlijst, is de kans groter dat ze hem ook volledig invullen. Geconcludeerd kan worden dat de non-respons, een selecte groep is, zowel bij de ‘niet bereikte’ studenten als bij de ‘niet willende’ studenten. Grosso modo bestaat de non-responsgroep relatief veel uit mannen, ouderejaars, master-studenten en studenten die een duaal traject volgen. De kansverhoudingen (odds) zijn echter niet schrikbarend hoog. Dit wil zeggen dat de verschillen in samenstelling tussen non-respons en respons / populatie wel significant aanwezig zijn, maar dat ze maar klein zijn. Opgemerkt moet worden dat in deze analyse niet is gekeken naar de impact op de resultaten van deze scheve verdeling. Hier is een non-respons onderzoek voor nodig waarbij de beoordeling van de opleiding van non-respondenten wordt vergeleken met dat van de responderende groep. 3.6

Responsoverzichten Wekelijks ontvingen alle instellingen eigen responsoverzichten (zie voor een voorbeeld figuur 3.4). Dit responsoverzicht bevatte per opleiding, zowel totaal als uitgesplitst naar opleidingsvorm, alle populatie- en responsaantallen en de responspercentages, de totalen per instelling, het aantal unsubscribers en het landelijke totaal. De responsoverzichten, die beschikbaar waren via een inlogcode, konden worden geëxporteerd naar Excel.


Figuur 3.4: Voorbeeld responsoverzicht per opleiding voor instellingen Op www.studiekeuzeinformatie.nl is bovendien een openbaar responsbestand geplaatst met de responspercentages per instelling (figuur 3.5)

Figuur 3.5: Voorbeeld openbaar responsoverzichten


4

4.1

Datacleaning en bestandsbewerking

Inlezen en toevoegen populatiekenmerken Na sluiting van het veldwerk zijn de bestanden verrijkt, bewerkt, opgeschoond, gestructureerd en geanalyseerd. Hiervoor is allereerst het populatiebestand gekoppeld aan het respondentbestand en zijn alle variabelen hernoemd en gelabeld naar de variabelennamen van 2010 en 2011. Op basis van de systeemvariabelen zijn invulduur en invuldatum bepaald. Vragenlijsten met een te korte invultijd (korter dan vijf minuten) die tevens als ‘complete’ (volledig ingevuld) zijn aangemerkt, zijn verwijderd.

4.2

Aanmaken relevante variabelen Aan dit basisbestand zijn diverse bestanden gekoppeld. Allereerst het CROHO. Het CROHO is vanuit Excel ingelezen en geaggregeerd. De gemeentenamen in het CROHO zijn gesynchroniseerd met de database en het bestand van 2010 en 2011. Het CROHO is aan het basisbestand gekoppeld op het aggregatieniveau croho*brin*locatie*vorm. Hiermee is gecontroleerd of alle codes in het bestand geldige en actuele codes zijn. In tegenstelling tot de opleidingen die zijn opgenomen in de Studiekeuzedatabase (alleen opleiding met instroom), zijn in dit bestand alle actuele opleidingen opgenomen (dus ook de opleidingen die geen instroom meer kennen, maar nog wel aangeboden worden). Aan het bestand zijn verder bekostigingskenmerken, CROHO-onderdelen en fixus-gegevens toegevoegd. Ook zijn de conversies aangemaakt voor de relatie tussen de brincode en de bestuursbrin. Eveneens is een variabele aangemaakt op basis waarvan combinatieopleidingen zijn te onderscheiden. Vervolgens zijn bestanden van het CBS gedownload die op het niveau van de steden zijn verrijkt met stedelijkheid en landsdeel. Op basis van het CROHO zijn de volgende velden aangemaakt: BaMa (bachelor-master), soort ho (hbo-wo) en studiecodes (Studiekeuzedatabase). Ontbrekende studiecodes zijn aangevuld. Missende records uit het populatiebestand zijn aangevuld vanuit de antwoorden op de vragenlijst (etniciteit, studiejaar, leeftijd, vooropleiding etc.). Er is een controle uitgevoerd tussen de achtergrondkenmerken die door de instellingen zijn aangeleverd en de gegevens die studenten zelf hebben ingevuld. Hiervoor zijn de gegevens die zijn aangeleverd door de instellingen als leidend beschouwd. Als er een verschil zat tussen de gegevens van de instelling en de student, is dit opgenomen in variabele ‘mismatch’. Etniciteit is bepaald op basis van het geboorteland van de ouders van de student volgens de CBS-definitie. Ten aanzien van vooropleiding is deze vergeleken voor hbo- en wo-studenten. Onmogelijke combinaties (bijvoorbeeld direct van havo naar wo) zijn als niet-valide gecodeerd en als missende waarde gedefinieerd. Vervolgens is aandacht besteed aan de missende scores op de tevredenheidsvragen. Er is onderscheid gemaakt tussen werkelijke missende scores (-1) en een code voor de vragen die niet van toepassing zijn (-2). Deze codes zijn in het bestand gedefinieerd als ‘missing value’. De vragen over studeren met een functiebeperking zijn opgeschoond. De open vragen zijn gecodeerd en ingedeeld. Ten aanzien van de huur is er een cleaning toegepast van de extreme waarden: alle waarden onder het onderste percentiel van de verdeling en de waarden boven het 99-ste percentiel zijn als -4 (niet valide) gecodeerd en als missing gedefinieerd.

4.3

Themascores en instellingsvragen In de volgende stap zijn factor- en betrouwbaarheidsanalyses uitgevoerd en zijn themascores berekend (zie tabel 4.1).


Tabel 4.1:

Factor- en betrouwbaarheidsanalyses

Inhoud (themascore) Het niveau van je opleiding Aansluiting inhoud bij beeld van de opleiding De aansluiting van je opleiding bij je vooropleiding De mate waarin de inhoud van je opleiding stimulerend is Aansluiting inhoud van je opleiding bij actuele ontwikkelingen Samenhang tussen de verschillende onderdelen van je opleiding De in jouw opleiding gehanteerde werkvormen Mogelijkheid om zelf de inhoud te bepalen De inhoudelijke kwaliteit van het studiemateriaal

% of Variance Cronbach's Alpha Algemene vaardigheden (themascore) Een kritische houding Het functioneren in een professionele context Het onderbouwen van conclusies Communicatieve vaardigheden Het samenwerken met anderen Argumenteren/redeneren

% of Variance Cronbach’s Alpha

Communaliteiten

Factorladingen

Alpha if item deleted

0,56 0,60 0,36 0,66 0,52 0,53 0,57 0,40 0,57

0,75 0,77 0,60 0,81 0,72 0,73 0,75 0,63 0,75

0,87 0,87 0,88 0,86 0,87 0,87 0,87 0,88 0,87

Communaliteiten

Factorladingen


0,53 0,57 0,63 0,54 0,45 0,61

0,73 0,76 0,80 0,74 0,67 0,78

0,86 0,85 0,85 0,86 0,87 0,85

53,03 0,89

56,78 0,87

Wetenschappelijke vaardigheden wo (themascore)

Communaliteiten

Factorladingen


Analytisch denken Het kritisch beoordelen van wetenschappelijk werk Het ontwikkelen van wetenschappelijke theorieën Het schrijven van wetenschappelijke artikelen Methoden en technieken van onderzoek Het doen van zelfstandig onderzoek

0,50 0,65 0,68 0,66 0,66 0,64

0,71 0,80 0,82 0,81 0,81 0,80

0,88 0,86 0,86 0,86 0,86 0,86

Communaliteiten

Factorladingen


0,64 0,77 0,75 0,76

0,80 0,88 0,87 0,87

0,87 0,83 0,84 0,83

Communaliteiten

Factorladingen


0,73 0,73 0,73 0,55 0,68

0,85 0,86 0,85 0,74 0,82

0,85 0,85 0,85 0,88 0,86

% of Variance Cronbach's Alpha Wetenschappelijke vaardigheden hbo (themascore) Analytisch denken Het kritisch beoordelen van praktijkgericht onderzoek Het schriftelijk rapporteren over praktijkgericht onderzoek Methoden en technieken van praktijkgericht onderzoek

% of Variance Cronbach's Alpha Voorbereiding beroepsloopbaan (themascore) Het opdoen van vaardigheden voor de beroepspraktijk De praktijkgerichtheid van je opleiding Het contact met de beroepspraktijk De kwaliteit van de stagebegeleiding vanuit je opleiding De aansluiting van de stages bij het overige onderwijs

% of Variance Cronbach's Alpha


63,06 0,88

73,11 0,88

68,43 0,88

Docenten (themascore) De De De De De De De De

inhoudelijke deskundigheid van docenten didactische kwaliteit van docenten bereikbaarheid van docenten buiten contacturen betrokkenheid van de docenten bij de studenten kwaliteit van de begeleiding door docenten kwaliteit van feedback van docenten mate waarin docenten inspirerend zijn kennis van de docenten over de beroepspraktijk

% of Variance Cronbach's Alpha Informatievoorziening (themascore) De voorlichting over je opleiding De informatie over jouw studievoortgang De informatie over regels en procedures

% of Variance Cronbach's Alpha Studiefaciliteiten (themascore) De geschiktheid van de onderwijsruimten De geschiktheid van werkplekken De beschikbaarheid van werkplekken Het opleidingsmateriaal De bibliotheek/mediatheek De ICT-faciliteiten De digitale leeromgeving

% of Variance Cronbach's Alpha Informatiepunt (themascore) De informatiebalie De studentenadministratie

% of Variance Cronbach's Alpha Toetsing en Beoordeling (themascore) De duidelijkheid van criteria waarop beoordeeld wordt Aansluiting toetsing en beoordeling bij inhoud opleiding Het tijdig bekend maken van resultaten en beoordelingen

% of Variance Cronbach's Alpha Studierooster (themascore) Het tijdig bekendmaken van de roosters Het tijdig bekendmaken van wijzigingen in de roosters De geschiktheid van het studierooster



Communaliteiten

Factorladingen


0,61 0,62 0,52 0,67 0,74 0,65 0,67 0,51

0,78 0,79 0,72 0,82 0,86 0,80 0,82 0,71

0,90 0,90 0,91 0,90 0,89 0,90 0,90 0,91

Communaliteiten

Factorladingen


0,69 0,74 0,75

0,83 0,86 0,87

0,78 0,73 0,72

Communaliteiten

Factorladingen


0,62 0,69 0,60 0,51 0,53 0,63 0,55

0,79 0,83 0,77 0,71 0,73 0,79 0,74

0,86 0,85 0,87 0,87 0,87 0,86 0,87

Communaliteiten

Factorladingen


0,85 0,85

0,92 0,92

(n.v.t.) (n.v.t.)

Communaliteiten

Factorladingen


0,75 0,76 0,53

0,86 0,87 0,73

0,61 0,60 0,80

Communaliteiten

Factorladingen


0,77 0,80 0,72

0,88 0,89 0,85

0,77 0,74 0,82

62,41 0,91

72,76 0,81

58,97 0,88

84,77 0,82

68,21 0,75

76,17 0,84

Studielast (themascore) De spreiding van de studielast over het studiejaar De haalbaarheid van deadlines De aansluiting tussen ECTS en de daadwerkelijke studielast


Communaliteiten

Factorladingen


0,74 0,75 0,69

0,86 0,86 0,83

0,72 0,72 0,77

72,46 0,81

Studiebegeleiding (themascore)

Communaliteiten

Factorladingen


De mogelijkheid tot begeleiding De kwaliteit van begeleiding

0,90 0,90

0,95 0,95

(n.v.t.) (n.v.t.)

Communaliteiten

Factorladingen


0,38 0,36 0,32 0,67 0,65 0,47

0,61 0,60 0,57 0,82 0,81 0,69

0,74 0,74 0,76 0,69 0,70 0,73

Communaliteiten

Factorladingen


0,90 0,90

0,95 0,95

(n.v.t.) (n.v.t.)

Communaliteiten

Factorladingen


0,64 0,75 0,84 0,73

0,80 0,86 0,91 0,85

0,87 0,84 0,81 0,85

Communaliteiten

Factorladingen


0,73 0,63 0,64 0,34

0,85 0,80 0,80 0,58

0,63 0,68 0,67 0,79

% of Variance Cronbach's Alpha Studieomgeving (themascore) De bereikbaarheid van je instelling De restauratieve voorzieningen op je instelling De sportvoorzieningen op je instelling De horecavoorzieningen in je studiestad Het cultureel aanbod van je studiestad De hoeveelheid groen in je studiestad

% of Variance Cronbach's Alpha Huisvesting (themascore) De beschikbaarheid van woonruimte in je studiestad De betaalbaarheid van woonruimte in je studiestad

% of Variance Cronbach's Alpha Betrokkenheid (themascore) Onderwijsevaluaties die onder studenten plaatsvinden Informatie over de uitkomsten van onderwijsevaluaties Wijze van gebruik uitkomsten onderwijsevaluaties Manier waarop opleiding op klachten en problemen reageert

% of Variance Cronbach's Alpha Internationale studenten (themascore) De geboden hulp door je opleiding Hulp door opleiding bij integratie in Nederlandse cultuur De persoonlijke begeleiding door je mentor Het aanbod aan Engelstalige vakken



90,00 0,89

47,50 0,76

90,09 0,89

73,69 0,88

58,55 0,75

Studeren met een functiebeperking (themascore) Voorlichting en informatie over studeren met beperking Opvang bij de start van hun studie Beschikbare hulpmiddelen en faciliteiten Geschiktheid van de gebouwen Aanpassingen in het onderwijs Begrip docenten en overige medewerkers Voldoende kennis docenten en overige medewerkers Mate waarin medestudenten begrip hebben Speciale begeleiding tijdens de studie krijgt


4.4

Communaliteiten

Factorladingen


0,71 0,78 0,78 0,54 0,78 0,67 0,72 0,35 0,77

0,84 0,88 0,88 0,74 0,89 0,82 0,85 0,59 0,88

0,93 0,93 0,93 0,94 0,93 0,93 0,93 0,95 0,93

67,79 0,94

Weegfactoren Vervolgens zijn de weegfactoren berekend. Dit is gedaan door op het niveau brin*croho*locatie de responsaantallen te bepalen. De weegfactor is vastgesteld door de proportie in de populatie te delen door de proportie in de respons. Extreem hoge en extreem lage weegfactoren zijn kritisch bekeken. Er waren geen extreem lage weegfactoren (de laagste waarde is 0,35). De weegfactoren boven een waarde van 4,5 zijn gefixeerd op 4,5; het betrof hier 26 cellen. Twaalf cellen hadden een weegfactor tussen de 4,5 en 6; in acht cellen lag de weegfactor tussen 6 en 7,5 en in vijf gevallen had de weegfactor een waarde tussen 8 en 12,5. Bij één combinatie van brin*croho*locatie had de weegfactor een waarde van 20,4. Voor alle hier beschreven cellen zijn de weegfactor gefixeerd op 4,5. Hierna is de weegfactor herschaald (door de weegfactor te delen door het gemiddelde gewicht), zodat het gemiddelde gewicht uitkomt op een waarde van 1 en aldus voor de totale groep de ongewogen aantallen gelijk zijn aan de gewogen aantallen.

4.5

Synchronisatie voorgaande jaren Het bestand van 2012 is gesynchroniseerd met de data uit 2010 en 2011. Hierbij vormt het meest actuele bestand (hier: 2012) de basis. Instellingsvragen zijn gesynchroniseerd of gestapeld en in sommige gevallen hernoemd. Hierna zijn alle brin- en CROHO-codes aangepast op basis van de meest actuele situatie. Hiervoor zijn de variabelen BrinActueel, BrinNaamActueel, CrohoActueel en CrohoNaamActueel gebruikt. De originele variabelen uit 2011 zijn gehandhaafd. Deze exercitie is uitgevoerd met behulp van het DUOconversiebestand, het actuele CROHO en de SKI-database. Alle opleidingen die niet in de SKI-database voorkomen (omdat er geen instroom meer mogelijk is), maar nog wel actueel zijn c.q. historische opleidingen zijn behouden. De bestanden van 2012, 2011 en 2010 zijn gekoppeld tot een trendbestand.

4.6

Extract benchmarkbestand De afgesproken set van variabelen is weggeschreven naar het trendbestand in sav en xls formaat. Hiervoor is een nieuw random recordnummer gegenereerd. Het bestand is voorzien van een versienummer. De volgende variabelen zijn opgenomen in het benchmarkbestand: random volgnummer, jaar, weegfactor, actuele instellingscode, actuele instellingsnaam, bestuurscode, bestuursnaam, gecorrigeerde brin-code, instellingsnaam, actuele opleidingscode, actuele opleidingsnaam, gecorrigeerde CROHO-code, opleidingsnaam, locatie volgens CROHO, sector, sectornaam, soort hoger onderwijs, type hoger onderwijs, gemeentecode, stedelijkheid, landsdeel, numerus fixus, decentrale selectie, bekostiging, opleidingsvorm (vt/dt/du), opleidingsvorm (vt/dt), alle oordelen en de antwoorden op de ultimate question met uitzondering van de vragen over onderwijstijd, handicap en internationale studenten.


4.7

Extract instellingsbestanden Alle instellingsrecords zijn weggeschreven in een instellingsspecifiek bestand in sav en xls formaat. Hiervoor is een nieuw random recordnummer gegenereerd. Voor sommige instellingen zijn hierbij later aangeleverde labels toegevoegd. Deze bestanden zijn op de server geplaatst en via een inlogcode en wachtwoord beschikbaar gesteld. De inloggegevens zijn per mail aan de contactpersonen gestuurd. Bij correcties of het online zetten van nieuwe versies hebben de contactpersonen hierover een mail ontvangen. Er zijn voor de samenwerkingsopleidingen (bijv. University College Amsterdam, ACTA, Juridische Hogeschool) tevens separate bestanden van deze opleidingen aangemaakt en aan contactpersonen van beide instellingen gestuurd.

4.8

Dossiers NSE Online Ten behoeve van NSE Online is een databestand opgeleverd aan Q Delft. In overleg met het bestuur en het deskundigenpanel is besloten om een aantal openbare en niet-openbare dossiers toe te voegen aan NSE Online. De dossiers bevatten de volgende velden:

Dossier 1: Openbaar dossier croho * brin * locatie * vorm (privacyalgoritme n >10)

Jaar Alle studentoordelen Geen oordelen handicap en internationalisering i.v.m. privacygevoeligheid Geen instellingsvragen Geen studentkenmerken

Dossier 2: Handicap en internationalisering: instellingsgegevens (privacyalgoritme n >10)

Jaar Oordelen internationale studenten en handicap Aard handicap Brin met daaraan gerelateerde kenmerken (zoals soort hoger onderwijs; bekostiging, brin actueel, bestuur; brinomschrijving actueel; bestuur; locatie; gemeentecode; stedelijkheid; landsdeel) Geen opleiding en opleidingskenmerken

Dossier 3: Handicap en internationalisering: opleidingsgegevens (privacyalgoritme n >10)

Jaar Oordelen internationale studenten en handicap Aard handicap CROHO met daaraan gerelateerde kenmerken (zoals CrohoActueel; CROHO omschrijving actueel; soort hoger onderwijs; sector; studiecode; BaMa) Geen instelling en instellingskenmerken

Dossier 4: Achtergrondkenmerken naar instelling (privacyalgoritme n >10)

Jaar Alle studentoordelen Brin met daaraan gerelateerde kenmerken (zoals soort hoger onderwijs; bekostiging, brin actueel, bestuur; brinomschrijving actueel; bestuur; locatie; gemeentecode; stedelijkheid; landsdeel) Geen opleiding en opleidingskenmerken Achtergrondkenmerken (geslacht; leeftijd; etniciteit; soort ho; vorm; handicap ja/nee; internationale student ja/nee) Geen oordelen handicap en internationalisering i.v.m. privacygevoeligheid


Dossier 5: Achtergrondkenmerken naar opleiding (privacyalgoritme n >10)

Jaar Alle studentoordelen CROHO met daaraan gerelateerde kenmerken (zoals CrohoActueel; CROHO omschrijving actueel; soort hoger onderwijs; sector; studiecode; BaMa) Geen instelling en instellingskenmerken Achtergrondkenmerken (geslacht; leeftijd; etniciteit; soort ho; vorm; handicap ja/nee; internationale student ja/nee) Geen oordelen handicap en internationalisering i.v.m. privacygevoeligheid Geen opleiding en opleidingskenmerken

Dossier 6: Instellingsdossiers met labels (achter wachtwoord: privacyalgoritme n >5)

Jaar Data per instelling achter een wachtwoord Alle oordelen Alle achtergrondkenmerken Eigen labels

Dossier 7: Instellingsdossiers met eigen vragen (achter wachtwoord: privacyalgoritme n >5)

Jaar Data per instelling achter een wachtwoord Alle achtergrondkenmerken Eigen vragen Eigen labels


5

5.1

Overige publicaties

Opname van de NSE 2012 in de Studiekeuzedatabase In overleg met het deskundigenpanel zijn de volgende beslisregels bepaald voor opname van de studentoordelen in de Studiekeuzedatabase: (1) (2) (3) (4)

Alle oordelen worden opgenomen op het niveau croho*brin*locatie, separaat voor voltijd- en deeltijdopleidingen bij een respons van minimaal tien respondenten per cel; Indien er onvoldoende respons is, worden verschillende locaties dan wel verwante opleidingen samengevoegd om alsnog het benodigde aantal van tien respondenten te verkrijgen; Indien bij een opleiding een respons is gerealiseerd van ten minste veertig procent wordt de ondergrens van tien respondenten bijgesteld naar vijf respondenten; Indien op vraagniveau een respons is gerealiseerd van minder dan vijf respondenten (veroorzaakt door ‘missing values’ of ‘niet van toepassing’) worden de resultaten van desbetreffende vraag niet getoond.

Voor 1.513 bacheloropleidingen, 845 masteropleidingen en 637 deeltijdopleidingen zijn resultaten uit de Nationale Studentenenquête 2012 in de Studiekeuzedatabase opgenomen. Van tien bacheloropleidingen, zeven masteropleidingen en één deeltijdopleiding zijn de resultaten van 2011 opgenomen in de Studiekeuzedatabase, omdat er geen oordelen over 2012 bekend zijn. Dat betekent dat er studentoordelen beschikbaar zijn voor 94 procent van de bacheloropleidingen, 66 procent van de masteropleidingen en 78 procent van de deeltijdopleidingen die op dit moment worden aangeboden in Nederland. Om de resultaten van de Nationale Studentenenquête op te kunnen nemen in de Studiekeuzedatabase is een aantal bewerkingstappen gezet. De gegevens zijn gecontroleerd op inconsistenties met de Studiekeuzedatabase en op voldoende respons per opleiding, en vervolgens geaggregeerd (de gemiddelde themascores per opleiding zijn berekend). Ook zijn de resultaten gecontroleerd op voldoende respons per vraag. In de onderstaande paragrafen worden alle bewerkingstappen toegelicht. Tabel 5.1 toont het aantal opleidingen dat is opgenomen in de database.

5.1.1

Cleaning ten behoeve van koppeling met de Studiekeuzedatabase De Studiekeuzedatabase bevat alleen opleidingen waarbij nieuwe instroom van studenten mogelijk is. In de Nationale Studentenenquête zijn ook studenten ondervraagd van opleidingen die nog actueel zijn, maar waar geen nieuwe instroom mogelijk is. De resultaten van deze opleidingen zijn niet opgenomen in de Studiekeuzedatabase, omdat deze opleidingen niet meer voorkomen in de Studiekeuzedatabase. Het betreft 155 van de 2.782 opleidingen. Voor 357 opleidingen is de historische opleidingscode naar een nieuwe code omgezet om te kunnen koppelen met de Studiekeuzedatabase. Bij vier particuliere instellingen zijn alle locaties samengevoegd tot één locatie ‘Diverse locaties’, omdat de Studiekeuzedatabase deze samenvoeging ook hanteert. Voor twee opleidingen is de locatie omgezet van de gemeentenaam naar de naam van de vestigingsplaats om de opleiding te kunnen koppelen met de Studiekeuzedatabase.

5.1.2

Controleren van respons per opleiding Opleidingen worden opgenomen in de Studiekeuzedatabase wanneer voldoende studenten van de opleidingen hebben deelgenomen aan de NSE. De grens ligt bij een respons van tien of meer respondenten of wanneer de opleidingen meer dan vijf respondenten heeft die samen meer dan veertig procent van de totale populatie vormen.


5.1.3

Samenvoegen van opleidingen bij onvoldoende respons Van de 1. 619 voltijd bacheloropleidingen hebben 49 opleidingen geen studentenoordelen in de Studiekeuzedatabase vanwege een te lage respons. Voor 89 opleidingen zijn de oordelen van verschillende locaties (minimaal 10 respondenten) of van verwante opleidingen (met name lerarenopleidingen) samengevoegd om te komen tot een voldoende grote steekproef. Bij drie opleidingen zijn de oordelen van de opleiding van verschillende instellingen samengevoegd, omdat de opleiding in samenwerking met deze instellingen wordt aangeboden. Van de 1.294 masteropleidingen hebben 212 opleidingen een te kleine respons. Van 34 opleidingen zijn de oordelen van verschillende locaties of van verwante opleidingen (met name lerarenopleidingen) samengevoegd, zodat de opleidingen samen voldoende respons hebben (minimaal 10 respondenten). Bij één opleiding (tandheelkunde) zijn de oordelen van de opleiding van twee instellingen samengevoegd, omdat de opleiding in samenwerking wordt aangeboden. Wanneer een opleiding is samengevoegd met een andere opleiding is dit vermeld in het veld ‘Noot’ in de Studiekeuzedatabase. Van de 812 deeltijd bacheloropleidingen hebben 79 opleidingen geen studentenoordelen in de Studiekeuzedatabase vanwege een te lage respons. Van 103 opleidingen zijn de oordelen van verschillende locaties of van verwante opleidingen (met name lerarenopleidingen) samengevoegd, zodat de opleidingen samen voldoende respons hebben (minimaal 10 respondenten).

Tabel 5.1:

Opname studentoordelen in Studiekeuzedatabase

Opname in database Opleidingen in database Oordelen 2012 Oordelen 2011 Opleidingen zonder oordelen Percentage met oordelen % Gebruik van oordelen op opleidingsniveau Opname opleiding Samenvoeging Onvoldoende respons

5.1.4

Bachelor 1.619 1.513 10 96 94% Bachelor 1.523 89 49

Master 1.294 845 7 442 66% Master 852 89 212

Deeltijd 812 637 1 174 79% Deeltijd 638 103 79

Aggregeren: het berekenen van de scores per opleiding Per opleiding zijn de gemiddelde scores per vraag berekend. Daarnaast is per opleiding het aantal respondenten, de standaarddeviatie en de betrouwbaarheidsmarge per vraag weergegeven.

5.1.5

Controleren van respons per vraag Niet alle respondenten hebben alle vragen ingevuld (‘missing values’ of ‘niet van toepassing’). Wanneer een bepaalde vraag door minder dan vijf respondenten is beantwoord, is de gemiddelde score niet opgenomen in de Studiekeuzedatabase, omdat de kans te groot is dat deze score niet betrouwbaar is.

5.2

NSE-factsheets Voor alle instellingen zijn factsheets vervaardigd (zie figuur 5.1). Deze factsheets bevatten per instelling een overzicht van de gemiddelde clusterscores en gemiddelde scores op losse items van de eigen instelling, waarbij met kleur in het blok met de vraagtekst aangegeven wordt wat de gemiddelde score van de instelling is: score lager dan 3 (rood), tussen 3 en 3,5 (blauw) of hoger dan 3,5 (groen).


In het blok met de scores wordt steeds aangegeven of de instellingsscore significant lager is dan het landelijk gemiddelde, gelijk is aan het landelijk gemiddelde of hoger is dan het landelijk gemiddelde. Tevens is aangegeven of de instellingsscore significant hoger of lager is dan de vorige meting. Doelgroep voor deze factsheets zijn de instellingsbesturen en centrale kwaliteitszorgmedewerkers. Voor sommige instellingen zijn in een separate opdracht dergelijke overzichten ook vervaardigd op opleidingsniveau. De overzichten kon men downloaden met een wachtwoord. De NSE-factsheets zijn half juni verzonden. Ze zijn tevens digitaal beschikbaar gesteld.

Figuur 5.1: Voorbeeld factsheet


Overzicht van figuren en tabellen

Figuur Figuur Figuur Figuur Figuur Figuur Figuur Figuur Tabel Tabel Tabel Tabel Tabel Tabel Tabel Tabel

1.1: 2.1: 3.1: 3.2: 3.3: 3.4: 3.5: 5.1:

1.1: 1.2: 1.3: 1.4: 3.1: 3.2: 3.3: 3.4:

Tabel 4.1: Tabel 5.1:

Tweets tijdens NSE 2012 ............................................................................................. 7 Schematische weergave van ‘dedicated’ technische infrastructuur voor de NSE 2012 .......... 10 Responsgegevens: totale respons en respons per dag ................................................... 16 Respons per dag van de week .................................................................................... 16 De relatie tussen invultijd en het aantal extra instellingsvragen (alleen completes). ............ 17 Voorbeeld responsoverzicht per opleiding voor instellingen ............................................. 21 Voorbeeld openbaar responsoverzichten ...................................................................... 21 Voorbeeld factsheet .................................................................................................. 33 Deelname onderwijsinstellingen .................................................................................... 3 Aanlevering bestanden ................................................................................................ 4 (Gerubriceerd) overzicht van issues van contactpersonen ................................................. 5 (Gerubriceerd) overzicht van issues van studenten .......................................................... 6 Responsoverzicht NSE ............................................................................................... 15 Incompletes: moment van afhaken (% vragen ingevuld) ................................................ 17 Typering van verschillende non-respons groepen in vergelijking met responsgroep (%) ...... 18 Kans op non-respons versus respons en populatie; resultaten van een multinominale regressie-analyse binnen een multilevel structuur.......................................................... 19 Factor- en betrouwbaarheidsanalyses .......................................................................... 24 Opname studentoordelen in Studiekeuzedatabase ......................................................... 32


NSE Onderzoeksverantwoording. Onderzoek in opdracht van Stichting Studiekeuze123 Anja van den Broek Bas Kurver Steffie Hampsink SK

Recommend Documents