Nationale Studentenenquête 2009

SK123 10.0037

Nationale Studentenenquête 2009 Onderzoeksverantwoording

ResearchNed in opdracht van Stichting Studiekeuze123 Anja van den Broek Marjolein Muskens Bas Kurver Robert Tholen Jessica Pass Dik Leering januari ’10

© 2009 ResearchNed Nijmegen in opdracht van Stichting Studiekeuze123. Alle rechten voorbehouden. Het is niet geoorloofd gegevens uit dit rapport te gebruiken in publicaties zonder toestemming van de opdrachtgever en zonder nauwkeurige bronvermelding.

2

Inhoud

1

2

ORGANISATIE EN COMMUNICATIE

5

1.1 1.2 1.3 1.4 1.5 1.6

5 5 5 6 6 7

VERWERKVERLOOP 2.1 2.2 2.3

3

4

Projectorganisatie Overlegstructuur Communicatie met instellingen Deelname instellingen Vragenlijst Steekproeftrekking en steekproefomvang

Mailings Responsverhogende maatregelen Respons

9 9 10 10

ANALYSE

17

3.1 3.2 3.3 3.4 3.5 3.6 3.7 3.8

17 20 21 22 25 28 29 31

Schaalbetrouwbaarheid Bijschatten opleidingsvorm Typering van de respons en non-respons Betrouwbaarheid van de data Koppeling trendbestand Weging Respons en aggregatie Kleine cellen

CORRECTIE VAN HET METHODE-EFFECT

33

4.1 4.2 4.3

33 34 35

Berekening van het methode-effect Multilevel-modellen Verschillen naar achtergrondkenmerken na correctie

5

RESULTATEN OP HOOFDLIJNEN

47

6

PUBLICATIE VAN DE DATA

50

6.1 6.2 6.3

50 51 52

7

Studiekeuzedatabase en website Studiekeuze123 Instellingsspecifieke bestanden en rapportages NSE Online

VERNIEUWING VRAGENLIJST 2010

55

7.1 7.2 7.3 7.4 7.5 7.6

55 56 57 58 65 65

Aanleiding Inventarisatie bestaande vragenlijsten Delphi-onderzoek Resultaten Open vragen Conclusies

3 – Onderzoeksverantwoording v1

8

9

GEBRUIK VAN ANTWOORDSCHALEN

67

8.1 8.2 8.3 8.4 8.5 8.6 8.7 8.8

67 68 69 70 71 71 72 73

Overzicht Resultaten Conclusies Transformaties tussen antwoordschalen Kwalitatieve analyse Contextgebondenheid en taalgebruik Meetniveau en antwoordcategorieën Live pilot onder studenten

VALIDATIE

77

9.1 9.2 9.3

77 81 87

Hoofdcomponentenanalyse Betrouwbaarheidsanalyses Conclusie

10 INTEGRATIE STO-NSE 10.1 10.2

Inhoud van de vragenlijst Antwoordcategorieën

BIJLAGE A: VRAGENLIJST NSE 2010

88 89 89

92

BIJLAGE B: OVERIGE OPMERKINGEN VRAGENLIJST

106

BIJLAGE C: VERGELIJKING STO2009-NSE2010

110

BIJLAGE D: OVERZICHT TABELLEN EN FIGUREN

112


1 Organisatie en communicatie

1.1

Projectorganisatie Met ingang van 1 januari 2009 valt de Nationale Studentenenquête (NSE) onder verantwoordelijkheid van Studiekeuze123. Studiekeuze123.nl is een gezamenlijk initiatief van hoger onderwijsinstellingen HBORaad, VSNU en PAEPON, en de studentenorganisaties LSVb en ISO. Het ministerie van Onderwijs, Cultuur en Wetenschap zorgt voor de financiering. De uitvoering is in handen van SURFfoundation. SURFfoundation is de ICT-samenwerkingsorganisatie voor het hoger onderwijs en onderzoek in Nederland. De uitvoering van de Nationale Studentenenquête is handen van ResearchNed en TNS NIPO. De algehele projectleiding is in handen van Anja van den Broek.

1.2

Overlegstructuur De uitvoering van de Nationale Studentenenquête wordt begeleid door een commissie waarin universiteiten, hogescholen, het particuliere onderwijs, studentenorganisaties en methodologen zijn vertegenwoordigd. De Begeleidingscommissie NSE kwam in 2009 maandelijks bij elkaar om de stand van zaken rondom de NSE door te spreken en hier advies over te geven. De begeleidingscommissie NSE werd op de hoogte gehouden van actuele ontwikkelingen door middel van relevante stukken zoals tussentijdse rapportages en responsoverzichten. Van elke bijeenkomst is een verslag gemaakt waarin discussiepunten, besluiten en actiepunten zijn opgenomen. Daarnaast zag een deskundigenpanel toe op de kwaliteit van de data en de gebruikte methoden. Het deskundigenpanel kwam in 2009 zeven keer bij elkaar. Bij elke bijeenkomst zijn stukken die verband hielden met de methode en kwaliteit van de data verspreid onder leden van het deskundigenpanel. Tijdens de bijeenkomsten werden deze stukken besproken op basis waarvan afspraken werden gemaakt over het vervolg van het traject.

1.3

Communicatie met instellingen Communicatie met instellingen heeft op diverse manieren plaatsgevonden. Er zijn twee informatiebijeenkomsten georganiseerd waar alle instellingen in het hoger onderwijs welkom waren. Tijdens de eerste bijeenkomst is het draaiboek van de NSE 2009 toegelicht, in de tweede bijeenkomst zijn voornamelijk de resultaten van de NSE 2009 besproken. Alle informatie en stukken die beschikbaar waren gedurende 2009 zijn op de website www.studiekeuzeinformatie.nl/nse geplaatst. Op deze site konden instellingen onder andere het draaiboek, de uitnodigingstekst en de vragenlijst downloaden. Daarnaast konden de contactpersonen NSE hier gegevens aanvragen waarmee zij bestanden met e-mailadressen en achtergrondgegevens konden uploaden via de beveiligde uploadfaciliteit. Ook deze uploadfacilteit was te vinden op deze website. Tijdens de afname van de enquête werden wekelijks responsoverzichten per instelling op de website geplaatst. Bij de voorbereiding van het veldwerk is intensief contact geweest met instellingen om na te gaan of zij actief wilden participeren aan de NSE 2009. Medewerkers op instellingen die bekend waren als contactpersoon voor de Studiekeuzedatabase zijn benaderd per telefoon en e-mail. In een aantal gevallen bleek een andere medewerker als contactpersoon NSE te worden benoemd hoewel in de meeste gevallen de contactpersoon voor de Studiekeuzedatabase ook de contactpersoon voor de NSE is geworden. Met deze contactpersonen is rechtstreeks gecommuniceerd.


Vragen die gesteld zijn via e-mail (rechtstreeks bij de onderzoeker of via het contactformulier op studiekeuzeinformatie.nl), zijn opgenomen in de helpdesk Jira. Hierin werd bijgehouden wanneer een vraag gesteld en beantwoord was, wie het antwoord gegeven heeft en het uiteindelijke antwoord op de vraag.

1.4

Deelname instellingen Studiekeuze123 had als doel de instellingen actiever betrekken bij de Nationale Studentenenquête. Dit uitte zich onder andere door een actieve betrokkenheid van representanten van instellingen en studenten bij de totstandkoming van de vragenlijst. Ook werd aan instellingen de mogelijkheid geboden om extra vragen toe te voegen aan de vragenlijst en om de hele studentenpopulatie deel te laten nemen. Hierdoor waren er in 2009 instellingen waarvan de gehele populatie ondervraagd werd (actieve participatie) en instellingen waarvan een steekproef werd uitgenodigd (passieve participatie) die vanwege de driejaarlijkse cylcus die gehanteerd werd aan de beurt waren om mee te doen. Bij actieve participatie werd aan instellingen gevraagd een bestand aan te leveren met daarin de emailadressen en enkele achtergrondkenmerken van de hele studentenpopulatie. Het was belangrijk om een koppeling te kunnen maken tussen de opleiding en de instelling waar de student studeert, èn een aantal achtergrondkenmerken (croho-code, instelling, geslacht, leeftijd, studiejaar, etniciteit, vooropleiding). Deze kenmerken waren nodig om de route door de vragenlijst te programmeren en de gegevens te wegen en te analyseren nadat het veldwerk was afgerond. Bij actieve participatie werden studenten per e-mail uitgenodigd mee te doen met de NSE, bij passieve participatie werden studenten per brief uitgenodigd. De voorkeur ging echter sterk uit naar het verzenden van deze wachtwoorden per e-mail vanwege de betere beheersbaarheid van het proces bij emailverzendingen dan bij postverzendingen. Instellingen hadden de keuze om de onderzoekers de e-mails te laten versturen, of om dit zelf te doen. In het eerste geval leverde de instelling een bestand aan met e-mailadressen samen met een aantal relevante achtergrondkenmerken (croho-code, instelling, geslacht, leeftijd, studiejaar, etniciteit, vooropleiding). Deze informatie werd aangeleverd worden via een uploadfaciliteit op www.studiekeuzeinformatie.nl. Studenten ontvingen een individuele mail aan elke student met daarin een persoonlijke link naar de vragenlijst. Op basis van de geleverde achtergrondkenmerken werd de route door de vragenlijst bepaald. Gedurende het veldwerk werd een aantal malen een e-mailrappel worden verzorgd voor die studenten die nog niet gereageerd hebben (zie ook paragraaf 2.2). Van de mogelijkheid om de e-mails zelf te versturen heeft geen van de actief participerende instellingen gebruik gemaakt. Instellingen kregen de mogelijkheid aangeboden om extra vragen aan te leveren. Het ging hier om instellingsspecifieke vragen die alleen aangeboden werden aan studenten van de instelling die de vragen heeft aan geleverd. Hier waren kosten aan verbonden voor het redigeren, programmeren, testen, toevoegen aan het veldwerk en de verwerking. De resultaten van de extra vragen zijn eigendom geworden van de instellingen. Instellingen konden maximaal vijf extra vragen aanleveren. Het aanleveren gebeurde in Word-formaat, via de uploadfaciliteit op www.studiekeuzeinformatie.nl/nse. Instellingen konden om advies vragen bij de onderzoekers over de juiste formulering van vragen en antwoordcategorieën. In totaal hebben zeven instellingen gebruik gemaakt van de mogelijkheid om extra vragen toe te voegen.

1.5

Vragenlijst Het uitgangspunt voor de vragenlijst NSE 2009 vormde de vragenlijst voor bachelorstudenten en de vragenlijst voor masterstudenten van de NSE 2008. Allereerst zijn deze lijsten geïntegreerd tot één lijst, waarbij er gebruik werd gemaakt van verschillende routings voor bachelor- en masterstudenten. Vervolgens is deze concept-vragenlijst voorgelegd aan de leden van de Begeleidingscommissie NSE.


Door deze commissie zijn suggesties gedaan voor verbetering van de vragenlijst, zoals het consequent gebruiken van begrippen, het verwijderen van vragen die dubbel gesteld werden en het splitsen van vragen die twee onderwerpen tegelijk besloegen. Het streven was om de vragenlijst van de NSE 2009 zoveel mogelijk gelijk te houden aan de vragenlijsten die in voorgaande jaren werden gebruikt om de vergelijkbaarheid met deze jaren te garanderen. De begeleidingscommissie NSE en de opdrachtgever hebben de definitieve versie van de vragenlijst goedgekeurd. Vervolgens is de vragenlijst is vertaald in het Engels en Duits door vertalers die ruime ervaring hebben in het vertalen van teksten op het gebied van het hoger onderwijs. De vertalingen zijn voor meerdere onderzoekers beoordeeld en goedgekeurd.

1.6

Steekproeftrekking en steekproefomvang In totaal hebben 31 instellingen gekozen voor een actieve participatie aan de Nationale Studentenenquête. Deze instellingen leverden samen bijna 105.000 e-mailadressen van studenten. Dit waren vooral instellingsadressen. Sommige instellingen leverden daarnaast ook de privé-adressen (voor het gebruik hiervan is te allen tijde toestemming gevraagd). Onder de actief participerende instellingen bevonden zich negen wo- en 22 hbo-instellingen. Twaalf instellingen zijn bekostigd; 19 instellingen zijn niet-bekostigd (NBI). Van de overige niet-bekostigde instellingen is een steekproef getrokken van hoofdinschrijvingen uit het 1CijferHo1. Bij het bepalen van de opleidingen die worden opgenomen in de NSE 2009 zijn de volgende uitgangspunten gehanteerd: Grote opleidingen die in het verleden tweejaarlijks bevraagd werden, zijn in 2009 (als zij aan de beurt waren) bevraagd. Dit geldt ook voor kleine opleidingen met een traditioneel driejaarlijkse bevraging. Van alle wo-opleidingen waarvan de bachelorvariant in 2009 aan de beurt was, zijn ook de verwante masteropleidingen opgenomen, zelfs als die in 2008 zijn bevraagd. Deze verwantschappen zijn ingedeeld op basis van en zogenaamde studiecode (zie Studiekeuzedatabase). Bijvoorbeeld: “Gedrag en Maatschappij” bevat de volgende studiecodes: HBO Maatschappelijk werk en dienstverlening, HBO Culturele en maatschappelijke vorming, HBO Personeel en arbeid, HBO Sociaal pedagogische hulpverlening, HBO Sociaal-juridische dienstverlening, HBO Creatieve therapie, WO Sociologie en Sociale studies, WO Culturele antropologie, WO Psychologie, HBO Toegepaste psychologie, HBO Social Work). In de vorige versies van de NSE was vaak sprake van ‘herkansingen’. Dat betekent dat opleidingen, indien in een bepaald jaar onvoldoende respons werd behaald, het jaar daarop volgend opnieuw werden opgenomen. Hierdoor zijn voor veel opleidingen uit verschillende jaren data beschikbaar. Als uitgangspunt is genomen het jaar waarin een opleiding (croho-code) voor het eerst in de laatste cyclus bevraagd is. Als bijvoorbeeld de opleiding “Hoger Hotelmanagement” in 2006 is bevraagd en bij sommige instellingen in 2007 is herkanst, is deze opleiding in 2009 opnieuw opgenomen. Daardoor lijkt het soms dat ook kleinere opleidingen tweejaarlijks worden bevraagd. De steekproefomvang is als volgt berekend: Voor opleidingen met minder dan 200 studenten is de hele populatie aangeschreven; voor opleidingen met meer dan 200 studenten worden 200 studenten random geselecteerd.

De totale bruto steekproef komt hiermee op 72.673: 54.458 voltijdstudenten (inclusief duaal) en 18.215 deeltijdstudenten.

1

In dit bestand staan alle inschrijvingen en examens van studenten in het Hoger Onderwijs (WO en HBO). Tot en met 2005 zijn de gegevens beschikbaar van het hele studiejaar. Van studiejaar 2006 zijn de gegevens beschikbaar van de peildatum 1 oktober. In het 1CijferHo zijn attributen aan de gegevens van het CRIHO toegevoegd waarmee inschrijvingen die geldig zijn op 1 oktober, kunnen worden onderscheiden van de latere inschrijvingen in het studiejaar. Tevens kan van de inschrijvingen op 1 oktober de hoofdinschrijving van de student per domein geselecteerd worden.


In totaal bevat de steekproef 72.673 records die afkomstig zijn uit het 1CijferHo; 104.545 record zijn aangeleverd via de instellingen. De steekproef kent 1.095 unieke opleiding-instellingscombinaties (704 unieke croho-codes). Ruim 40 procent van de unieke opleiding-instellingscombinaties kent een bruto-steekproef kleiner dan 50; 20 procent heeft en steekproef groter dan 200 (zie Tabel 1).

Tabel 1:

Steekproefomvang van de unieke opleidingen instellingscombinaties

Steekproefomvang

Opleiding-instellingscombinatie

>200 200 150-199 100-149 50 - 99 <50 Totaal


Percentage van totale steekproef

224 72 67 92 168 472

20% 7% 6% 8% 15% 43%

1.095

100%

2 Verwerkverloop

2.1

Mailings In de periode april-juli 2009 heeft het veldwerk van de Nationale studentenenquête plaatsgevonden. De totale steekproef bedroeg 177.218 respondenten. Van 59% waren één of twee e-mailadressen beschikbaar. In totaal 41% van de steekproef is getrokken uit het 1CijferHo. Deze records zijn per brief door de IB-Groep aangeschreven. De elektronische mailings zijn verzonden via een gespecialiseerd en gecertificeerd mailbedrijf. In totaal zijn er zes elektronische mailings uitgevoerd. De meeste mailings gingen in porties van 10.000 per dag. De laatste mailing is in één batch van 80.000 verstuurd. Dagelijks ontvingen de onderzoekers monitorrapporten over de deliverability van de mails. Vanaf de mailing Z1 zijn ook de privéadressen van studenten gebruikt en is meer communicatie verricht richting instellingen. Voor het gebruik van de privé-adressen is allereerst toestemming gevraagd aan de instellingen. Een aantal instellingen gaf hiervoor geen toestemming. Tabel 2 toont het overzicht van de mailings. Een belangrijk verschil tussen de eerste fase en tweede fase is de inzet van incentives. We komen hier later op terug. Dat zou de hoge respons van de tweede reminder (derde mailing: Z1) kunnen verklaren. Ook de betere deliverability zou een verklaring kunnen zijn.

Tabel 2:

Overzicht elektronische mailings

Mailingservice

Verstuurd

Respons

% Respons van deze zending

% Respons van totale e-mailrespons

M1 M2

97.439 89.058

8.381 4.407

9% 5%

25% 13%

Z1 Z2 Z3 Z4

103.069 110.718 97.071 80.000

9.981 5.234 2.840 3.034

10% 5% 3% 4%

29% 15% 8% 9%

Omdat niet alle instellingen actief deelnamen aan de NSE is een steekproef getrokken uit het 1CijferHo. Dit traject is al eerder beschreven. Van alle geselecteerde opleidingen met een N (=populatie) groter dan 200 zijn 200 studenten random getrokken; van opleidingen met een N lager dan 200 zijn alle studenten aangeschreven. De brieven zijn bij de IB-Groep gemerged en gecouverteerd en aangeboden aan TNT. Hiervan zijn documenten beschikbaar. Respons die via deze weg gerealiseerd is, is lager dan de respons per e-mail. De respons op de schriftelijke uitnodigingen loopt wel langer door (het lange-termijnrendement is groter). Vanwege kostenaspecten is deze groep eenmaal initieel benaderd en tweemaal is een reminder verstuurd. De brieven zijn steeds in batches van 7.500 à 10.000 per dag verzonden. De rendementen van de mailings die door de IB-Groep zijn uitgevoerd zijn iets lager dan die van de elektronische mailings. Vanaf IB-Groep2 zijn incentives ingezet. Dat zou de hogere respons kunnen verklaren.


Tabel 3:

Overzicht schriftelijke mailings

Mailingservice IBG1 IBG2 IBG3

2.2

Verstuurd 69.461 65.465 59.448

Respons 3.984 7.142 3.524

% Respons van deze zending

% Respons van totale e-mailrespons

6% 11% 6%

27% 49% 24%

Responsverhogende maatregelen Gedurende het veldwerk is bijgestuurd door middel van responsverhogende maatregelen. Uit een onderzoek onder circa 60 afbrekers bleek bovendien dat voor vier van de vijf respondenten de lengte van de vragenlijst een reden was om het invullen voortijdig te beëindigen. Uit de data blijkt inderdaad dat bij lange gridvragen de uitval begint. Dit is een van de redenen dat de enquête voor 2010 grondig is herzien (zie hoofdstuk 7, 8 en 9). Mogelijke andere redenen voor nonrespons kunnen zijn de lay-out van de vragenlijst (veel gele vlakken, onrustige lay-out), te lange uitnodigingsteksten, het ontbreken van incentives, bouncers. Om de respons te verhogen is een traject in gang gezet (fase 2: Z) waarin de volgende acties zijn ondernomen: Aantrekkelijke en rustiger styling van de vragenlijst. Nieuwe introtekst en uitnodigingsmail en -brief (wervend en vooral korter). Inzetten incentives (60 iPods Nano, ter beschikking gesteld door ResearchNed), vijf Apple MacBooks t.w.v. 1.000 euro en 250 bol.com-bonnen t.w.v. 20 euro (post ‘onvoorzien’). Monitoring van het veldwerkproces door dagelijkse (live) rapportering van de responsvoortgang, dagelijks uitlezen en beantwoorden van e-mails van studenten, wekelijks hierover rapporteren (ook Studiekeuze123 beschikte inmiddels over toegang tot mailbox van [email protected]), goede registratie van bouncers en reden van bouncing. Verlenging van de veldwerkperiode tot half juli. Begin januari is een traject gestart om instellingen ertoe te bewegen actief deel te gaan nemen aan de NSE. Dit leverde veel meer adressen op dan aanvankelijk is verwacht. In totaal kwam de bruto (ongecorrigeerde) steekproef op ruim 170.000. Vanwege spam- en bounceproblemen, maar ook om de load op de enquête te spreiden, was een periode van twee à drie weken nodig om alle respondenten te mailen. Teneinde voldoende reminders te kunnen sturen (dit ook in verband met de afgegeven responsgarantie) was verlenging van het veldwerk noodzakelijk. Elke reminder leverde immers nieuwe respons op. Het verlengen van de veldwerkperiode leverde uiteindelijk geen vertraging op in het totale project, omdat alle procedures in voorbereiding waren. Gedurende het veldwerk zijn de steekproefaantallen bijgesteld op basis van niet-bereikbaarheid van respondenten. Hiermee kregen we beter zicht op de feitelijke responspercentages.

2.3

Respons In totaal zijn 48.527 interviews gestart. Hiervan zijn er 39.755 succesvol beëindigd. Dit is 81,9% van de totaal gerealiseerde respons. In totaal 19% van de respondenten heeft niet alle oordeelsvragen ingevuld. Van 2,2% van de respons klopte de voorgevulde combinatie opleiding en instelling niet. Deze zijn door de respondenten in de vragenlijst gecorrigeerd. Van de steekproef zijn alle records die twee keer of vaker gebounced zijn, waarvan de brieven retour afzender zijn gekomen (ongeldig adres) of die op de blacklist staan bij de IB-Groep (willen niet benaderd worden) als ongeldig gekwalificeerd. Het betreft hier 7.716 van de 177.218 records uit de steekproef. Dat betekent dat de gecorrigeerde steekproef bestaat uit 169.502 records. Deze records zijn ontdubbeld op het niveau opleiding*instelling. De e-mailrespons bedraagt 34%; de IB-Groep respons 21%.


Hiermee komt de totale bruto respons op 48.527/169.502 op 28,63%. In beginsel zijn alle respondenten meegenomen in de analyses. Door de in het deskundigenpanel vastgestelde norm van minimaal vijf respondenten per vraag toe te passen en een ondergrens te hanteren voor de totale respons per opleiding van 10, worden de lage-responsopleidingen door middel van deze selecties niet getoond op de website, terwijl deze wel in het basisbestand beschikbaar blijven. Figuur 1 geeft een overzicht van het responsverloop in aantallen per week. Fase 1 (geen incentives) loop vanaf week 13 tot en met week 23/24. Fase 2 (incentives) startte in week 23. 3.000 2.500 2.000 1.500 1.000 500 0 13

Figuur 1:

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

Algeheel responsverloop NSE per week

Figuur 2 toont de responsaantallen per dag van de week. De aantallen liggen in het weekend lager omdat tijdens weekenden minder mails zijn verstuurd. Op donderdag is de respons lager dan op de andere dagen, ondanks nagenoeg gelijke mailverzendingen. Verder is de respons op de werkdagen nagenoeg gelijk. 9.000 8.000 7.000 6.000 5.000 4.000 3.000 2.000 1.000 0 Maandag

Figuur 2:

Dinsdag

Woensdag Donderdag

Vrijdag

Zaterdag

Zondag

Respons per dag van de week

Tabel 4 toont de respons (aantallen en percentages) per instelling en de benaderingswijze van studenten. De respons per instelling varieert van 15% tot 70%. In totaal 15% van het totaal van 78 betrokken instellingen laat een respons zien hoger dan 45%; 14 instellingen (18%) hebben een respons tussen 30 en 40%; 11 instellingen (14%) tussen 25 en 29%; 33 instellingen (42%) tussen 20 en 24%. Acht instellingen (10%) hebben een respons tussen 15 en 20%.

Tabel 4:

Respons per instelling


Respons Instelling

Methode

N

Hogeschool Wittenborg Centrum voor studie en documentatie voor Latijns Amerika Roosevelt Academy Middelburg Stichting Hoger Onderwijs NOVI STC-Group

E-mail E-mail E-mail E-mail E-mail

16 5 261 221 4

100% 71% 70% 52% 50%

16 7 374 425 8

90 0 105 14 0

Wageningen Universiteit E-mail TMO, Hogeschool voor Modemanagement E-mail Hogeschool Pedagogisch/Sociaal-Agogisch Onderwijs Groningen E-mail PC Hogeschool Marnix Academie Utrecht E-mail Universiteit voor Humanistiek E-mail

2.292 200 39 485 129

50% 50% 49% 49% 47%

4.591 403 79 998 274

132 23 1 0 35

Universiteit Utrecht Hogeschool Gorinchem IDE bv Internationale Agrarische Hogeschool Larenstein Van Hall Instituut Christelijke Hogeschool De Driestar Gouda


6.422 8 807 741 449

44% 44% 44% 39% 38%

14.437 18 1.855 1.898 1.167

115 0 31 67 10

Azusa Theologische Hogeschool Noordelijke Hogeschool Leeuwarden/Willem Barentz Hogeschool Schumann Akademie BV University College Utrecht Hogeschool Schoevers


23 104 99 258 100

38% 38% 36% 35% 34%

60 274 272 732 290

2 2 32 1 34

Vrije Universiteit Amsterdam Nyenrode Business Universiteit Open Universiteit Nederland Universiteit Leiden Hogeschool TIO


6.265 573 1263 5420 426

32% 31% 31% 31% 29%

19.699 1.838 4.089 17.668 1.445

1.516 43 54 38 44

Erasmus Universiteit Rotterdam Stenden Hogeschool CHN Leeuwarden Hogeschool Notenboom Driestar educatief Stichting NTI Hogeschool


4.617 1.487 78 19 187

26% 25% 24% 23% 23%

18.032 5.976 325 81 800

151 57 40 2 28

Markus Verbeek/Praehap Stichting Amsterdamse Balletacademie (Lucia Marthas) Stenden Hogeschool HD Emmen Een andere hogeschool Een andere universiteit


601 13 177 44 7

23% 21% 20% -

2.632 62 875 44 7

67 0 23 0 0

HAS Den Bosch Codarts, Hogeschool voor de Kunsten Technische Universiteit Eindhoven Fontys Hogescholen Sittard Hogeschool voor de Kunsten Utrecht

IB-Groep IB-Groep IB-Groep IB-Groep IB-Groep

1 16 529 35 56

50% 33% 31% 30% 29%

2 48 1.714 116 192

1 14 69 4 8

Katholieke Pabo Zwolle Gereformeerde Hogeschool Zwolle ArtEZ Christelijke Hogeschool Ede Universiteit Twente


95 171 29 280 562

29% 29% 28% 27% 27%

327 593 103 1.028 2.101

6 12 20 13 154

Iselinge Hogeschool Doetinchem Radboud Universiteit Nijmegen Technische Universiteit Delft Fontys Hogescholen Eindhoven Amsterdamse Hogeschool voor de Kunsten


72 766 670 340 164

26% 25% 25% 24% 24%

277 3.062 2.733 1.390 681

1 151 187 39 26


%

Uitgenodigd GeweiValide gerd

Respons

Uitgenodigd GeweiValide gerd

Instelling

Methode

N

%

Pedagogische Hogeschool De Kempel Helmond Hogeschool Zuyd Hogeschool Helicon te Zeist Universiteit Maastricht Noordelijke Hogeschool Leeuwarden


75 515 43 353 192

24% 23% 23% 22% 22%

318 2.237 190 1.571 860

4 417 10 755 10

Hogeschool Rotterdam Hogeschool van Arnhem en Nijmegen Universiteit van Tilburg Universiteit van Amsterdam Hogeschool Domstad te Utrecht


519 589 617 1.105 60

22% 22% 22% 22% 22%

2.340 2.670 2.830 5.088 279

46 399 103 213 0

Rijksuniversiteit Groningen Saxion Hogeschool Enschede Hogeschool IPABO Amsterdam Alkmaar NHTV Internationale Hogeschool Fontys Hogescholen 's-Hertogenbosch


1.012 195 190 169 60

21% 21% 21% 21% 21%

4.707 907 915 814 291

142 265 8 41 2

Hanzehogeschool Groningen Fontys Hogescholen Pabo Eindhoven Avans Hogeschool 's-Hertogenbosch Hogeschool Edith Stein Hengelo Hogeschool Zeeland


298 101 67 66 176

21% 21% 20% 20% 20%

1.449 492 328 324 864

70 7 2 6 13

Hogeschool Utrecht Saxion Hogeschool IJsselland Deventer Fontys Hogescholen Tilburg Hogeschool Leiden Christelijke Hogeschool Windesheim Zwolle


1.193 163 568 309 412

20% 20% 20% 20% 19%

5.938 824 2.892 1.580 2.125

138 41 86 17 28

Avans Hogeschool Breda-Tilburg Haagse Hogeschool Fontys Hogescholen KL Roermond Hogeschool INHOLLAND Hogeschool van Amsterdam Hotelschool Den Haag Gerrit Rietveld Academie Amsterdam

IB-Groep IB-Groep IB-Groep IB-Groep IB-Groep IB-Groep IB-Groep

281 252 78 935 260 47 1

18% 17% 16% 15% 15% 15% 7%

1.525 1.513 492 6.095 1.729 314 14

22 14 14 115 45 86 4

Totaal

E-mail 33.840 IB-Groep 14.687

33% 21%

101.751 68.882

2.757 3.828

Totaal

Totaal

28%

170.633

6.585

48.527

ResearchNed heeft een korte analyse vervaardigd van de verschillen in respons in fase 1 en fase 2. Hiervoor zijn twee analyses uitgevoerd. Allereerst een multilevel-analyse om na te gaan of de scores op de totaaloordelen, gecorrigeerd naar achtergrondkenmerken en opleiding, verschillen voor de respondenten in fase 1 en fase 2. Daarnaast is gekeken naar de respons in fase 1 en 2 naar achtergrondkenmerken. Tabel 5 geeft de resultaten weer van de multilevel-analyses. Uit de multilevel-analyse blijkt dat er een klein verschil bestaat tussen de scores op het totaaloordeel van respondenten die met en zonder incentives hebben gerespondeerd: respondenten uit fase 2 scoren gemiddeld 0,03 pt. lager. Het effect van de fase van responderen op het studentoordeel is voor alle opleidingen gelijk.


Tabel 5:

Multilevel-model effecten van incentives op totaaloordeel over de opleiding

Cluster Totaal

Model 0 (nul model) B s.e.

Intercept

7,05

.

0,01**

Incentive (wel-niet)

Model 1 (alleen Incentive) B s.e.

Model 2 (+respondentkenmerken) . B s.e. .

7,07

0,02**

7,08

0,02**

-0,03

0,01*

-0,03

0,01*

-0,02 0,02

0,01* 0,02

Respondentkenmerken Geslacht (man-vrouw) Vorm (voltijd-deeltijd)

Model parameters Variantie niveau respondent Variantie niveau opleiding Deviance (-2*loglikelihood) N Respondent N Opleiding

Tabel 5:

0,15** 0,78 105.429,69 40.032 1.066

0,15** 0,78 105.431,58 40.032 1.066

0,15** 0,78 105.438,64 40.032 1.066

(vervolg) Multilevel-model effecten van incentives op totaaloordeel over de opleiding

Cluster Totaal

Model 3 (+opleidingskenmerken) B s.e.

Intercept Incentive (wel-niet)

Model 4 (+interacties) B s.e.

6,82

0,04**

6,84

0,05**

-0,03

0,01*

-0,06

0,04

-0,02 0,04

0,01 0,02

-0,02 -0,01

0,02 0,03

-0,14 -0,00 0,37

0,07* 0,03 0,03**

-0,15 -0,05 0,44

0,07* 0,03 0,04**

-0,01 0,06

0,02 0,03

0,01 0,08 -0,11

0,04 0,03** 0,03**

Respondentkenmerken Geslacht (man-vrouw) Vorm (voltijd-deeltijd)

Opleidingskenmerken Numerus Fixus (wel-niet) TypeHo (Bachelor-Master) SoortHo (Hbo-Wo)

Interacties (respondent) Incentive*geslacht Incentive*vorm

Interacties (opleiding) Incentive*Numerus Fixus Incentive*TypeHo Incentive*SoortHo


0,12** 0,78 105.298,83 40.032 1.066


0,14** 0,78 105.253,41 40.032 1.066

Tenslotte is gekeken naar het soort respondent dat heeft meegewerkt in fase 1 of in fase 2. Tabel 6 tot en met Tabel 11 geven een overzicht van de respons naar achtergrondkenmerken van achtereenvolgens type hoger onderwijs, bekostiging, soort hoger onderwijs, geslacht, leeftijd en studiejaar. De verdeling van de respons in beide fasen naar studiejaar laten geen significante verschillen zien. Bij de overige achtergrondkenmerken zijn de verschillen wel significant, doch zijn de feitelijke verschillen tussen de verdelingen klein. In het onderstaande vatten we de verschillen puntsgewijs samen. de studenten oude stijl (kleine groep) respondeerden iets vaker in de eerste fase; studenten van private opleidingen respondeerden iets vaker in de eerste fase; vrouwen respondeerden iets vaker in de eerste fase; mannen vaker in de tweede fase; jongere studenten werkten meer dan oudere studenten mee in de eerste fase.

Tabel 6:

Responsverschillen fase 1 en fase 2: type hoger onderwijs

TypeHo N

Fase1 exp.

%

N

Fase2 exp.

%

Bachelor Master Oude stijl

11.823 4.542 384

11.912 4.492 345

34% 35% 38%

22.689 8.473 617

22.600 8.523 656

66% 65% 62%

Totaal

16.749

16.749

35%

31.779

31.779

65%

N

Fase2 exp.

%

chisq=8,41; df=2; p=0,01

Tabel 7:

Responsverschillen fase 1 en fase 2: bekostiging

Bekostiging N

Fase1 exp.

%

Publiek Privaat

15.691 1.058

15.756 993

34% 37%

29.961 1.818

29.896 1.883

66% 63%

Totaal

16.749

16.749

35%

31.779

31.779

65%

N

Fase2 exp.

%

chisq=6,99; df=1; p=0,01

Tabel 8:

Responsverschillen fase 1 en fase 2: soort hoger onderwijs

SoortHO N

Fase1 exp.

%

Hbo Wo

4.996 11.753

5.311 11.438

32% 35%

10.392 21.387

10.077 21.702

68% 65%

Totaal

16.749

16.749

35%

31.779

31.779

65%

N

Fase2 exp.

%

chisq=41,78; df=1; p=0,00

Tabel 9:

Responsverschillen fase 1 en fase 2: geslacht

Geslacht N

Fase1 exp.

%

Man Vrouw

5.564 10.880

6.319 10.125

30% 37%

12.696 18.381

11.941 19.136

70% 63%

Totaal

16.444

16.444

35%

31.077

31.077

65%

chisq=223,81; df=1; p=0,00


Tabel 10:

Responsverschillen fase 1 en fase 2: leeftijd

Leeftijdsklasse N <20 jaar 20-21 jaar 22-23 jaar 23-24 jaar >25 jaar Totaal

Fase1 exp.

%

N

Fase2 exp.

%

3.077 4.054 3.474 1.890 3.236

3.051 3.880 3.416 2.028 3.357

35% 36% 35% 32% 33%

5.805 7.242 6.471 4.016 6.537

5.831 7.416 6.529 3.878 6.416

65% 64% 65% 68% 67%

15.731

15.731

34%

30.071

30.071

66%

N

Fase2 exp.

%

chisq=34,79; df=4; p=0,00

Tabel 11:

Responsverschillen fase 1 en fase 2: studiejaar

Studiejaar N

Fase1 exp.

%

Eerstejaars Ouderejaars

1.322 2.659

1.296 2.685

28% 27%

3.448 7.221

3.474 7.195

72% 73%

Totaal

3.981

3.981

27%

10.669

10.669

73%

chisq=1,05; df=1; p=0,31


3 Analyse

3.1

Schaalbetrouwbaarheid In de Nationale Studentenenquête beoordelen studenten de opleiding en instelling. Dit gebeurt aan de hand van verschillende vragen en items. De vragen meten het oordeel over verschillende aspecten van de opleiding en instelling. Ze zijn onderverdeeld in tien clusters: Inhoud, Keuzeruimte, Samenhang, Werkvormen, Loopbaan, Docenten, Communicatie, Studeerbaarheid, Gebouwen en Faciliteiten. De onderliggende oordelen worden per student opgeteld en gedeeld door het aantal items, zodat per student een gemiddeld oordeel per cluster ontstaat. De vraag blijft echter of de onderliggende items hetzelfde meten, of ze per cluster als een schaal mogen worden opgevat en of het statistisch verantwoord is om clusterscores te berekenen. Met behulp van factoranalyse en betrouwbaarheidsanalyse is dit nagegaan en maken we inzichtelijk dat de schalen intern consistent zijn. Factoranalyse is een techniek waarbij voor een aantal variabelen of items wordt bekeken of er sprake is van een of meerdere achterliggende dimensies waaronder deze variabelen kunnen worden geschaard. Deze dimensies worden ook wel factoren of schalen genoemd. De bedoeling is dat dimensies zo veel mogelijk variantie van de onderliggende variabelen verklaren, omdat er anders veel informatie verloren gaat. In factoranalyse wordt specifiek gekeken naar de gemeenschappelijke variantie van een variabele, en niet naar de totale variantie. Er wordt aangenomen dat iedere variabele een uniek component in zich heeft en bovendien dat een variabele niet volstrekt betrouwbaar gemeten is. Het uiteindelijke doel van factoranalyse is het verkrijgen van meer inzicht in de beschikbare data. Wanneer uit factoranalyse blijkt dat de verschillende blokken vragen als één cluster mogen worden beschouwd, kan met behulp van betrouwbaarheidsanalyse worden bekeken in hoeverre deze schalen betrouwbaar zijn. Deze schaalbaarheid wordt gemeten met behulp van Cronbach’s alpha, een statistische maat die aangeeft in hoeverre bepaalde variabelen intern consistent zijn. Hoe hoger de Cronbach’s alpha, des te sterker de mate waarin variabelen op hetzelfde cluster van toepassing zijn. Per cluster is nagegaan in hoeverre de onderliggende items opgevat kunnen worden als een schaal. De uitkomsten van de verschillende factoranalyses zijn in Tabel 12 verwerkt. In de tabel staan per item de communaliteit en factorscore. Een communaliteit geeft het deel van de variantie weer dat door de factor wordt bepaald. Het betreft een proportioneel deel en ligt tussen 0 en 1. In statistische termen behoort deze boven de 0,20 te liggen. De factorlading geeft de correlatie weer tussen de items en de te construeren schaal. Voor een statistisch goede fit liggen deze boven de 0,40. Uit de tabel blijkt dat de ieder cluster mag worden opgevat als een schaal. Zowel de communaliteiten als de factorladingen zijn hoog genoeg om te mogen spreken over tien afzonderlijke clusters, waaruit statistisch verantwoorde conclusies getrokken kunnen worden. Hierbij dient vermeld te worden dat tevens is gecontroleerd of er in ieder afzonderlijk jaar sprake is van een schaal. Dit bleek zo te zijn. Er is dus over alle jaren sprake van geldige en consistente schalen.


Tabel 12:

Factoranalyse clusters studentoordelen

Cluster

Communaliteit

Factorlading

0,482 0,711 0,483

0,694 0,843 0,695

0,452 0,558 0,262 0,333

0,672 0,747 0,512 0,577

0,402 0,833 0,763

0,634 0,913 0,873

0,733 0,578 0,294

0,856 0,760 0,542

0,388 0,289 0,539 0,736

0,623 0,537 0,734 0,858

0,607 0,771 0,528 0,639

0,779 0,878 0,726 0,799

0,454 0,666 0,634 0,447

0,674 0,816 0,796 0,669

0,570 0,728 0,434 0,213

0,755 0,853 0,659 0,462

0,655 0,786 0,421

0,809 0,886 0,649

0,567 0,501 0,505

0,753 0,708 0,711

Inhoud Opleiding inhoudelijk interessant Inhoudelijk niveau opleiding Kwaliteit toetsing en beoordeling

Keuzeruimte Ruimte voor eigen invulling Eigen afstudeerrichting of specialisatie kiezen Mogelijkheden om te studeren of stage te lopen in buitenland Mogelijkheid om opleiding in eigen tempo te volgen

Samenhang Koppeling tussen theorie en praktijk in de opleiding Mate waarin opleidingsonderdelen op elkaar voortbouwen Mate waarin opleidingsjaren op elkaar voortbouwen

Werkvormen Mate waarin opleiding aanzet tot actief leren Mate waarin de opleiding een kritische houding stimuleert Ruimte voor oefening van praktische vaardigheden

Loopbaan Opleiding geeft helder beeld van beroep en arbeidsmarkt Mogelijkheden voor het opdoen van beroepservaring Mate van kennismaking met wetenschappelijk onderzoek Mate van kennismaking met het toepassen van onderzoek

Docenten Inhoudelijke deskundigheid Helder overdragen lesstof en stimuleren leerproces Bereikbaarheid van docenten Kwaliteit van feedback van docenten

Communicatie Tijdige bekendmaking van (toets)resultaten Vanuit instelling over rechten en plichten als student Vanuit opleiding over vakkenaanbod, les- en tentamentijd Mogelijkheid actief bijdragen aan evaluatie, beleid van opleiding

Studeerbaarheid Haalbaarheid afronding eerste studiejaar in tijd die ervoor staat Haalbaarheid afronding volledige bachelor- of masteropleiding Mogelijkheden herkansen of inhalen achterstand Begeleiding bij studievoortgang

Gebouwen Geschiktheid van collegezalen en lesruimtes Geschiktheid van practicum- en oefenruimtes Beschikbaarheid van werkplekken voor zelfstudie

Faciliteiten Beschikbaarheid vakdocumentatie Beschikbaarheid computer- en netwerkfaciliteiten Beschikbaarheid van opleidingsmateriaal


Met behulp van betrouwbaarheidsanalyse is de Cronbach’s alpha berekend voor de tien schalen. Deze zijn te vinden in Tabel 13. Te zien is dat er voor alle clusters sprake is van een hoge Cronbach’s alpha. In de regel dienen ze boven de ,60 te liggen. De laagste waarde is te vinden voor het cluster keuzeruimte, waarvoor een waarde van 0,733 wordt gevonden. Deze waarde is, net als de overige waarden, nog steeds hoog genoeg.

Tabel 13:

Betrouwbaarheid clusters

Cluster

Cronbach’s alpha (alpha)

Inhoud Keuzeruimte Samenhang Werkvormen Loopbaan Docenten Communicatie Studeerbaarheid Gebouwen Faciliteiten

0,787 0,719 0,844 0,757 0,781 0,873 0,827 0,773 0,822 0,767

Concluderend is er sprake van tien afzonderlijke clusters, die tevens als een schaal mogen worden opgevat. Deze clusters zijn bovendien in sterke mate intern consistent en uit de uitgevoerde analyses blijkt dus dat het statistisch verantwoord is om op basis van clusterscores tot bepaalde uitspraken te komen. Vervolgens zijn per jaar de gemiddelde scores op zowel de clusters als op de afzonderlijke variabelen weergegeven. Te zien is dat studenten gemiddeld genomen iets positiever worden in het oordeel over de opleiding. Het minst positief zijn studenten over de communicatie met en binnen de opleiding, al zien we wel een duidelijk stijgende lijn. In 2006 gaven studenten gemiddeld een 6,0 als oordeel; in 2009 is deze score opgelopen tot 6,5. Het meest positief zijn studenten over de inhoud van hun opleiding. Tussen 2006 en 2009 is een verandering in het gemiddelde waar te nemen van een 6,8 naar een 7,4. Over het algemeen is te zien dat de oordelen van studenten gemiddeld zo rond de 6 en de 7 liggen. Bovendien is er, zoals gezegd, door de tijd een lichte stijging in het gemiddelde oordeel van studenten waar te nemen.

Tabel 14:

Gemiddelde studentenoordeel over clusters en bijbehorende variabelen per jaar

Cluster

2006

2007

2008

2009

Inhoud

6,8

6,9

6,9

7,4

Opleiding inhoudelijk interessant Inhoudelijk niveau opleiding Kwaliteit toetsing en beoordeling

6,9 6,8 6,5

7,1 7,0 6,7

7,2 7,0 6,6

7,6 7,4 7,1

Keuzeruimte

6,4

6,6

6,6

6,8

Ruimte voor eigen invulling Eigen afstudeerrichting of specialisatie kiezen Mogelijkheden om te studeren of stage te lopen in buitenland Mogelijkheid om opleiding in eigen tempo te volgen

6,0 6,7 6,7 6,2

6,3 6,8 6,9 6,3

6,2 6,9 7,0 6,3

6,7 7,0 7,1 6,4

Samenhang

6,5

6,6

6,7

6,9

Koppeling tussen theorie en praktijk in de opleiding Mate waarin opleidingsonderdelen op elkaar voortbouwen Mate waarin opleidingsjaren op elkaar voortbouwen

6,5 6,6 6,3

6,5 6,7 6,7

6,7 6,7 6,8

6,7 7,0 6,9


Tabel 14:

(vervolg) Gemiddelde studentenoordeel over clusters en bijbehorende variabelen per jaar

Cluster

3.2

2006

2007

2008

2009

Werkvormen

6,3

6,5

6,6

6,9

Mate waarin opleiding aanzet tot actief leren Mate waarin de opleiding een kritische houding stimuleert Ruimte voor oefening van praktische vaardigheden

6,3 6,2 6,2

6,5 6,5 6,4

6,6 6,6 6,6

6,8 7,1 6,7

Loopbaan

6,5

6,5

6,6

6,7

Opleiding geeft helder beeld van beroep en arbeidsmarkt Mogelijkheden voor het opdoen van beroepservaring Mate van kennismaking met wetenschappelijk onderzoek Mate van kennismaking met het toepassen van onderzoek

6,3 6,9 7,0 6,5

6,3 6,9 7,1 6,4

6,4 7,0 7,3 6,5

6,4 6,8 6,8 6,7

Docenten

6,6

6,8

6,9

7,1

Inhoudelijke deskundigheid Helder overdragen lesstof en stimuleren leerproces Bereikbaarheid van docenten Kwaliteit van feedback van docenten

6,8 6,5 6,5 n.b.

7,2 6,7 6,6 n.b.

7,3 6,8 6,8 6,6

7,6 6,9 7,0 7,0

Communicatie

6,0

6,1

6,2

6,5

Tijdige bekendmaking van (toets)resultaten Vanuit instelling over rechten en plichten als student Vanuit opleiding over vakkenaanbod, les- en tentamentijd Mogelijkheid actief bijdragen aan evaluatie, beleid van opleiding

5,8 5,7 6,3 6,1

5,9 5,8 6,4 6,4

5,9 5,9 6,5 6,5

6,2 6,1 6,8 6,9

Studeerbaarheid

6,7

6,7

6,7

6,9

Haalbaarheid afronding eerste studiejaar in tijd die ervoor staat Haalbaarheid afronding volledige bachelor- of masteropleiding Mogelijkheden herkansen of inhalen achterstand Begeleiding bij studievoortgang

6,9 6,7 6,9 6,1

7,1 6,7 6,9 6,1

7,1 6,7 6,9 6,3

7,4 6,9 6,9 6,4

Gebouwen

6,2

6,5

6,5

6,8

Geschiktheid van collegezalen en lesruimtes Geschiktheid van practicum- en oefenruimtes Beschikbaarheid van werkplekken voor zelfstudie

6,5 6,3 6,0

6,6 6,6 6,2

6,7 6,7 6,2

7,0 7,0 6,5

Faciliteiten

6,5

6,8

6,9

7,3

Beschikbaarheid vakdocumentatie Beschikbaarheid computer- en netwerkfaciliteiten Beschikbaarheid van opleidingsmateriaal

6,6 6,2 6,7

6,9 6,6 6,8

7,1 6,6 6,9

7,4 7,2 7,2

Bijschatten opleidingsvorm Binnen de NSE worden uitsplitsingen gemaakt naar opleidingsvorm. We onderscheiden hierbij voltijd, deeltijd en duale studenten. De IB-Groep weet niet van alle studenten de opleidingvorm (voltijd of deeltijd). Daarom zijn deze gegevens ook additioneel bevraagd in de vragenlijst. Een deel van de studenten heeft deze vraag niet of niet betrouwbaar ingevuld. Omdat dit kenmerk relevant is voor de Studiekeuzedatabase is door middel van een schatting het databestand gecompleteerd. In deze paragraaf doen we verslag van de wijze waarop de opleidingsvorm van deze studenten is geschat. In totaal is van 1.838 studenten binnen 317 opleidingen de opleidingsvorm niet bekend. Om deze respondenten wel te kunnen behouden voor het onderzoek is besloten om op basis van de bestaande en bekende verdeling binnen de respons deze opleidingsvorm random toe te delen. Hiervoor is een schatting gemaakt van de kans dat studenten een bepaalde opleidingsvorm volgen. Allereerst is voor elke opleiding (brin*isat) de procentuele verdeling naar opleidingsvorm berekend op basis van de gegevens van studenten van wie wèl de opleidingsvorm bekend is. Deze verdeling geeft de kans voor een student om respectievelijk een voltijd-, deeltijd- of duale opleiding te volgen.


Deze kansverdeling is vervolgens gebruikt om aan studenten van wie de opleidingsvorm onbekend was, de opleidingsvorm toe te kennen. Indien bijvoorbeeld 80 procent van de medestudenten van een student van wie de opleidingsvorm onbekend is voltijd studeert, en 20 procent deeltijder is, heeft deze studenten een kans van 80 procent meegekregen om ook als voltijd student aangemerkt te worden. Rekening houdend met deze kansverhouding zijn vervolgens alle missende waarden op opleidingsvorm ‘at random’ aan de studenten toegekend.

3.3

Typering van de respons en non-respons Voor de analyse van de Nationale Studentenenquête is het van belang dat de respondenten een representatief beeld vormen van de gehele studentenpopulatie. Wanneer de resulterende bevindingen representatief blijken te zijn, kunnen zij tevens informatie verschaffen over alle Nederlandse studenten. Gegevens kunnen echter op verschillende achtergrondkenmerken representatief zijn. In deze paragraaf wordt de representativiteit op een aantal van deze kenmerken getoetst, te weten geslacht, studiejaar en opleidingsvorm. De representativiteit van een steekproef kan worden getoetst met behulp van een Chi-kwadraat toets. Deze toets berekent op basis van het verschil tussen de verdeling in de steekproef en de verdeling in de populatie een getal (de Chi-kwadraat waarde) dat de mate van discrepantie tussen de twee aangeeft. Hoe hoger dit getal is, hoe groter de kans is dat de steekproef niet representatief is. Wanneer de Chi-kwadraat waarde significant van nul afwijkt (95% betrouwbaarheid), dient de nulhypothese te worden verworpen en is er geen sprake van representativiteit. In onderstaande tabel zijn de resultaten te zien van drie Chikwadraat toetsen.

Tabel 15:

Verdeling personen binnen NSE en populatie naar geslacht, studiejaar en opleidingsvorm

Achtergrondkenmerk

NSE

Populatie

Chi2

Geslacht2

Man Vrouw

38,9% 61,1%

36,3% 63,7%

81,6*

Studiejaar


29,8% 70,2%

20,1% 79,9%

1383,0*

Opleidingsvorm

Voltijd Deeltijd

82,0% 18,0%

85,8% 14,2%

293,3*

* significant bij p<0.05

Te zien is dat uit alle Chi-kwadraat toetsen een significante waarde naar voren komt. Dit betekent dat de respondenten in de steekproef niet representatief zijn voor de gehele studentenpopulatie wat betreft de kenmerken geslacht, studiejaar en opleidingsvorm. In de steekproef van de Nationale Studentenenquête vinden we een (lichte) oververtegenwoordiging van mannen, eerstejaarsstudenten en deeltijdstudenten. Het is bekend dat eerstejaarsstudenten beter responderen dan ouderejaars. Dit laatste heeft te maken met de wijze van sampling (deeltijdopleidingen zijn, omdat ze separaat in de Studiekeuzedatabase worden opgenomen, apart geselecteerd volgens de in paragraaf 1.6 beschreven criteria. Gezien het feit dat in het verleden niet binnen de opleidingen gewogen is, is voor dit jaar besloten dit ook niet te doen, temeer omdat voor de voorgaande jaren niet alle achtergrondgegevens voorhanden waren.

2

In de beschikbare data is sprake van een oververtegenwoordiging van vrouwen ten opzichte van de totale HOpopulatie. Dit is te wijten aan een aantal specifieke ‘vrouwenopleidingen’ die voor de NSE 2009 zijn benaderd, te weten de Hbo Master Special Educational Needs, de Pabo en de Wo opleidingen Psychologie en Pedagogiek.


In Tabel 16 zijn de populatie en de respons verder uitgesplitst. We zien dat op dit ‘lagere niveau’ (soort ho*BaMa*jaar*geslacht) er nog maar een paar discrepanties bestaan tussen populatie en respons. De verdeling van de bachelors deeltijd lijkt het minst op die binnen de populatie. Hier staat tegenover dat binnen de respons de wo studenten wèl een representatief beeld vormen. Ook de deelnemende ouderejaars bachelors en eerstejaars masters in het hoger onderwijs (traditioneel de grootste groepen studenten in het hbo) een representatief beeld vormen van de populatie.

Tabel 16:

Verdeling personen per groep binnen NSE en populatie naar soort hoger onderwijs, jaar en geslacht

Achtergrondkenmerk Hbo

Ba voltijd


Ba deeltijd


Ma


Wo

Ba voltijd


Ba deeltijd


Ma


NSE

Populatie

Man Vrouw Man Vrouw

30,9% 69,1% 31,0% 69,0%

28,4% 71,6% 32,0% 68,0%

Man Vrouw Man Vrouw

35,8% 64,2% 36,6% 63,4%

28,3% 71,7% 28,0% 72,0%

Man Vrouw Man Vrouw

18,0% 82,0% 23,7% 76,3%

18,8% 81,3% 20,2% 79,8%

Man Vrouw Man Vrouw

41,8% 58,2% 43,3% 56,7%

42,4% 57,6% 45,3% 54,7%

Man Vrouw Man Vrouw

41,0% 59,0% 41,3% 58,7%

33,8% 66,2% 38,9% 61,1%

Man Vrouw Man Vrouw

47,4% 52,6% 45,1% 54,9%

49,4% 50,6% 44,0% 56,0%

Chi2 5,870* 1,884

10,862* 45,331*

0,125 5,070*

0,449 9,207*

1,192 1,434

1,117 2,016

* significant bij p<0.05

3.4

Betrouwbaarheid van de data De studentoordelen zijn in verschillende clusters onderverdeeld. Al eerder is bekeken of de ondervraagde studenten representatief zijn voor de gehele studentenpopulatie. Hier kijken we of de gevonden waarden nauwkeurig en betrouwbaar zijn en ons iets kunnen zeggen over de mening van de populatie. We gaan dit na met behulp van betrouwbaarheidsintervallen. Een betrouwbaarheidsinterval geeft een gebied van waarden aan. De werkelijke waarde die in de populatie voorkomt, is met een bepaalde waarschijnlijkheid binnen dit gebied te vinden. Er wordt hier uitgegaan van een 95%-betrouwbaarheidsinterval. Wanneer er uit de populatie een x aantal steekproeven worden getrokken waarbinnen hetzelfde onderzoek wordt uitgevoerd, dan wordt er in 95% van deze steekproeven een resultaat gevonden dat binnen het betrouwbaarheidsinterval ligt. Naarmate een betrouwbaarheidsinterval kleiner is, ofwel wanneer de onder- en bovengrens dichter bij elkaar liggen, des te nauwkeuriger is de schatting van de werkelijke waarde binnen de populatie. De grootte van een interval wordt beïnvloed door de grootte van de steekproef en de standaarddeviatie.


De betrouwbaarheidsintervallen zijn per opleidingvorm en soort hoger onderwijs berekend. Er is naast de betrouwbaarheidsintervallen tevens een F-waarden berekend om te bekijken of de varianties tussen de te onderscheiden groepen significant van elkaar verschillen.

Tabel 17:

Grootte van intervallen van clusterscores naar opleidingsvorm

Cluster

Subgroep

Gemiddelde

Aantal

St. deviatie

Intervallen

F-waarde

Inhoud

Ba voltijd Ba deeltijd Ma

7,0 7,0 7,6

66.717 13.385 10.310

0,5 0,4 0,3

0,004 0,007 0,007

7.587,0*

Totaal

7,1

90.413

0,5

0,003


6,6 6,2 6,8

66.717 13.374 10.310

0,5 0,6 0,7

0,004 0,011 0,014

Totaal

6,6

90.401

0,6

0,004


6,7 6,7 6,9

66.717 13.385 10.310

0,4 0,4 0,5

0,003 0,008 0,009

Totaal

6,7

90.413

0,4

0,003


6,6 6,5 7,1

66.717 13.385 10.310

0,5 0,5 0,4

0,004 0,008 0,009

Totaal

6,6

90.413

0,5

0,003


6,6 6,4 6,7

66.717 13.385 10.310

0,4 0,4 0,6

0,003 0,007 0,011

Totaal

6,6

90.413

0,4

0,003


6,9 6,9 7,4

66.717 13.385 10.310

0,5 0,5 0,3

0,004 0,009 0,007

Totaal

6,9

90.413

0,5

0,004


6,2 6,1 6,8

66.717 13.385 10.310

0,6 0,7 0,4

0,005 0,011 0,008

Totaal

6,3

90.413

0,6

0,004

Studeerbaarheid

Ba voltijd Ba deeltijd Ma Totaal

6,8 6,8 6,8 6,8

66.561 4.246 10.310 81.118

0,4 0,4 0,5 0,4

0,003 0,013 0,010 0,003

152,9*

Gebouwen


6,5 6,7 7,0

66.524 13.084 10.310

0,6 0,4 0,5

0,005 0,007 0,010

2.543,8*

Totaal

6,6

89.918

0,6

0,004


6,9 7,0 7,3

66.717 13.385 10.310

0,6 0,4 0,5

0,005 0,007 0,010

Totaal

6,9

90.413

0,6

0,004

Keuzeruimte

Samenhang

Werkvormen

Loopbaan

Docenten

Communicatie

Faciliteiten

* significant bij p<0.05. Betrouwbaarheidsintervallen zijn de marges vermenigvuldigd met 2.


4.181,9*

1.032,9*

6.694,1*

2.980,1*

6.002,3*

4.378,7*

2.923,8*

In Tabel 17 is te zien dat de grootte van de gevonden intervallen varieert van 0,003 tot 0,011. Aangezien er sprake is van grote aantallen is het niet verwonderlijk dat de intervallen zo klein zijn. Desalniettemin blijkt dat de in de NSE gevonden waarden een nauwkeurige schatting zijn van de werkelijke waardes binnen de studentenpopulatie. Daarnaast zijn de gevonden F-waarden allen significant, hetgeen betekent dat de gemiddelde waarde per cluster verschilt naar opleidingsvorm.

Tabel 18:

Grootte van intervallen van clusterscores naar hoger onderwijs

Clusterscores

Subgroep

Inhoud

Keuzeruimte

Samenhang

Werkvormen

Loopbaan

Docenten

Communicatie

Studeerbaarheid

Gebouwen

Faciliteiten

Gemiddelde

Aantal

St. deviatie

Intervallen

F-waarde

Hbo Wo

6,8 7,5

58.401 32.038

0,4 0,3

0,003 0,004

81.904,7*

Totaal

7,1

90.439

0,5

0,003

Hbo Wo

6,4 6,9

58.389 32.038

0,5 0,6

0,004 0,006

Totaal

6,6

90.428

0,6

0,004

Hbo Wo

6,6 6,9

58.401 32.038

0,4 0,5

0,003 0,005

Totaal

6,7

90.439

0,4

0,003

Hbo Wo

6,5 6,9

58.401 32.038

0,5 0,4

0,004 0,005

Totaal

6,6

90.439

0,5

0,003

Hbo Wo

6,6 6,6

58.401 32.038

0,4 0,5

0,003 0,006

Totaal

6,6

90.439

0,4

0,003

Hbo Wo

6,7 7,4

58.401 32.038

0,5 0,4

0,004 0,004

Totaal

6,9

90.439

0,5

0,004

Hbo Wo

6,0 6,8

58.401 32.038

0,5 0,4

0,004 0,005

Totaal

6,3

90.439

0,6

0,004

Hbo Wo

6,8 6,8

49.845 31.299

0,4 0,5

0,003 0,006

Totaal

6,8

81.144

0,4

0,003

Hbo Wo

6,4 7,1

58.062 31.882

0,5 0,4

0,004 0,005

Totaal

6,6

89.944

0,6

0,004

Hbo Wo

6,7 7,5

58.401 32.038

0,5 0,3

0,004 0,004

Totaal

6,9

90.439

0,6

0,004

20.295,7*

7.087,1*

18.428,5*

37,0*

47.961,1*

58.859,7*

14,8*

40.738,2*

71.724,5*

* significant bij p<0.05. Betrouwbaarheidsintervallen zijn de marges vermenigvuldigd met 2.

In Tabel 18 is te zien dat de grootte van de gevonden intervallen varieert van 0,003 tot 0,006. De grootte van de intervallen wordt mede bepaald door de grootte van de steekproef. De intervallen zijn echter dermate klein dat ook hier gesteld kan worden dat de gevonden waarden een nauwkeurige benadering zijn van de werkelijke waarde binnen de studentenpopulatie. De F-waarden zijn significant. Er kan per cluster een onderscheid gemaakt worden tussen studenten binnen verschillende soorten hoger onderwijs.


De hierboven beschreven betrouwbaarheidsintervallen zijn berekend op het totale databestand, onderscheiden naar hbo en wo en naar bachelor, master, voltijd en deeltijd. Om na te gaan of de gegevens zoals deze zijn opgenomen in de Studiekeuzedatabase voldoende betrouwbaar zijn, zijn vervolgens de marges (dit is het betrouwbaarheidsinterval/2) bekeken na een aggregatie naar NSE_ID (het aggregatieniveau voor de Studiekeuzedatabase en de website Studiekeuze123, zie ook paragraaf 3.7). Tabel 19 geeft de gemiddelde marges en het percentage opleidingen met een marge groter dan of gelijk aan 0,3 of kleiner dan 0,3. Marges gemiddeld kleiner dan 0,3 zien we bij inhoud, gevolgd door Docenten, Werkvormen en Faciliteiten. Gemiddeld genomen betekenen deze marges dat bijvoorbeeld een rapportcijfer van 7,2 een betrouwbaarheidsinterval heeft tussen 6,9 en 7,5. Voor ongeveer 60 procent van de opleidingen en acht van de tien van de clusters geldt dat de marges kleiner zijn dan 0,3. De extreme hoge marges hebben te maken met een klein aantal waarnemingen als gevolg van een groot aantal ontbrekende of niet van toepassing zijnde scores.

Tabel 19:

Marges naar opleiding en instellingen voor opleidingen die zijn opgenomen in de Studiekeuzedatabase Marge <0,3

Marge =>0,3

Gem. marge

Min. marge

Max. marge

N

Std

Inhoud Keuzeruimte Samenhang Werkvormen Loopbaan

76% 49% 52% 60% 57%

24% 51% 48% 40% 43%

0,24 0,34 0,31 0,29 0,31

0,06 0,08 0,07 0,07 0,08

2,38 3,64 2,47 2,71 2,71

90.439 90.420 90.439 90.439 90.439

0,13 0,21 0,16 0,15 0,16

Docenten Communicatie Studeerbaarheid Gebouwen Faciliteiten

62% 52% 57% 50% 61%

38% 48% 43% 50% 39%

0,28 0,32 0,31 0,32 0,29

0,06 0,07 0,08 0,07 0,07

2,56 2,36 2,19 6,86 2,63

90.439 90.439 82.445 89.940 90.439

0,15 0,16 0,16 0,19 0,15

Cluster

Betrouwbaarheidsmarges volgens de formule: 1.96*(std/sqr(n)).

3.5

Koppeling trendbestand Zoals reeds aangegeven werden studenten van elke opleiding eens in de drie jaar bevraagd. Bij de NSE 2009 hebben instellingen voor het eerst de mogelijkheid gekregen om met de hele instellingspopulatie mee te doen aan de enquête. Om betrouwbare vergelijkingen te maken met alle opleidingen is een trendbestand aangemaakt waarbij de gegevens van eerdere jaren zijn gekoppeld aan het resultatenbestand van 20093. In deze paragraaf gaan we in op de wijze waarop dit is gebeurd. Een groot deel van de studentoordelen uit de NSE wordt gebruikt in de Studiekeuzedatabase. De database bevat oordelen op clusters van vragen, de betrouwbaarheidsintervallen en de aantallen waarop deze gegevens gebaseerd zijn. Bij voorgaande enquêtes zijn alle missende waarden en alle oordelen die beantwoord zijn met ‘weet niet’ vervangen door de gemiddelde waarde van het betreffende oordeel. De betrouwbaarheidsintervallen in de database zijn berekend aan de hand van de niet-gesubstitueerde oordelen, maar het gepresenteerde aantal respondenten is wel berekend inclusief respondenten met een gesubstitueerde waarde. Met terugwerkende kracht zijn de clusterscores herberekend. Ook zijn de betrouwbaarheidsintervallen en de aantallen opnieuw gegenereerd en vernieuwd weergegeven. Hierbij is rekening gehouden met voldoende vulling op het laagste niveau, het gebruiken van alleen vergelijkbare items en in geval van clustering is minimaal 60 procent van de items beantwoord met een geldige score (1-10, geen ‘weet niet’, ‘niet van toepassing’).

3

In deze fase is ook een correctie van het methode-effect toegepast. Een uitgebreide beschrijving hiervan is opgenomen in hoofdstuk 5 (pagina 30).


In voorgaande jaren zijn de resultaten van de NSE op de website Studiekeuze123 getoond in de vorm van tien clusters. Deze clusterscores zijn berekend door drie à vier items die betrekking hebben op hetzelfde thema te middelen. In 2009 is de vragenlijst gedeeltelijk herzien, waardoor het niet mogelijk is de clusterscores op exact dezelfde wijze te berekenen als voorgaande jaren. De volgende situaties zijn naar aanleiding van de herziening van de vragenlijst ontstaan:

Er zijn vragen/items bijgekomen; indien items niet bevraagd zijn in de eerdere metingen zijn ze bij het berekenen van de clusterscores buiten beschouwing gelaten. Vragen/items zijn verdwenen; indien items in eerdere metingen wel bevraagd zijn, maar in de huidige vragenlijst niet aan de orde komen, zijn de clusterscores met terugwerkende kracht berekend. Formulering is veranderd; indien de formulering van items/vragen inhoudelijk is veranderd, zijn de clusterscores (met terugwerkende kracht) opnieuw berekend. De betreffende items/vragen zijn dan buiten beschouwing gelaten. Mocht de formulering van de items/vragen veranderen zonder dat de inhoud van de items is veranderd, verandert er niets aan de berekening van de clusterscores. Bestaande items zijn uitgediept; indien in voorgaande vragenlijst twee onderwerpen in één vraag aan de orde kwamen, zijn deze twee items/vragen in de nieuwe (2009) situatie eerst gemiddeld om dan als één item/vraag opgenomen te worden bij de berekening van de clusterscore.

Beslisregels:

Nieuwe items zijn buiten beschouwing gelaten bij de berekening van de clusterscores. Niet opnieuw bevraagde items zijn voor beide jaren buiten beschouwing gelaten (clusterscores zijn herberekend). Inhoudelijk anders geformuleerde items zijn voor beide jaren buiten beschouwing gelaten (clusterscores zijn herberekend). Verdiepende items (één vraag is bijvoorbeeld gesplitst in twee vragen) zijn eerst gemiddeld om als één item mee te worden genomen in de clusterscore.

Tabel 20: Items

Veranderingen in enquêtevragen per cluster 2006-2008

2009

Inhoud Vraag1 Vraag2

Vraag3

De mate waarin de opleiding inhoudelijk interessant is Het niveau van de studiestof (we bedoelen hier of u het niveau vindt passen bij uw huidige opleiding) De kwaliteit van toetsing en beoordeling

De mate waarin de opleiding inhoudelijk interessant is Het inhoudelijke niveau van de opleiding

De mate waarin de toetsing en beoordeling aansluiten bij de inhoud De mate waarin de toetsing en beoordeling aansluiten bij de onderwijsactiviteiten

Keuzeruimte Vraag1

Vraag2

Vraag3 Vraag4

De ruimte die het studieprogramma u biedt voor bijvakken en keuzevakken

De ruimte die het opleidingsprogramma je biedt voor eigen invulling (denk aan major/minor of keuzevakken De mogelijkheden om uw eigen De mogelijkheden om je eigen afstudeerrichting of specialisatie te kiezen of afstudeerrichting of specialisatie te kiezen of daar naar over te stappen daar naar over te stappen De mogelijkheid die uw opleiding u biedt om in De mogelijkheid die je opleiding je biedt om in het buitenland te studeren of stage te lopen het buitenland te studeren of stage te lopen

De mogelijkheid om de studie in uw eigen tem- De mogelijkheid om de opleiding in je eigen po te volgen tempo te volgen

Samenhang Vraag1 Vraag2 Vraag3

De koppeling tussen theorie en praktijk in de De koppeling tussen theorie en praktijk in de opleiding opleiding De samenhang tussen de afzonderlijke vakken De inhoudelijke samenhang tussen de opleidings(onder)delen De mate waarin de studiejaren op elkaar voort- De mate waarin opleidingsjaren op elkaar bouwen voortbouwen


Items

2006-2008

2009

De mate waarin de opleiding u aanzet tot het actief leren toepassen van de stof De mate waarin het studieprogramma een kritische instelling stimuleert De ruimte in het studieprogramma voor oefening van praktische vaardigheden

De mate waarin de opleiding je aanzet tot het actief leren De mate waarin de opleiding een kritische houding stimuleert De ruimte die deze opleiding beidt om praktijkervaring op te doen

Werkvormen Vraag1 Vraag2 Vraag3

Loopbaan Vraag1 Vraag2 Vraag3

De mate waarin de opleiding een helder beeld De mate waarin de opleiding een helder beeld geeft van beroep en arbeidsmarkt geeft van beroep en arbeidsmarkt De mogelijkheden voor het opdoen van De mogelijkheden voor het opdoen van beroepservaring, door stages en dergelijke beroepservaring, door stages en dergelijke De mate waarin u in uw opleiding tot nu toe De mate waarin je in je opleiding tot nu toe kennis maakt met wetenschappelijk genoeg kennis maakt met wetenschappelijk onderzoek/het toepassen van onderzoek onderzoek De mate waarin je in je opleiding tot nu toe genoeg kennis maakt met het toepassen van onderzoek

Docenten Vraag1 Vraag2

Vraag3 Vraag4

De inhoudelijke deskundigheid van de docenten Het vermogen van de docenten om de stof helder over te dragen en uw leerproces te stimuleren

De inhoudelijke deskundigheid van docenten Het vermogen van de docenten om de stof helder over te dragen

Het vermogen van de docenten om je leerproces te stimuleren De bereikbaarheid van docenten

De aanspreekbaarheid (bereikbaarheid/beschikbaarheid) van docenten De kwaliteit van de feedback van de docenten De kwaliteit van de feedback van de docenten

Communicatie Vraag1 Vraag2 Vraag3

Vraag4

De tijdige bekendmaking van toetsresultaten en andere beoordelingen De communicatie van de instelling over uw rechten en plichten als student De informatie van uw opleiding over het vakkenaanbod en les- en tentamentijden en andere praktische zaken

De tijdige bekendmaking van toetsresultaten en andere beoordelingen De communicatie van de instelling over je rechten en plichten als student De kwaliteit van de studiegids (papier\digitaal)

De informatie van je opleiding over les- en tentamentijden en andere praktische zaken

De mate waarin u actief kunt bijdragen aan evaluatie of beleid van de opleiding

Studeerbaarheid Vraag1 Vraag2

Vraag3 Vraag4

De haalbaarheid om het eerste studiejaar af te ronden in de tijd die er voor staat De haalbaarheid om de volledige opleiding af te ronden in de tijd die er voor gerekend wordt De mogelijkheden om examens/tentames te herkansen of een achterstand in te halen De begeleiding bij de studievoortgang

De haalbaarheid om het eerste studiejaar af te ronden in de tijd die er voor staat De haalbaarheid om de volledige bachelor- of masteropleiding af te ronden in de tijd die er voor gerekend wordt De mogelijkheden om beoordelingen te herkansen of een achterstand in te halen De begeleiding bij je studievoortgang

Gebouwen Vraag1 Vraag2 Vraag3

De geschiktheid van de collegezalen en De geschiktheid van de collegezalen en lesruimtes van uw opleiding lesruimtes De geschiktheid van de practicum- en De geschiktheid van de practicum- en oefenruimtes van uw opleiding oefenruimtes De beschikbaarheid van werkplekken voor zelf- De beschikbaarheid van werkplekken voor studie zelfstudie


Items

2006-2008

2009

Faciliteiten Vraag1

Vraag2

Vraag3

3.6

De mate waarin u toegang hebt tot de De mate waarin je toegang hebt tot de benodigde vakdocumentatie, bijv. bij benodigde vakdocumentatie, bijvoorbeeld bij bibliotheek of mediatheek bibliotheek of mediatheek De voor u beschikbare computer- en Computer- en netwerkfaciliteiten netwerkfaciliteiten (inclusief digitale leeromgeving) Digitale leeromgeving (bijvoorbeeld blackboard) De beschikbaarheid van het De beschikbaarheid van opleidingsmateriaal onderwijsmateriaal zoals dictaten, readers en zoals dictaten, readers en syllabi syllabi

Weging De in de NSE gebruikte weegfactor is nodig om te corrigeren voor onder- of oververtegenwoordiging van groepen respondenten. Om een representatief beeld te krijgen van de populatie wordt vaak gebruik gemaakt van weeg- of correctiefactoren. Het idee van een weegfactor is erop geënt dat verschillen in de verhouding tussen subgroepen uit de populatie en de steekproef rechtgetrokken worden. De weegfactor heeft geen consequenties voor de scores binnen het niveau opleiding*instelling, maar gaat pas een rol spelen op het moment dat er aggregaties worden uitgevoerd die dat niveau overstijgen (bijv. scores voor het gehele hbo of wo, scores per instelling of scores landelijk per sector, landelijk per opleiding etc.). Binnen de NSE is voor elke opleiding/instellingscombinatie gewogen om een evenwichtig (landelijk) beeld te krijgen4. Allereerst zijn op het niveau van instellingen*opleidingen (brin*croho) de respons- en populatieaantallen bekeken en met elkaar vergeleken. Voor deze aantallen is vervolgens het relatieve aandeel berekend. Op basis van deze relatieve aantallen is tenslotte een weegfactor berekend. Deze berekening ziet er als volgt uit:

Overzicht 1: Berekening weegfactor Voorbeeld opleiding x aan instelling y:

Populatie opleiding: Totale populatie: Relatieve aandeel:

1.661 595.296 1.662/595.296=0,0028

Respons opleiding: Totale respons: Relatieve aandeel:

110 88.532 110/88.532=0,0012

Weegfactor:

Relatieve aandeel populatie/relatieve aandeel respons=0,0028/0,0012=2,25.

Op bovenstaande wijze is voor iedere opleiding de weegfactor berekend. Voor Ongeveer 2 procent van de opleiding had deze weegfactor een waarde lager dan 0,25 of hoger dan 4. Deze weegfactoren zijn apart beoordeeld en in sommige gevallen (afhankelijk van de aantallen respondenten) op een waarde van ‘1’ gesteld. De weegfactoren zijn verder zo berekend dat de ongewogen en de gewogen aantallen voor de totale steekproef gelijk zijn.

4

In 2009 is gewogen op het niveau van brin*croho. Idealiter zou de weegfactor berekend moeten worden voor brin*croho*locatie. Voor de jaren 2006-2008 konden echter studenten niet uniek aan een locatie worden toebedeeld, omdat reeds in het basisbestand locaties waren samengevoegd. Om deze reden is gekozen in 2009 ook locatie niet als weegniveau mee te nemen.


3.7

Respons en aggregatie Het totale bestand van de NSE (peildatum september 2009) bedraagt 119.203. Dit zijn gekoppelde gegevens uit aan het 2006-2009 (deels verzameld door CHOICE, deels door ResearchNed/TNS NIPO): 36,8% van deze records is verzameld in 2009 (Tabel 21).

Tabel 21:

Aantallen records per jaar (basisbestand)

Jaar

Aantal

%

2006 2007 2008 2009

19.798 31.065 24.509 43.831

16,6% 26,1% 20,6% 36,8%

Totaal

119.203

100,0%

Als dit bestand wordt gesplitst op het niveau opleiding*instelling*locatie, dan bevat het in totaal de gegevens van 1.393 unieke bachelor-voltijdopleidingen, 649 unieke bachelor(deeltijd)opleidingen en 709 unieke masteropleidingen. Van dit bestand is steeds het laatste jaar met voldoende respons in de Studiekeuzedatabase opgenomen. Overigens is ook dit laatste jaar opgenomen in het bestand dat gebruikt wordt voor NSE-online en de uitlevering aan instellingen. In het voorjaar 2009 zijn in samenspraak met het deskundigenpanel de volgende opnameregels afgesproken: Allereerst is gekeken of in 2009 voldoende respons (>=10) is behaald om de opleiding uniek op te nemen in de database. Indien dit niet het geval was, is 2008 als uitgangspunt genomen, daarna 2007 etc. Er is bewust gekozen voor een absolute ondergrens en niet voor een minimum omvang van de betrouwbaarheidsmarges. Indien de respons lager was dan 10 is vervolgens gekeken of het mogelijk was om opleidingen die een instelling op verschillend locaties aanbiedt, samen te voegen of verwante opleidingen te bundelen en hiermee de gewenste vulling van minimaal 10 te bereiken. Opleidingen zijn, ondanks een respons lager dan 10 maar hoger dan 5, wel getoond op het moment dat meer dan 40% van de studenten heeft gerespondeerd (kleine opleidingen). Op basis van deze bundeling en afzonderlijke opname is een zogenaamde NSE_ID toegekend. Een ongewogen aggregatie op deze ID levert exact de tabellen die zijn opgenomen in de Studiekeuzedatabase. Voor de ontsluiting in de database is daarnaast steeds op itemniveau gekeken naar de respons per vraag. Indien deze respons lager was dan 5, is in de Studiekeuzedatabase de betreffende cel op ‘blank’ gezet. Opleidingen die na toepassing van deze regels niet konden worden opgenomen, zijn niet meegenomen in de Studiekeuzedatabase (en hebben derhalve een NSE_ID met de waarde ‘-5’), maar maken wel onderdeel uit van het basisbestand van de NSE en van NSE Online (zie paragraaf 6.3). Het meest recente jaar van met voldoende vulling is opgenomen. Hiermee resteerden 90.439 van de oorspronkelijke 119.203 records (24 procent is komen te vervallen omdat er sprake was van recentere informatie). In 2009 is een derde van de opleidingen ververst; in totaal 21 procent van de opleidingsinformatie is afkomstig uit 2008; 17 procent uit 2007 en 10 procent uit 2006. Daarnaast is van 17 procent van de opleidingen in geen enkel jaar voldoende respons behaald om de opleiding te kunnen tonen. Laten we deze laatste groep (onvoldoende respons) buiten beschouwing, dan kunnen we concluderen dat de gegevens van 41 procent van de op Studiekeuze123 opgenomen opleidingen verzameld is in 2009; 26 procent in 2008; 21% in 2007 en 12% in 2006. Het feit dat er nog gegevens uit 2006 in de database staan heeft te maken met (onder andere):


onvoldoende respons in latere jaren; geen deelname van NBI; afwijkend bundelingen.

In totaal 69 procent van de opleidingen is als afzonderlijke opleidingen opgenomen (Tabel 22). Deze 69 procent vertegenwoordigt in totaal 85.077 (96%) van alle studenten in het definitieve bestand. Vijftien procent van de opleidingen (de gegevens van 3.852 studenten: 4% van het totale bestand) is gebundeld met een andere opleiding om voldoende respons te kunnen realiseren. Tenslotte kon 17 procent van de opleidingen niet gebundeld worden. Het betreft hier vooral kleine masters (55% van deze groep) en deeltijdopleidingen (31%) en relatief weinig bachelors (14%). Het gaat hier om de records van 1.510 studenten (2% van de totale respondentgroep).

Tabel 22:

Overzicht opname opleidingen op Studiekeuze123

Type

Database

Opleidingen

% Binnen type

% Totaal

Bachelor-deeltijd

Afzonderlijk Gebundeld Onvoldoende respons

378 138 133

58% 21% 20%

14% 5% 5%

Bachelor-voltijd


1.192 134 67

86% 10% 5%

43% 5% 2%

Master


316 139 254

45% 20% 36%

11% 5% 9%

Totaal


1.886 411 454

69% 15% 17%

Tabel 23 laat de opname van het aantal opleidingen per jaar zien. Ook hieruit blijkt dat in 2009 minder deeltijdopleidingen konden worden opgenomen dan in 2008; daarentegen is het aantal opgenomen masters in 2009 zeer sterk gestegen.

Tabel 23:

Overzicht opname opleidingen op Studiekeuze123 naar aantal opleidingen en opleidingskenmerken Bachelor-voltijd Afzonderlijk Gebundeld

Bachelor-deeltijd Afzonderlijk Gebundeld

Master Afzonderlijk Gebundeld

2006 2007 2008 2009

206 246 339 401

11 78 2 43

57 111 119 91

7 4 92 35

0 22 20 274

0 13 22 104

Totaal

1192

134

378

138

316

139

2006 2007 2008 2009

17% 21% 28% 34%

8% 58% 1% 32%

15% 29% 31% 24%

5% 3% 67% 25%

0% 7% 6% 87%

0% 9% 16% 75%

Totaal

100%

100%

100%

100%

100%

100%

Tabel 24 toont de aantallen studenten waarvan de oordelen opgenomen zijn in de database. Ook hier is zichtbaar dat de niet-opgenomen oordelen vooral betrekking hebben op masters en deeltijdopleidingen.


Tabel 24:

Overzicht opname opleidingen op Studiekeuze123 naar aantal studenten en opleidingskenmerken Afzonderlijk opgenomen

Gebundeld

Niet opgenomen

Hbo Wo

47.703 37.374

94% 94%

2.709 1.097

5% 3%

404 1.106

1% 3%

Bachelor Master

74.033 11.044

96% 85%

2.775 1.031

4% 8%

531 979

1% 7%

Publiek Privaat

81.857 3.220

94% 95%

3.686 120

4% 4%

1.446 64

2% 2%

Voltijd Deeltijd

71.825 13.252

95% 88%

2.465 1.341

3% 9%

1.034 476

1% 3%

Tabel 25 toont tenslotte de studentaantallen per jaar, onderscheiden naar opleidingskenmerken. Ook hieruit blijkt dat de oordelen van voltijd bachelors nagenoeg allemaal zijn opgenomen in de afgelopen jaren. Procentueel is het aantal masteroordelen enorm toegenomen. De kleine masters die zijn bevraagd, zijn opgenomen in de NSE vanwege het feit dat een aantal universiteiten met de hele populatie is deelgenomen; er is voor deze universiteiten geen preselectie gemakt van opleidingen van voldoende omvang.

Tabel 25:

Overzicht opname opleidingen op Studiekeuze123 naar aantal studenten, type en jaar Afzonderlijk opgenomen

Hbo-Ba-vt

3.8

Gebundeld

Niet opgenomen

2006 2007 2008 2009

7.646 8.553 11.976 9.141

99% 90% 100% 94%

42 892 48 510

1% 9% 0% 5%

0 11 8 120

0% 0% 0% 1%

Hbo-Ba-dt 2006 2007 2008 2009

1.162 3.211 2.728 2.061

97% 99% 80% 81%

34 0 684 356

3% 0% 20% 14%

0 28 6 113

0% 1% 0% 4%

Hbo-Ma

2007 2008 2009

10 12 1.203

32% 13% 88%

18 73 52

58% 81% 4%

3 5 110

10% 6% 8%

Wo-Ba-vt

2006 2007 2008 2009

744 3.673 3.157 17.894

93% 98% 100% 99%

53 57 0 78

7% 2% 0% 0%

0 6 3 48

0% 0% 0% 0%

Wo-Ba-dt

2006 2007 2008 2009

181 324 90 1.492

100% 95% 100% 89%

0 0 0 21

0% 0% 0% 1%

0 17 0 171

0% 5% 0% 10%

Master

2007 2008 2009

340 475 9.004

64% 64% 87%

82 56 750

15% 8% 7%

112 208 541

21% 28% 5%

Kleine cellen Ruim tweederde tot driekwart van de opleidingen kent een respons van minder dan vier studenten (Tabel 26). Deze opleidingen hadden geen verwantschappen met andere opleidingen. Indien deze verwantschappen er wel waren, kende de verwante opleiding een dermate hoge respons dat niet gekozen is voor samenvoeging, maar dat de laatste opleiding afzonderlijk is opgenomen en de opleidingen met een (te) kleine respons vervallen.


Dit past binnen de afgesproken regel, namelijk dat opleidingen met voldoende respons afzonderlijk worden opgenomen. De kleine cellen (n=1.510) zijn als volgt te typeren. In 2009 kon vanuit het NSE-bestand 2006-2009 17% van alle opleidingen (voor bachelor uitgesplitst naar voltijd en deeltijd) niet worden getoond op de website Studiekeuze123. Het betreft hier vooral deeltijdopleidingen (die momenteel nog niet worden getoond op de website) en anderzijds masteropleidingen, die vooral bevraagd zijn omdat enkele universiteiten met de gehele populatie hebben deelgenomen; een aantal van deze opleidingen zou anders niet bevraagd zijn in de NSE vanwege onvoldoende omvang. Bij de helft van deze opleidingen is de populatie kleiner dan 30 (in 2009 bij 55%). Van vier instellingen zijn helemaal geen gegevens opgenomen in de database. Het betreft hier allemaal niet-bekostigde instellingen: - (23TG) Stichting Amsterdamse Balletacademie (Lucia Marthas): n=9; N=62; - (27WM) Hogeschool Gorinchem IDE bv: n=7; N=17; - (28BM) Centrum voor studie en documentatie voor Latijns Amerika n=4; N=7; - (29UK) STC-Group n=3; N=8. Van alle overige instellingen is ten minste één opleiding opgenomen in de database en op de website. Er is in overleg met het deskundigenpanel niet gekozen voor clustering over meerdere jaren omdat het hier nagenoeg allemaal kleine opleidingen betreft. De kans dat in opeenvolgende jaren dezelfde studenten bevraagd worden is dan relatief groot.

Tabel 26:

Responsaantallen van niet-opgenomen opleidingen

Respons per opleiding

Bachelor-voltijd

1 2 3 4 5 6 7 8 9 Totaal


Bachelor-deeltijd

Master

20% 15% 20% 11% 8% 8% 11% 3% 6%

47% 16% 8% 8% 8% 5% 3% 3% 3%

21% 18% 14% 11% 6% 8% 9% 7% 6%

100%

100%

100%

4 Correctie van het methode-effect

In 2009 is de Nationale Studentenenquête zowel telefonisch als via internet afgenomen. Uit analyse is gebleken dat studenten die telefonisch zijn geënquêteerd over het geheel genomen gemiddeld een positiever studieoordeel hebben dan studenten die via het web respondeerden. Om te corrigeren voor dit methodeeffect is destijds gewogen naar een vaste 50/50 (telefonisch/internet) verhouding. Door het toepassen van deze correctie is het methode-effect teniet gedaan. Verschillen tussen opleidingen, die gerelateerd zijn aan meetmethodiek, zijn immers ‘weggewogen’. In 2009 konden studenten alleen via internet de vragenlijst invullen. Aangezien niet alle opleidingen zijn opgenomen in de enquête van 2009 is de vergelijkbaarheid met eerdere jaren cruciaal. Het mag niet zo zijn dat scores in 2009 lager uitvallen dan in voorgaande jaren als gevolg van de gehanteerde methodiek. Omdat de NSE in de toekomst alleen nog via internet wordt afgenomen, is ervoor gekozen de gegevens uit eerdere jaren te corrigeren met als uitgangspunt de scores op de internetenquêtes. Dit betekent in de meeste gevallen dat de scores die zijn behaald op de telefonisch afgenomen enquêtes naar beneden toe worden bijgesteld. Dit hoofdstuk doet verslag van de wijze waarop deze studieoordelen zijn gecorrigeerd en welke keuzes hierbij een rol speelden.

4.1

Berekening van het methode-effect Voor het corrigeren van het studieoordeel van studenten die telefonisch zijn geïnterviewd, is allereerst de grootte van het methode-effect in kaart gebracht. Dit is gebeurd door middel van een lineaire regressie analyse waarin rekening is gehouden met de hiërarchische structuur van de data. In de multilevel-analyse die is uitgevoerd zijn studenten ‘genest’ in opleidingen binnen instellingen. De resultaten van deze analyse laten zien in welke mate het studieoordeel van studenten die telefonisch zijn geënquêteerd, afwijkt van het studieoordeel van studenten die via internet zijn geënquêteerd. Om het ‘zuivere’ methode-effect te berekenen, is gecontroleerd voor relevante kenmerken van zowel studenten als opleidingen. Immers, de studenten die in voorgaande jaren telefonisch zijn geïnterviewd, wijken mogelijk af van de andere studenten, aangezien zij na eerdere weigering opnieuw (telefonisch) zijn benaderd. Door het meenemen van studenten opleidingskenmerken testen we in hoeverre de verschillen in studieoordeel het gevolg zijn van het methode-effect en niet van verschillen in de samenstelling van beide groepen studenten. We kijken hierbij naar relevante kenmerken van de student: geslacht, opleidingsvorm (voltijd/deeltijd), studiejaar (eerstejaars/ouderejaars) en relevante kenmerken van de opleiding (wel of niet numerus fixus, bachelor of master, hbo of wo). Nadat het ‘zuivere’ methode-effect is berekend, is gekeken of dit effect verschilt voor verschillende groepen studenten. Dit is gedaan door interacties (producttermen) te berekenen met de variabele ‘Methode’ en de studenten opleidingskenmerken. Op deze wijze kunnen we de ‘zuivere’ methode-effecten van de studenten met verschillende kenmerken berekenen en corrigeren. De correctiefactoren van het studieoordeel van studenten die telefonisch zijn geïnterviewd, zijn berekend door per cluster (1. Inhoud, 2. Keuzeruimte, 3. Samenhang, 4. Werkvormen, 5. Loopbaan, 6. Docenten, 7. Communicatie, 8. Studeerbaarheid, 9. Gebouwen en 10. Faciliteiten) het methode-effect te verrekenen. Dit is gebeurd in een aantal opeenvolgende modellen per cluster. In paragraaf 4.2 tot en met 4.3 beschrijven we de opzet deze modellen. In Tabel 27 tot en met Tabel 36 zijn alleen de eindmodellen (model 4) getoond per cluster, steeds met methode-effect en na correctie van het methode-effect.


4.2

Multilevel-modellen Allereerst is een 0-model getoetst. Dat is een leeg model waarin alleen gekeken wordt naar de zogenaamde ‘Grand mean’ (algemeen gemiddelde) en de variantiecomponenten. In model 1 wordt de variabele ‘Methode’ aan de analyse toegevoegd. Studenten die telefonisch zijn geïnterviewd beoordelen hun studie gemiddeld hoger dan studenten die via het web zijn bevraagd. We zagen bij nagenoeg alle clusters dat de variantie op het niveau van opleidingen nauwelijks afnam, hetgeen wil zeggen dat het methode-effect mogelijke verschillen in studieoordeel tussen opleidingen niet kan verklaren. Met Model 2 is het ‘zuivere’ methode-effect berekend nadat is gecontroleerd voor de respondentkenmerken. We zien dan bijvoorbeeld de verschillen in oordelen tussen mannen en vrouwen, eerstejaars en ouderejaars en/of voltijd- en deeltijdstudenten. Vrouwen en ouderejaars studenten zijn positiever over hun studie dan mannen en eerstejaars studenten. Het methode-effect in model 2 verandert bij alle clusters niet tot nauwelijks, hetgeen er op wijst dat het verschil in studieoordeel tussen studenten die telefonisch en via de e-mail zijn geïnterviewd niet toe te schrijven is aan verschillen in geslacht, studievorm en studiejaar. In model 3 zijn opleidingskenmerken (Numerus Fixus, BaMa en SoortHo) meegenomen. Het methodeeffect blijft doorgaans stabiel. We kunnen dan ook concluderen dat er een methode-effect blijft, ook na correctie voor achtergrondkenmerken en dat het methode-effect stabiel is voor alle opleidingen. Tot slot wordt in model 4 (het in de tabellen getoonde model) het methode-effect berekend voor verschillende groepen studenten. Het model dat in Tabel 27 is weergegeven (Inhoud opleiding: methode-effect=0,2) heeft betrekking op mannelijke voltijd eerstejaars hbo-bachelorstudenten (studenten uit de referentiegroep). We zien dat het methode-effect niet voor alle groepen studenten gelijk is. Vrouwen worden minder beïnvloed door de methode waarop ze zijn benaderd dan mannen (-0,2+0,04). Ook zien we dat de enquêtemethode minder invloed heeft op master- en wo-studenten dan op bachelor- en hbo-studenten. Het methode-effect is bijna afwezig voor wo-studenten (-0,2+0,17).

Overzicht 2: Modelspecificatie model 4 Level-1 Model Y=B0 + B1*(METHODE) + B2*(SEXE) + B3*(VTDT) + B4*(XJAAR) + B5*(MSEXE) + B6*(MVTDT) + B7*(MXJAAR) +R

Level-2 Model B0=G00 + G01*(NUMERUSF) + G02*(BAMA) + G03*(HBOWO) + U0 B1=G10 + G11*(NUMERUSF) + G12*(BAMA) + G13*(HBOWO) + U1 B2=G20 B3=G30 B4=G40 B5=G50 B6=G60 B7=G70

Bovenstaande beschrijving geeft aan hoe de tabellen geïnterpreteerd moeten worden. Tabel 27 tot en met Tabel 36 zijn de resultaten terug te vinden voor de verschillende clusters. De uitkomst zijn niet voor elk cluster gelijk. Zo hebben numerus fixus en Bachelor Master niet altijd een effect op het oordeel. Dit veranderd echter niets aan de interpretatie van het methode-effect. De uiteindelijke correctie van het studieoordeel van studenten die telefonisch zijn benaderd, heeft plaatsgevonden door het berekenen van het methode-effect voor de verschillende subgroepen. Voor elk cluster wordt het studieoordeel van studenten gecorrigeerd met het methode-effect dat is gebaseerd op de specifieke situatie van studenten (persoonlijke kenmerken en opleidingskenmerken). Dit is gebeurd door middel van de volgende formule:


Overzicht 3: Methode-effect Methode-effect= β1*Methode+β2*(Methode*Geslacht)+β3*(Methode*Vorm)+β4*(Methode*Jaar)+β5*(Methode*Numerus Fixus)+ β6*(Methode*TypeHo)+β7*(Methode*SoortHo)

Het methode-effect wordt zo voor elke subgroep berekend. Door dit effect te verrekenen met (in dit geval met name ‘in mindering te brengen op’) de oordelen van telefonisch benaderde studenten ontstaat een betere vergelijkbaarheid van de cijfers. Tabel 37 toont de feitelijke correctiefactoren.

4.3

Verschillen naar achtergrondkenmerken na correctie Er is een tweede multilevel-analyse uitgevoerd nadat de correctie is toegepast. Voor geen van de clusters kon het eindmodel gedraaid worden vanwege multi-collineariteit. Dit houdt in dat het methode-effect volledig verdwenen is. De relatie tussen de clusters en de achtergrondkenmerken wijst steeds in dezelfde richting. Omdat vanwege de leesbaarheid niet alle modellen zijn weergegeven, zijn de coëfficiënten in de tabellen niet volledig vergelijkbaar (de ongecorrigeerde tabel toont model 4, de gecorrigeerde tabel toont model 3). Onderstaande tabellen geven de resultaten weer van de analyses (model 4) van alle clusters.

Tabel 27:

Lineaire regressie analyse (model 4) van studieoordeel Inhoud op enquêtemethode, studentenkenmerken en opleidingskenmerken en na correctie (model 3)

Inhoud

Intercept Methode (telefoon-web)

Ongecorrigeerd B s.e. 6,84

0,03**

-0,20

0,03**

0,11 0,14 -0,10

Gecorrigeerd B s.e. 6,57

0,03**

0,01** 0,01** 0,01**

0,15 0,21 -0,14

0,01** 0,01** 0,01**

0,00 0,12 0,43

0,03 0,02** 0,02**

0,03 0,19 0,62

0,03 0,03** 0,02**

0,04 0,06 -0,04

0,01* 0,02** 0,02*

0,03 0,06 0,17

0,03 0,03* 0,02**

Respondentkenmerken Geslacht (man-vrouw) Vorm (voltijd-deeltijd) Jaar (eerstejaars-ouderejaars)


Interacties (respondent) Methode*Geslacht Methode*Vorm Methode*Jaar

Interacties (opleiding) Methode*numerus fixus Methode*TypeHo Methode*SoortHo Level 1 variance (respondent) Level 2 variance (opleiding) Deviance N level 1 N level 2 *p <.05; ** p < .01


0,72 0,06** 206.258,26 80.902 1.796

0,75 0,08** 192.984,50 75.246 1.694

Tabel 28:

Lineaire regressie analyse (model 4) van studieoordeel Keuze op enquêtemethode, studentenkenmerken en opleidingskenmerken

Keuze



0,04**

-0,48

0,05**

-0,04 -0,22 0,03


0,05**

0,01** 0,03** 0,01*

-0,05 -0,33 0,04

0,01** 0,03** 0,01**

-0,18 -0,05 0,29

0,05** 0,04 0,03**

-0,32 0,01 0,68

0,07** 0,05 0,03**

-0,02 -0,09 0,01

0,02 0,04* 0,03

-0,12 0,00 0,41

0,06 0,05 0,04**






1,19 0,15** 202.614,86 66.087 1.787

1,20 0,20** 187.943,65 61.261 1.677

Tabel 29:

Lineaire regressie analyse (model 4) van studieoordeel Samenhang op enquêtemethode, studentenkenmerken en opleidingskenmerken

Samenhang



0,04**

-0,36

0,05**

0,08 -0,06 -0,14


0,06**

0,01** 0,02* 0,02**

0,14 0,02 -0,17

0,01** 0,01 0,01**

0,23 -0,06 -0,12

0,05** 0,04 0,03**

0,24 0,06 0,16

0,06** 0,05 0,03**

0,04 0,09 -0,04

0,02 0,03** 0,03

0,00 0,08 0,27

0,05 0,04 0,03**






1,39 0,15** 253.812,22 79.034 1.791

1,35 0,19** 234.295,91 73.717 1.688

Tabel 30:

Lineaire regressie analyse (model 4) van studieoordeel Werkvormen op enquêtemethode, studentenkenmerken en opleidingskenmerken

Werkvormen



0,03**

-0,47

0,04**

0,12 -0,05 -0,16


0,04**

0,01** 0,02* 0,01**

0,18 0,02 -0,02

0,01** 0,02 0,01**

0,15 0,40 0,13

0,05** 0,03** 0,02**

0,13 0,61 0,40

0,05* 0,04** 0,02**

0,04 0,07 0,00

0,02 0,03** 0,02

-0,03 0,15 0,23

0,04 0,04** 0,03**






1,01 0,11** 233.024,97 80.515 1.796

1,03 0,154** 217.605,91 74.914 1.694

Tabel 31:

Lineaire regressie analyse (model 4) van studieoordeel Loopbaan op enquêtemethode, studentenkenmerken en opleidingskenmerken

Loopbaan



0,04**

-0,21

0,05**

0,07 -0,45 -0,11


0,05**

0,01** 0,02** 0,01**

0,07 -0,38 -0,14

0,01** 0,02** 0,01**

0,18 -0,11 -0,31

0,05** 0,04** 0,03**

0,23 -0,18 -0,16

0,05** 0,05** 0,03**

0,00 0,09 -0,03

0,02 0,03** 0,02

0,05 -0,05 0,16

0,04 0,05 0,03**






1,18 0,10** 244.215,76 80.277 1.795

1,17 0,14** 226.439,05 74.766 1.693

Tabel 32:

Lineaire regressie analyse (model 4) van studieoordeel Docenten op enquêtemethode, studentenkenmerken en opleidingskenmerken

Docenten



0,03**

-0,34

0,04**

0,05 0,08 -0,12

-0,05 0,16 0,40


0,04**

0,01** 0,02** 0,01**

0,08 0,11 -0,09

0,01** 0,02** 0,01**

0,05 0,03** 0,02**

-0,06 0,30 0,68

0,05 0,03** 0,02**




0,02 0,04 0,02

0,02 0,02 0,02



-0,01 0,09 0,27 1,01 0,11** 232.568,85 80.592 1.795

0,03 0,03** 0,02** 1,03 0,14** 218.128,36 75.032 1.693

Tabel 33:

Lineaire regressie analyse (model 4) van studieoordeel Communicatie op enquêtemethode, studentenkenmerken en opleidingskenmerken

Communicatie



0,03**

-0,36

0,04**

0,10 0,16 -0,16


0,04**

0,01** 0,03** 0,01**

0,15 0,12 -0,11

0,01** 0,02** 0,01**

-0,05 0,02 0,62

0,05 0,03 0,03**

-0,11 0,07 0,88

0,06 0,04 0,03**

0,04 -0,05 0,05

0,02* 0,03 0,02*

-0,06 0,05 0,24

0,05 0,04 0,03**






1,19 0,13** 242.079,90 79.356 1.795

1,21 0,16** 226.176,68 73.736 1.693

Tabel 34:

Lineaire regressie analyse (model 4) van studieoordeel Studeerbaarheid op enquêtemethode, studentenkenmerken en opleidingskenmerken

Studeerbaarheid



0,04**

-0,39

0,05**

0,04 0,06 0,01


0,05**

0,01** 0,04 0,01

0,05 -0,00 0,10

0,01** 0,06 0,01**

-0,14 -0,18 -0,14

0,06* 0,04** 0,02**

-0,20 -0,16 0,13

0,07** 0,05** 0,03**

0,00 0,00 0,09

0,02 0,09 0,03**

-0,04 0,01 0,28

0,06 0,05 0,03**






1,11 0,09** 188.307,33 63.091 1.698

1,11 0,14** 173.512,57 58.095 1.590

Tabel 35:

Lineaire regressie analyse (model 4) van studieoordeel Gebouwen op enquêtemethode, studentenkenmerken en opleidingskenmerken

Gebouwen



0,04**

-0,38

0,05**

-0,04 0,30 -0,28


0,04**

0,01** 0,02** 0,01**

0,05 0,37 -0,31

0,01** 0,02** 0,01**

0,11 -0,05 0,58

0,05* 0,03 0,03**

0,12 0,15 0,80

0,06* 0,04** 0,03**

0,07 0,06 -0,03

0,02* 0,03* 0,02

0,00 0,13 0,20

0,04 0,04** 0,03**






1,24 0,14** 241.097,45 77.915 1.764

1,26 0,16** 225.932,25 72.741 1.665

Tabel 36:

Lineaire regressie analyse (model 4) van studieoordeel Faciliteiten op enquêtemethode, studentenkenmerken en opleidingskenmerken

Faciliteiten



0,04**

-0,37

0,04**

-0,05 0,28 -0,22


0,04**

0,01** 0,02** 0,01**

-0,01 0,38 -0,22

0,01 0,02** 0,01**

-0,01 -0,01 0,60

0,05 0,03 0,03**

-0,08 0,08 0,85

0,05 0,04* 0,02**

0,04 0,09 0,00

0,02* 0,03** 0,02

-0,07 0,05 0,24

0,04 0,04 0,03**






1,03 0,12** 230.958,51 79.444 1.792

1,03 0,13** 215.130,44 74.139 1.691

Tabel 37:

Correctiefactoren berekend op basos van multilevel-analyse

Geslacht

Vorm

Jaar

Numerus BaMa Fixus

Soort Ho

Inhoud

Keuze

Man Man

Voltijd Voltijd

Eerstejaars Eerstejaars

Nee Nee

Hbo Wo

-0,198 -0,028

-0,477 -0,065

-0,363 -0,088

Ba Ba

Samenhang

Werkvormen -0,474 -0,240

Loopbaan

Docenten

-0,211 -0,050

-0,339 -0,073

Communicatie -0,357 -0,122

Studeerbaarheid -0,387 -0,110

Gebouw -0,375 -0,172

Faciliteiten -0,370 -0,129

Man

Voltijd

Eerstejaars

Nee

Ma

Hbo

-0,140

-0,476

-0,281

-0,321

-0,257

-0,248

-0,306

-0,379

-0,250

-0,316

Man Man

Voltijd Voltijd


Nee Ja

Ma Ba

Wo Hbo

0,030 -0,173

-0,064 -0,596

-0,007 -0,361

-0,087 -0,504

-0,096 -0,166

0,018 -0,351

-0,071 -0,413

-0,102 -0,432

-0,047 -0,376

-0,075 -0,441

Man Man

Voltijd Voltijd


Ja Ja

Ba Ma

Wo Hbo

-0,003 -0,115

-0,184 -0,595

-0,087 -0,280

-0,270 -0,351

-0,005 -0,212

-0,086 -0,260

-0,178 -0,362

-0,155 -0,424

-0,173 -0,251

-0,200 -0,388

Man

Voltijd

Eerstejaars

Ja

Ma

Wo

0,055

-0,183

-0,005

-0,117

-0,051

0,005

-0,127

-0,147

-0,048

-0,147

Man Man

Voltijd Voltijd

Ouderejaars Ouderejaars

Nee Nee

Ba Ba

Hbo Wo

-0,240 -0,070

-0,468 -0,056

-0,398 -0,124

-0,477 -0,243

-0,237 -0,076

-0,316 -0,050

-0,310 -0,075

-0,299 -0,022

-0,406 -0,203

-0,371 -0,130

Man Man

Voltijd Voltijd


Nee Nee

Ma Ma

Hbo Wo

-0,182 -0,012

-0,467 -0,056

-0,316 -0,042

-0,324 -0,090

-0,283 -0,122

-0,225 0,041

-0,259 -0,024

-0,291 -0,014

-0,281 -0,078

-0,317 -0,076

Man

Voltijd

Ouderejaars

Ja

Ba

Hbo

-0,215

-0,587

-0,396

-0,507

-0,192

-0,328

-0,366

-0,344

-0,407

-0,442

Man Man

Voltijd Voltijd


Ja Ja

Ba Ma

Wo Hbo

-0,045 -0,157

-0,175 -0,586

-0,122 -0,315

-0,273 -0,354

-0,031 -0,238

-0,062 -0,237

-0,131 -0,315

-0,067 -0,336

-0,204 -0,282

-0,201 -0,389

Man Man

Voltijd Deeltijd

Ouderejaars Eerstejaars

Ja Nee

Ma Ba

Wo Hbo

0,013 -0,140

-0,174 -0,572

-0,041 -0,277

-0,120 -0,400

-0,077 -0,119

0,029 -0,302

-0,080 -0,404

-0,059 -0,384

-0,079 -0,313

-0,148 -0,280

Man

Deeltijd

Eerstejaars

Nee

Ba

Wo

0,030

-0,160

-0,002

-0,166

0,042

-0,036

-0,169

-0,107

-0,110

-0,039

Man Man

Deeltijd Deeltijd


Nee Nee

Ma Ma

Hbo Wo

-0,082 0,088

-0,571 -0,159

-0,195 0,079

-0,247 -0,013

-0,164 -0,003

-0,211 0,055

-0,353 -0,118

-0,376 -0,099

-0,188 0,015

-0,226 0,015

Man Man

Deeltijd Deeltijd


Ja Ja

Ba Ba

Hbo Wo

-0,114 0,056

-0,691 -0,279

-0,275 -0,001

-0,430 -0,196

-0,074 0,087

-0,314 -0,049

-0,460 -0,224

-0,429 -0,152

-0,314 -0,111

-0,352 -0,111

Man

Deeltijd

Eerstejaars

Ja

Ma

Hbo

-0,057

-0,690

-0,194

-0,277

-0,119

-0,223

-0,409

-0,421

-0,189

-0,298

Man

Deeltijd

Eerstejaars

Ja

Ma

Wo

0,113

-0,278

0,081

-0,043

0,042

0,042

-0,174

-0,144

0,014

-0,057

Man Man

Deeltijd Deeltijd


Nee Nee

Ba Ba

Hbo Wo

-0,182 -0,012

-0,563 -0,151

-0,312 -0,038

-0,403 -0,169

-0,145 0,016

-0,278 -0,013

-0,357 -0,122

-0,296 -0,018

-0,344 -0,141

-0,281 -0,040

Man Man

Deeltijd Deeltijd


Nee Nee

Ma Ma

Hbo Wo

-0,124 0,046

-0,562 -0,150

-0,230 0,044

-0,250 -0,016

-0,190 -0,029

-0,187 0,078

-0,306 -0,071

-0,288 -0,011

-0,219 -0,016

-0,227 0,014

Man

Deeltijd

Ouderejaars

Ja

Ba

Hbo

-0,157

-0,682

-0,311

-0,433

-0,100

-0,291

-0,413

-0,341

-0,345

-0,353

Man

Deeltijd

Ouderejaars

Ja

Ba

Wo

0,013

-0,270

-0,036

-0,199

0,061

-0,025

-0,177

-0,063

-0,142

-0,112

Man Man

Deeltijd Deeltijd


Ja Ja

Ma Ma

Hbo Wo

-0,099 0,071

-0,681 -0,269

-0,229 0,045

-0,280 -0,046

-0,145 0,016

-0,200 0,066

-0,362 -0,127

-0,333 -0,055

-0,220 -0,017

-0,299 -0,058

Werkvormen

Communicatie

Studeerbaarheid

Geslacht

Vorm

Jaar

Numerus BaMa Fixus

Soort Ho

Inhoud

Keuze

Vrouw Vrouw

Voltijd Voltijd


Nee Nee

Ba Ba

Hbo Wo

-0,163 0,007

-0,502 -0,090

-0,325 -0,050

Vrouw

Voltijd

Eerstejaars

Nee

Ma

Hbo

-0,105

-0,501

-0,243

Vrouw Vrouw

Voltijd Voltijd


Nee Ja

Ma Ba

Wo Hbo

0,065 -0,138

-0,089 -0,621

0,031 -0,323

Vrouw Vrouw

Voltijd Voltijd


Ja Ja

Ba Ma

Wo Hbo

0,032 -0,080

-0,209 -0,620

-0,049 -0,242

Vrouw

Voltijd

Eerstejaars

Ja

Ma

Wo

0,090

-0,208

Vrouw Vrouw

Voltijd Voltijd


Nee Nee

Ba Ba

Hbo Wo

-0,205 -0,035

-0,493 -0,081

Vrouw Vrouw

Voltijd Voltijd


Nee Nee

Ma Ma

Hbo Wo

-0,147 0,023

-0,492 -0,080

-0,278 -0,004

Vrouw

Voltijd

Ouderejaars

Ja

Ba

Hbo

-0,180

-0,612

-0,359

-0,472

-0,190

-0,311

-0,325

-0,340

-0,333

-0,404

Vrouw Vrouw

Voltijd Voltijd


Ja Ja

Ba Ma

Wo Hbo

-0,010 -0,122

-0,200 -0,611

-0,084 -0,277

-0,238 -0,319

-0,028 -0,235

-0,045 -0,220

-0,089 -0,274

-0,062 -0,332

-0,130 -0,208

-0,163 -0,350

Vrouw Vrouw

Voltijd Deeltijd

Ouderejaars Eerstejaars

Ja Nee

Ma Ba

Wo Hbo

0,048 -0,105

-0,199 -0,596

-0,003 -0,239

-0,085 -0,365

-0,074 -0,116

0,046 -0,284

-0,039 -0,363

-0,054 -0,380

-0,005 -0,239

-0,109 -0,241

Vrouw

Deeltijd

Eerstejaars

Nee

Ba

Wo

0,065

-0,184

0,036

-0,131

0,045

-0,019

-0,128

-0,102

-0,036

0,000

Vrouw Vrouw

Deeltijd Deeltijd


Nee Nee

Ma Ma

Hbo Wo

-0,047 0,123

-0,595 -0,183

-0,157 0,117

-0,212 0,022

-0,162 -0,001

-0,193 0,072

-0,312 -0,077

-0,372 -0,094

-0,114 0,089

-0,188 0,053

Vrouw Vrouw

Deeltijd Deeltijd


Ja Ja

Ba Ba

Hbo Wo

-0,079 0,091

-0,715 -0,303

-0,237 0,037

-0,395 -0,161

-0,071 0,090

-0,297 -0,031

-0,418 -0,183

-0,425 -0,147

-0,240 -0,037

-0,313 -0,072

Vrouw

Deeltijd

Eerstejaars

Ja

Ma

Hbo

-0,022

-0,714

-0,156

-0,242

-0,117

-0,206

-0,368

-0,417

-0,115

-0,259

Vrouw

Deeltijd

Eerstejaars

Ja

Ma

Wo

0,148

-0,302

0,119

-0,008

0,044

0,060

-0,132

-0,139

0,088

-0,018

Vrouw Vrouw

Deeltijd Deeltijd


Nee Nee

Ba Ba

Hbo Wo

-0,147 0,023

-0,587 -0,175

-0,274 0,000

-0,368 -0,134

-0,142 0,019

-0,261 0,005

-0,316 -0,080

-0,291 -0,014

-0,270 -0,067

-0,242 -0,001

Vrouw Vrouw

Deeltijd Deeltijd


Nee Nee

Ma Ma

Hbo Wo

-0,089 0,081

-0,586 -0,174

-0,192 0,082

-0,215 0,019

-0,188 -0,027

-0,170 0,096

-0,265 -0,030

-0,284 -0,006

-0,145 0,058

-0,188 0,052

Vrouw

Deeltijd

Ouderejaars

Ja

Ba

Hbo

-0,121

-0,706

-0,273

-0,398

-0,097

-0,273

-0,371

-0,336

-0,271

-0,314

Vrouw

Deeltijd

Ouderejaars

Ja

Ba

Wo

0,049

-0,294

0,002

-0,164

0,064

-0,008

-0,136

-0,059

-0,068

-0,073

Vrouw Vrouw

Deeltijd Deeltijd


Ja Ja

Ma Ma

Hbo Wo

-0,064 0,106

-0,705 -0,293

-0,191 0,083

-0,244 -0,011

-0,143 0,018

-0,182 0,083

-0,321 -0,085

-0,329 -0,051

-0,146 0,057

-0,260 -0,019

Samenhang

-0,439 -0,205

Loopbaan

Docenten

Gebouw

Faciliteiten

-0,209 -0,048

-0,321 -0,056

-0,316 -0,081

-0,383 -0,105

-0,301 -0,098

-0,331 -0,090

-0,286

-0,254

-0,230

-0,265

-0,375

-0,176

-0,277

-0,052 -0,469

-0,093 -0,164

0,035 -0,334

-0,030 -0,372

-0,098 -0,428

0,027 -0,302

-0,036 -0,403

-0,235 -0,316

-0,003 -0,209

-0,068 -0,243

-0,137 -0,321

-0,150 -0,420

-0,099 -0,177

-0,162 -0,349

0,033

-0,082

-0,048

0,023

-0,086

-0,143

0,026

-0,108

-0,360 -0,086

-0,442 -0,208

-0,235 -0,074

-0,298 -0,032

-0,269 -0,034

-0,295 -0,017

-0,332 -0,129

-0,332 -0,091

-0,289 -0,055

-0,280 -0,119

-0,207 0,059

-0,218 0,017

-0,287 -0,009

-0,207 -0,004

-0,278 -0,037

5 Resultaten op hoofdlijnen

Om na te gaan hoe landelijk de stand van zaken is met betrekking tot de tevredenheid van studenten zijn op het bestand van de Nationale Studentenenquête enkele analyses uitgevoerd. Figuur 3 toont de rapportcijfer per cluster voor het totale hoger onderwijs. De sfeer en de voorzieningen worden het best beoordeel (gemiddeld een 7,5). Ook de inhoud van de opleiding krijgt een ruime zeven. Minder dan een 6,5 geven studenten voor woonruimte, communicatie, begeleiding (alleen in 2009 gevraagd) en inspraak (alleen in 2009 gevraagd).

Sfeer (2009)

7,5

Voorzieningen

7,5

Inhoud

7,1

Faciliteiten

6,9

Docenten

6,9

Studeerbaarheid

6,8

Samenhang

6,7

Aansluiting (2009)

6,7

Keuzeruimte

6,6

Werkvormen

6,6

Voorbereiding loopbaan

6,6

Gebouwen

6,6

Inspraak (2009)

6,6

Begeleiding (2009)

6,5

Communicatie

6,3

Woonruimte

6,0

Totaalscore

6,7

0

Figuur 3:

1

2

3

4

5

6

7

8

9

10

Resultaten NSE per cluster: totaal hoger onderwijs

Er zijn duidelijke verschillen tussen hbo en wo. Over het algemeen geven wo-studenten een positiever oordeel dan hbo-studenten. Figuur 4 toont de resultaten op de clusters, onderscheiden naar hbo en wo. Met uitzondering van de clusters Voorbereiding loopbaan en Studeerbaarheid zijn alle verschillen tussen hbo en wo significant (p < 0,01). Samenvattend kunnen we concluderen dat:

wo-studenten veel positiever zijn over: inhoud, faciliteiten, communicatie, totaalscore, docenten en gebouwen; wo-studenten enigszins positiever zijn over: keuzeruimte, werkvormen, voorzieningen, aansluiting (2009), samenhang en inspraak (alleen in 2009 gevraagd); hbo-studenten iets positiever over zijn: sfeer (alleen in 2009 gevraagd) en begeleiding (alleen in 2009 gevraagd).


7,6 7,4

Voorzieningen 6,1 6,0

Woonruimte

6,6 6,5

Inspraak (2009) Begeleiding (2009)

6,4 6,5

Aansluiting (2009)

6,5

Faciliteiten

6,9 7,5

6,7

Gebouwen

7,1

6,3

7,4 7,6

Sfeer (2009) 6,8 6,8

Studeerbaarheid Communicatie

6,0

6,8

Docenten

6,7

Voorbereiding loopbaan

6,6 6,6

Werkvormen

6,5

6,9

6,9 6,6

Samenhang Keuzeruimte

6,4

Inhoud

7,0

6,8

Totaalscore

6,5

0

Figuur 4:

7,4

1

2

3

4

5

6

7

7,5

7,0

8

9

10

Resultaten NSE per cluster: hbo en wo

Door middel van multilevel-analyse is vervolgens nagegaan in hoeverre studentoordelen zich laten voorspellen aan de hand van instellings-, opleidings- en respondentkarakteristieken. Hiervoor is het totaaloordeel over de opleiding als afhankelijke (te verklaren) tevredenheidsaspect geanalyseerd. In het onderstaande worden de resultaten kort besproken. De resultaten van de multilevel-analyse zijn weergegeven in Tabel 38. In het eerste model (ook wel 0-model genoemd) wordt alleen nagegaan in hoeverre er variantie bestaat op de verschillende onderscheiden niveaus. We zien dat het gemiddeld oordeel van studenten 6,84 is en dat de variantie op het respondentniveau groter dan is op het opleidingsniveau. Dit houdt in dat verschillen tussen opleidingen kleiner zijn dan de verschillen tussen individuele studenten. In model 1 voegen we enkele individuele achtergrondkenmerken toe aan de analyse. Vrouwen en eerstejaars studenten oordelen positiever over hun opleiding. Gehandicapten vellen over het algemeen een negatiever oordeel. Naarmate studenten meer studeren, wordt het oordeel dat studenten hebben van een opleiding positiever (het totale effect tussen een ‘luie’ en een ‘ijverige’ student is 0,32). In het tweede model laten we de achtergrondkenmerken achterwege en verleggen we de focus op de instellings- en opleidingsfactoren. We zien dat de opgenomen predictoren (numerus fixus, soort hoger onderwijs, BaMa, vorm (vt-dt), bekostiging (NBI), stedelijkheid en opleidingsomvang) de helft van de variantie in studieoordeel verklaren.


Het verschil tussen wo en hbo bedraagt 0,54. Masterstudenten en studenten van particulieren opleidingen zijn overwegend positiever. Studenten van grote opleidingen en studenten die de studie in een grote stad volgen, oordelen over het algemeen negatiever. In Model 3 zijn zowel de opleidings- en instellingskarakteristieken als de respondentkenmerken opgenomen in de analyse. Het is opvallend dat, wanneer we rekening houden met de samenstelling van de studentpopulatie binnen een opleiding (we controleren immers voor studentkenmerken), er een verschil in oordeel bestaat tussen voltijd en deeltijd opleidingen. Een mogelijke verklaring ligt bij het aantal uren studie per week. Voltijdstudenten zijn normaliter positiever, maar dat komt voor een deel door het aantal uren dat ze aan hun studie besteden. Om een verklaring te bieden voor het gegeven dat studenten aan grote opleidingen negatiever oordelen over de opleiding is in model 4 een maat voor organisatiegraad opgenomen. De massaliteit (in aantal studenten) van hoorcolleges is daarvoor gebruikt. Hoe massaler de hoorcolleges des te negatiever oordelen studenten over de opleiding. Bij het simultaan opnemen van organisatiegraad en opleidingsomvang blijkt dat de opleidingsomvang er helemaal niet meer toe doet. Op basis hiervan kunnen we concluderen dat een kleinschalige organisatie van het onderwijs (ook als het en grote opleiding betreft) samengaat met positieve studentoordelen.

Tabel 38:

Totaal tevredenheidscore NSE

Intercept

Model 0 B s.e.

Model 1 B s.e.

Model 2 B s.e.

Model 3 B s.e.

Model 4 B s.e.

6,84** 0,01

6,62** 0,02

6,74** 0,06

6,59** 0,06

6,64** 0,06

Individuele kenmerken Geslacht Eerstejaars Handicap Studietijd (uren per week)

0,04** 0,12** -0,17** 0,01**

0,01 0,01 0,01 0,00

0,04** 0,12** -0,16** 0,01**

0,01 0,01 0,01 0,00

0,04** 0,12** -0,16** 0,01**

0,01 0,01 0,01 0,00

0,05 0,53** 0,10** -0,16** 0,26** -0,11** -0,00**

0,05 0,02 0,03 0,06 0,10 0,02 0,00

0,12* 0,61** 0,05* -0,17** 0,23* -0,11** 0,00

0,05 0,02 0,03 0,06 0,10 0,02 0,00

Opleidingskenmerken Numerus Fixus Soort Hoger Onderwijs Type Hoger onderwijs (BaMa) Vorm (VtDt) Bekostiging (NBI) Stedelijkheid Opleidingsomvang

0,08 0,54** 0,10** -0,09* 0,24 -0,11** -0,00**

0,05 0,02 0,03 0,06 0,10 0,02 0,00

Verklaring Omvang hoorcolleges

0,00** 0,00


0,62 0,18** 167.887 69.677 1.826

*p <.05; ** p < .01


0,61 0,17** 166.854 69.677 1.826

0,62 0,09** 167.052 69.677 1.826

0,61 0,09** 166.024 69.677 1.826

0,61 0,08** 165.981 69.677 1.826

6 Publicatie van de data

De resultaten van de Nationale Studentenenquête zijn op verschillende manieren gepubliceerd: via de Studiekeuzedatabase en de website Studiekeuze123, via instellingsspecifieke bestanden en rapportages en door middel van de online applicatie NSE Online. Deze drie publicatievormen worden in dit hoofdstuk kort toegelicht.

6.1

Studiekeuzedatabase en website Studiekeuze123 In september 2009 zijn de nieuwe NSE-gegevens opgenomen in de Studiekeuzedatabase en getoond op de website Studiekeuze123. Hiervoor zijn de volgende tabellen vervaardigd:

Bachelor voltijd, bachelor deeltijd en master (ongewogen) De informatie op het niveau instelling*opleiding*locatie is ongewogen opgenomen in de database, geaggregeerd naar NSE_ID (zie hiervoor ook paragraaf 3.7). De beslissing om niet te wegen moest noodgedwongen worden genomen omdat bij het bepalen van de weegfactor ‘locatie’ niet kon worden meegenomen vanwege het ontbreken van de exacte locatiebeschrijving op recordniveau in de jaren 2006-2008. In de Studiekeuzedatabase zijn cellen waarvan de respons op recordniveau lager was dan ‘5’ leeg gelaten. De tabellen bevatten nagenoeg alle gegevens uit het databestand. Allereerst uiteraard de clusterscores en alle onderliggende items (gemiddelde rapportcijfers en aantallen). Verder is een aantal andere gegevens opgenomen (studievoortgang; moeilijkheidsgraad opleiding; praktijkgerichtheid c.q. theoretisch gehalte van de opleiding; studietijd; contacturen; samenwerking; omvang werkcolleges en hoorcolleges; studiekosten; gegevens over bijbaan (aantallen); studiekeuzemotieven: inhoud of baankans; masterkeuze; aandeel en aantal studenten met buitenlandervaring; aandeel en aantal studenten op kamers; kamerhuur; sfeer; specialisatie gekozen; percentage studieswitchers; aandeel mannen en vrouwen in steekproef; leeftijd naar leeftijdscategorie; samenstelling steekproef naar vooropleiding: havo, vwo, mbo, hbopropedeuse, hbo, wo-propedeuse, wo-bachelor, wo-doctoraal, buitenlandse opleiding, toelatingsgesprek; samenstelling steekproef naar studiejaar (eerste tot en met vijfde- en ouderejaars); samenstelling steekproef naar profiel in vo: cm, em, ng, nt).

Studentoordelen per studie landelijk/verwante opleidingen (gewogen) De studentoordelen zijn geaggregeerd op de zogenaamde ‘studiecode’ opgenomen in de tabel ‘Studies’. Deze tabel wordt op de website Studiekeuze123 vooral gebruikt voor snelvergelijken. Uiteraard is deze tabel wel gewogen voor steekproefafwijkingen. Studentoordelen van opleidingen met veel studenten aan een instelling tellen op deze wijze zwaarder mee dan dezelfde opleiding met weinig studenten aan een andere instelling. Deze tabel bevat de studentoordelen van de volgende clusters: steekproefomvang, totaalscore, inhoud, keuzeruimte, samenhang, werkvormen, voorbereiding loopbaan en studeerbaarheid.

Studentoordelen per vestiging (gewogen) De studentoordelen per vestiging zijn gewogen. Deze tabellen bevatten oordelen over een locatie (bijvoorbeeld op het niveau van alle opleidingen aan vestiging Alkmaar van InHolland). Voor deze tabellen zijn alle records uit het verleden die niet uniek aan en vestiging waren toe te wijzen, verwijderd. Deze tabel bevat informatie over de steekproefomvang en oordelen over kantine, bereikbaarheid, sport en parkeren.


Oordelen handicapvragen per vestiging (ongewogen) Vervolgens is een tabel opgenomen van oordeel van studenten met een beperking. Deze gegevens zijn ongewogen in de database opgenomen omdat er geen cijfers beschikbaar zijn over aantallen gehandicapte studenten per instelling. In voorgaande jaren werden de gegevens gecorrigeerd voor methode-effecten. Omdat er sprake zal zijn van een interactie van de gehanteerde methode met de aard van de handicap en bovendien door de kleine aantallen per instelling niet kan worden nagegaan of verschillen in oordelen te wijten zijn aan de aard van de handicap of aan de gehanteerde methode en daarmee iedere rationale voor weging of correctie ontbreekt, is besloten de gegevens ongecorrigeerd en ongewogen op te nemen. Het betreft de volgende velden per instelling: steekproefomvang en oordelen over intake, hulpmiddelen, aanpassingen in het onderwijs, voorlichting, begeleiding en de mate waarin docenten begripvol zijn en de totaalscore over voorzieningen voor gehandicapten.

Oordelen per stad (gewogen) Een aantal relevante oordelen zijn in de tabel ‘Steden’ opgenomen. Deze gegevens zijn gewogen voor steekproefafwijkingen. Alle records die niet uniek aan een stad zijn toe te wijzen (2006-2008) zijn verwijderd. Het betreft hier informatie over de steekproefomvang per stad en oordelen over horecavoorzieningen in studiestad, culturele voorzieningen in studiestad, aanbod aan studenten- en/of studieverenigingen in studiestad, aandeel studenten op kamers (alleen particulier studentenhuis of studentenhuisvesting, bevraagd in 2009), kamerhuur (particulier studentenhuis of studentenhuisvesting, bevraagd in 2009).

Internationale studenten (ongewogen) De oordelen van internationale studenten zijn in de Studiekeuzedatabase opgenomen voor die instellingen waar tien of meer buitenlandse studenten de enquête hebben ingevuld. De gegevens zijn ongewogen omdat op voorhand niet bekend is hoeveel internationale studenten deze groep representeert. Het betrof specifieke informatie over deze doelgroep: steekproefomvang en een totaaloordeel en oordelen over veiligheid studie- en verblijfsomgeving, kwaliteit accommodatie, kosten accommodatie, kosten levensonderhoud, studiekosten, openbaar vervoer van en naar instelling, internationale karakter instelling, omgangsvormen docenten op instelling, omgangsvormen studenten op instelling, overige gewoonten, contact met Nederlandse medestudenten, contact met andere internationale studenten en de organisatie van sociale activiteiten voor internationale studenten. Uiteindelijk zijn de oordelen van studenten van 14 instellingen opgenomen (samen 631 studenten).

6.2

Instellingsspecifieke bestanden en rapportages Alle instellingen hebben een databestand (spss) ontvangen met de alle microdata van de eigen instelling, aangevuld met alle records binnen hetzelfde soort onderwijs (hbo of wo). De overige instellingen zijn daarbij samengevoegd tot één groep ‘Overige hogescholen of universiteiten’. In het bestand is eveneens de weegfactor opgenomen en zijn de faculteiten toegevoegd voor zover deze waren aangeleverd door de instellingen. Het veld ‘Faculteit’ van de andere instellingen is op ‘blank’ gezet. Daarnaast zijn syntaxen beschikbaar gesteld om voor de eigen instelling de weegfactor lineair aan te passen zodat het aantal ongewogen en gewogen respondenten binnen de eigen instelling gelijk is. Daarnaast zijn voor alle instellingen instellingsrapporten verzameld waarbij de scores van een instelling vergeleken wordt met de landelijke scores, zowel totaal hbo of wo als op het niveau van de crohosectoren. Voor in totaal 95 ho-instellingen zijn van zowel de totaalscore als van alle clusterscores grafieken vervaardigd. Figuur 5 toont een voorbeeld van een dergelijke instellingsrapportage. Deze instellingsrapporten zijn in oktober beschikbaar gesteld in pdf- en in Excel-formaat. Instellingen konden met een uniek wachtwoord en de instellingsbrin de rapporten, de Excelbestanden en de spssbestanden downloaden.


Figuur 5:

6.3

Voorbeeld instellingsrapportage

NSE Online In dit najaar zijn de resultaten van de NSE 2006-2009 gekoppeld tot een trendbestand met microdata en op het internet ‘gepubliceerd’ met behulp van het programma KIWI in de zogenaamde NSE Online. KIWI, ofwel Kwantitatieve Informatie via Web-Interface, is een door Q Delft ontwikkelde web-based applicatie. Kerntaak van KIWI is het genereren van overzichten in tabellen en grafieken, die ook bruikbaar zijn voor medewerkers zonder statistische achtergrond. Afgelopen zomer heeft de gebruikersinterface van KIWI nog een ingrijpende restyling ondergaan. In de NSE-online kan men overzichten maken op basis van voorgedefinieerde tabellen, of door middel van zelf samengestelde rijen en kolommen. De voorgedefinieerde tabellen staan op de openingspagina van het programma en na het bekijken van zo’n tabel kan men eenvoudig terugkeren naar deze startpagina. Onderstaande figuur toont het startscherm van de NSE-online.


Men kan een selectie maken van gegevens en bepaalt vervolgens zelf de gewenste opmaak door gebruik te maken van de ‘icon-bar’ in het scherm. De verkregen tabellen en grafieken kan men exporteren naar Microsoft Word en Excel. Representativiteit en privacy van gegevens zijn met KIWI goed gewaarborgd. Een privacyalgoritme blokkeert het opvragen van overzichten als de gegevens beperkt van omvang zijn of herleid kunnen worden tot individuele personen. Voor de NSE-online is gekozen om cellen waar minder dan vijf respondenten aan ten grondslag liggen, niet te tonen. Het programma maakt hiervan dan melding onder in het scherm. Er is een openbaar deel van de website waar de uitkomsten van de NSE-online zijn te raadplegen door iedereen. Daarnaast kunnen gebruikers die over een eigen inlogcode en wachtwoord beschikken toegang krijgen tot het ‘beschermde’ deel van de website. De wachtwoorden en inlogcodes zijn identiek aan de codes waarmee instellingen hun databestanden kunnen downloaden. Zowel in het openbare deel als in het beschermde deel van NSE-online zijn twintig zogenaamde dossiers te raadplegen, die per thema de uitkomsten van de NSE bevatten. Het verschil tussen de openbare- en de beschermde dossiers is dat het in het openbare deel de uitkomsten toont voor heel Nederland, en dat in het beschermde deel de gebruiker de uitkomsten van zijn eigen instelling kan analyseren. De dossiers die in de NSE-online zijn opgenomen zijn: A - Algemeen B - Inhoud C - Keuzeruimte D - Samenhang E - Werkvormen F - Voorbereiding loopbaan G - Docenten H - Communicatie I - Studeerbaarheid J - Sfeer

K - Gebouwen L - Faciliteiten M - Aansluiting (2009) N - Begeleiding (2009) O - Inspraak (2009) P - Woonruimte Q - Voorzieningen R - Keuzemotieven en toekomstperspectief S - Studieproces en financiën Z – Instellingsscores

Het eerste dossier bevat alle clusterscores inclusief de totaalscore over alle clusters heen. De volgende 18 dossiers bevatten telkens voor een thema de clusterscore en alle itemscores. Het dossier ‘Inhoud’ bevat bijvoorbeeld de volgende onderwerpen: Inhoud (Totaalscore) Opleiding inhoudelijk interessant Inhoudelijk niveau opleiding Kwaliteit toetsing en beoordeling Aansluiting toetsing en beoordeling bij inhoud (2009) Aansluiting toetsing en beoordeling bij onderwijsactiviteiten (2009) Diepgang opleiding (2009) Breedte opleiding (2009) De laatste vier items zijn voor het eerst in 2009 gevraagd en daarom niet opgenomen in het cluster5 Alle 19 dossiers hebben dezelfde opbouw: een bezoeker van de website kan aangeven welk onderwerp hij wil bekijken en kan vervolgens aangeven of en hoe hij dat onderwerp wil hebben uitgesplitst. Daarbij kan hij kiezen uit de volgende kenmerken:

5

Zie voor meer informatie over de samenstelling van de clusters paragraaf 3.5.


Het laatste dossier met de aanduiding ‘Z – Instellingscores’ wijkt sterk af van de voorgaande 19. In dit dossier zitten alle clusterscores (net als in dossier ‘A – Algemeen’), maar in dit dossier zijn slechts enkele uitsplitsingen opgenomen, te weten: opleiding, instelling, vorm (voltijd/deeltijd) en publiek/privaat. In dit dossier kunnen instellingen wel direct met elkaar worden vergeleken, maar alleen op de totaalscores en alleen uitgesplitst naar opleiding, vorm en publiek/privaat, zoals ook opgenomen in de Studiekeuzedatabase en de website Studiekeuze123. Zoals eerder vermeld kan alleen met een geldige combinatie van inlogcode en password toegang worden verkregen tot het beschermde deel van de NSE-online. In dat deel kan men de informatie in de dossiers voor de eigen instelling analyseren en desgewenst vergelijken met het gehele hbo of wo. Het bekijken en exporteren naar Excel van standaardoverzichten is voor bezoekers van de NSE-online niet moeilijk. Om de contactpersonen van de instellingen op weg te helpen bij het zelf samenstellen van overzichten is er een tweetal workshops georganiseerd, één in Breda en één in Utrecht. De bezoekers waren over het algemeen beleidsmedewerkers die ofwel verantwoordelijk waren voor kwaliteitsbeleid, ofwel betrokken waren bij het aanvragen van accreditaties. Beide workshops zijn goed bezocht (met beide een kleine twintig deelnemers) en zijn door de bezoekers zeer positief beoordeeld. Opvallend was dat tijdens de workshops – die over het gebruik van NSE-online voor analyses ging – veel vragen kwamen over de NSE 2010. De voornaamste bevindingen van deze workshops zijn verwerkt in een NSE nieuwsbrief die kort na de workshops is rondgestuurd. Inmiddels hebben twee instellingen belangstelling getoond voor een workshop aan de eigen instelling.


7 Vernieuwing vragenlijst 2010

7.1

Aanleiding De Nationale Studentenenquête (NSE) is tien jaar geleden gestart als instrument om studentenoordelen te verzamelen ten behoeve van de Keuzegids Hoger Onderwijs. Omdat de NSE de afgelopen tien jaar nauwelijks is veranderd, maar in de tussentijd wel verschillende veranderingen in het hoger onderwijs zijn opgetreden, is er de behoefte ontstaan om de NSE te vernieuwen. De vernieuwing van de NSE is een opdracht van Stichting Studiekeuze123 en is ten eerste gebaseerd op de intentie om tot een gemeenschappelijk landelijk studententevredenheidsonderzoek te komen en zo de bruikbaarheid van de gegevens voor studiekiezers en ook voor de instellingen zelf te verhogen. Ten tweede om met het oog op nationale en internationale ontwikkelingen ervoor te zorgen dat de NSE hierbij beter aansluit. Wat betreft het ontwikkelen van een gemeenschappelijk landelijk studententevredenheidsonderzoek doelt de NSE in eerste instantie op een integratie van het gezamenlijke studententevredenheidsonderzoek van de hogescholen (STO) in de NSE. Daarnaast ligt de nadruk op het ontwikkelen van een vragenlijst die zowel beter aansluit bij de behoefte van de instellingen naar gegevens voor hun kwaliteitszorg als ook bij de behoefte van studiekiezers om een gefundeerde studiekeuze te kunnen maken. De internationale aansluiting heeft vooral betrekking op veranderingen op grond van Europees beleid (bijvoorbeeld de invoering van het BaMa-systeem) en de geschiktheid van de informatie voor internationale studenten. Omdat de huidige NSE met ongeveer 20 minuten invultijd als te lang wordt beschouwd wordt er bij de ontwikkeling tevens naar gestreefd om de nieuwe vragenlijst niet langer dan 15 minuten te laten duren, om zo de onderzoekslast van de studenten te verkleinen en een hogere respons te kunnen realiseren. Tegen deze achtergrond is een stappenplan opgesteld voor het ontwikkelen van een nieuwe vragenlijst. Deze houdt het volgende in: 1

2

3

Inventarisatie van: - de inhoud van de NSE in relatie tot andere nationale onderzoeken naar studentenoordelen. Dit heeft vooral betrekking op het STO, maar ook op een aantal tevredenheidsonderzoeken van instellingen zelf (bijvoorbeeld van de Haagse Hogeschool en van de Universiteit Utrecht); - de inhoud van de NSE in relatie tot internationale studentenenquêtes zoals het onderzoek van CHE (Duitsland) en de National Student Survey van HEFCE (Groot-Brittannië en Ierland); Het ontwerpen van een nieuwe vragenlijst aan de hand van: - informatie over nationale en internationale aansluiting; - een delphi-onderzoek onder deskundigen; - een kwalitatieve analyse van de vragen en antwoordcategorieën; - een live-pilot onder Nederlandse en internationale studenten; Valideren en structureren van de nieuwe vragenlijst door: - een grootschalige online pilot onder HetStudentenpanel.

Daarnaast is een onderzoek uitgevoerd naar het gebruik van verschillende antwoordschalen bij studententevredenheidsvragenlijsten. In dit onderzoek zijn de antwoorden op een aantal algemene vragen uit de NSE 2009 vergeleken. Hierbij zijn antwoorden op vijf verschillende schalen met elkaar vergeleken: tienpuntschaal (NSE); zespuntschaal (CHE); vijfpuntschaal ; vijfpunt-Likertschaal (STO) en open rapportcijfer. Dit onderzoek wordt gebruikt als basis om te komen tot een gefundeerde keuze voor een passende antwoordschaal voor de nieuwe NSE.


7.2

Inventarisatie bestaande vragenlijsten Voor de ontwikkeling van de nieuwe vragenlijst is allereerst een inventarisatie uitgevoerd op de onderwerpen die in de huidige NSE en een aantal andere nationale onderzoeken naar studentenoordelen voorkomen. Hierbij hebben we ons vooral gericht op het gezamenlijke studententevredenheidsonderzoek van de hogescholen (STO), maar zijn ook instellingsinterne vragenlijsten van een hogeschool (De Reflector van de Haagse Hogeschool) en van een universiteit (Master-, Bachelor-, en Eerstejaarsvragenlijst van de Universiteit Utrecht) geïnventariseerd. Om daarnaast inzicht te krijgen in studententevredenheidsonderzoeken in het buitenland, hebben we ook de nationale studentenenquête van het HEFCE in de inventarisatie opgenomen. Deze vragenlijst wordt landelijk afgenomen onder studenten uit Groot-Brittannië en Ierland. Met de vragenlijst van het CHE (Duitsland) is al bij eerdere aanpassingen in de NSE rekening gehouden6. Bij de inventarisatie van de vragenlijsten hebben we gekeken naar: (1) De doelgroep en het gebruik van de vragenlijst Alle geïnventariseerde vragenlijsten hebben als doel de tevredenheid van studenten over hun opleiding en instelling in kaart te brengen. De resultaten worden vooral gebruikt voor de kwaliteitszorg van instellingen. Alleen de NSE heeft daarnaast als doel om de verzamelde oordelen te gebruiken als informatiebron voor studiekiezers. (2) De omvang/lengte van de vragenlijst Uit deze analyse blijkt dat de NSE met 24 verschillende onderwerpen de omvangrijkste en ook de langste vragenlijst is. Ook de Reflector van de Haagse Hogeschool is met 21 onderwerpen omvangrijk en lang. Het STO is met tien onderwerpen de kortste en minst omvangrijke vragenlijst. Daartussen in liggen de vragenlijsten van de Universiteit Utrecht (Zestien onderwerpen over drie vragenlijsten verdeeld) en van het HEFCE (Zestien onderwerpen). (3) De gebruikte antwoordschalen Uit de analyse blijkt dat het gebruik van antwoordschalen voor wat betreft de studentenoordelen in de verschillende geïnventariseerde enquêtes nogal uiteen loopt. De NSE maakt gebruik van een tienpuntschaal in de vorm van een rapportcijfer. Het STO maakt gebruik van een vijfpunt-Likertschaal, waarbij aan studenten stellingen worden voorgelegd waarvan zij moeten aangeven in hoeverre zij het daarmee eens zijn. De Reflector gebruikt voor een deel een vijfpunt-Likertschaal op basis van stellingen en voor een deel een tienpuntschaal in de vorm van rapportcijfers. In de vragenlijsten van de Universiteit Utrecht wordt vooral gebruik gemaakt van een neutrale vijfpuntschaal (zeer ontevreden – zeer tevreden), maar deels ook van een 3-punt schaal (ontevreden – neutraal – tevreden). In de survey van het HEFCE wordt uitsluitend gebruik gemaakt van een vijfpunt-Likertschaal waarbij studenten moeten aangeven in hoeverre zij het met bepaalde stellingen eens zijn. Het onderzoek van CHE maakt gebruik van een neutrale 6-punt schaal (in Duitsland lopen rapportcijfers van 1-6). (4) Inhoud van de vragenlijst Op basis van de inventarisatie is in overleg met een deskundige vanuit het hbo (Bastiaan van der Wulp) en een deskundige vanuit het wo (Felipe Salve) een groslijst van onderwerpen en deelonderwerpen voor de nieuwe NSE opgezet. Hierbij is tevens rekening gehouden met de behoefte van studiekiezers dat uit eerdere onderzoeken naar voren is gekomen7 8. Bij de samenstelling van de groslijst is vooral de nadruk gelegd op de integratie van het STO in de NSE. Dit betekent dat alle (hoofd)thema’s van het STO in de nieuwe NSE zijn opgenomen.

6 7

8

Internationalizing the master’s questionnaire. Rapport van ResearchNed in opdracht van Studiekeuze123. Warps, J. (2007). Kiezen voor hogeschool en universiteit: Voorlichtinggebruik en keuzeproces van instromende hboen wo-studenten in Nederland, studiejaar 2005-2006. Rapportage in opdracht van SURFfoundation op basis van de Instroommonitor. Van den Broek, A. & Wermink, I. (2007). Studiekeuze123.nl: Een onderzoek naar de informatiebehoefte van studenten. Rapportage in opdracht van SURFfoundation.


Daarnaast is gekeken welke onderwerpen in de meeste geïnventariseerde vragenlijsten terugkomen en zijn onderwerpen toegevoegd die, met het oog op recente onderwijskundige ontwikkelingen en behoeften van gebruikers, tot nog toe in de NSE ontbreken. Dit heeft geresulteerd in één referentiebestand waarin alle belangrijke hoofd- en subthema’s voor de nieuwe NSE zijn opgenomen. Deze thema’s staan voor de onderwerpen en vragen die op grond van de inventarisatie opgenomen zouden moeten worden in een landelijke studententevredenheidsvragenlijst die is afgestemd op actuele ontwikkelingen in het hoger onderwijs en aansluit bij andere landelijke vragenlijsten in Europa. Deze groslijst bestaat uit 23 hoofd- en 117 subthema’s. Om te komen tot een definitieve selectie van belangrijke hoofd- en subthema’s voor de NSE 2010 is deze groslijst vervolgens aan een groter aantal deskundigen uit het hbo en wo voorgelegd in de vorm van een delphi-onderzoek. Dit onderzoek lichten wij in het volgende hoofdstuk verder toe. Naast de inhoudelijke vragen is het belangrijk ook een aantal achtergrondkenmerken van de deelnemende studenten te verzamelen. Indien deze kenmerken niet te koppelen zijn uit administratieve data adviseren wij de volgende gegevens te verzamelen: geslacht (man/vrouw); opleiding; opleidingsvariant (voltijd/deeltijd/duaal); opleidingslocatie; start huidige opleiding; vooropleiding (havo/vwo/mbo/hbo-propedeuse/hbo-einddiploma of hbo-bachelor/universiteit - propedeuse/universiteit - bachelor/universiteit - doctoraal examen/universiteit - master/buitenlandse vooropleiding voortgezet onderwijs/buitenlandse vooropleiding hoger onderwijs/colloquium doctum of toelatingsgesprek/op basis van Erkenning van Verworven Competenties/werkervaring).

7.3

Delphi-onderzoek Als vervolgstap op het opstellen van de groslijst aan de hand van de inventarisatie is een delphi-onderzoek afgenomen. Deze methodiek houdt in dat een groep deskundigen wordt geraadpleegd om via een online vragenlijst hun oordeel te geven over het belang van opname van verschillende hoofd- en subthema’s in de NSE 2010. De conceptlijst (groslijst) is aan een representatief aantal deskundigen en gebruikers van een aantal universiteiten en hogescholen in Nederland voorgelegd. Het delphi-onderzoek is opgezet als een online vragenlijst waarbij aan de participanten voor elk hoofdthema uit de groslijst gevraagd werd aan te geven hoe belangrijk zij dit hoofdthema vonden voor de nieuwe NSE 2010. Tevens is aan de respondenten gevraagd of zij dit hoofdthema een kernonderwerp vonden of een onderwerp dat aanvullend op de basisvragenlijst door de instellingen facultatief kan worden toegevoegd. Verder werd voor elk van de hoofdthema’s een aantal subthema’s voorgelegd die de basis vormen voor de vragen die horen bij elk van de hoofdthema’s. Ook hiervoor is aan de deskundigen gevraagd in hoeverre zij dit een belangrijke invulling van het hoofdthema vonden en of er subthema’s ontbraken. Aan het einde van de vragenlijst konden de deskundigen aangeven of de groslijst volledig was of dat er naar hun mening nog belangrijke hoofdthema’s ontbraken. De uitnodiging voor dit delphi-onderzoek is in de derde week van juni 2009 per e-mail aan 178 deskundigen verstuurd. Hiervoor zijn alle centrale contactpersonen benaderd, aangevuld met studentvertegenwoordigers, leden van het deskundigenpanel en andere overlegorganen, en een aantal externe deskundigen. Van de 178 benaderde deskundigen hebben 70 (39%) de vragenlijst volledig ingevuld. Hiervan waren 34 verbonden aan het hbo, tien aan het wo, zestien waren verbonden aan een niet bekostigde instelling (nbi). Verder participeerden vijf studenten en vijf overige deskundigen.


De resultaten van dit onderzoek zijn gebruikt om de vragenlijst verder te optimaliseren. Centraal daarbij staat de vraag of de vragenlijst: inhoudelijk volledig is (zijn de thema’s volledig, missen er (sub)-thema’s op cruciale punten, passen de thema’s bij de doelstelling van het onderzoek?); duidelijk is; in balans (niet te veel thema’s binnen één onderwerp) en niet te omvangrijk is. Hiermee ontstaat een conceptlijst van hoofd- en subthema’s die inhoudelijk volledig is en gedragen wordt door gebruikers.

7.4

Resultaten

Hoofdthema’s Allereerst is voor alle deskundigen berekend hoe belangrijk zij de hoofdthema’s beoordeelden (op een schaal van 1=zeer onbelangrijk, tot 5=zeer belangrijk). Hieruit bleek dat de deskundigen de meeste thema’s belangrijk vinden, maar zien we ook dat er een aantal thema’s als neutraal of onbelangrijk worden beschouwd (zie Tabel 39). De in Tabel 39 grijsgearceerde onderwerpen worden door de deelnemers als minder belangrijk gezien.

Tabel 39: Gemiddeld belang bij opname van hoofdthema’s in de NSE Thema’s

Gemiddelde

Standaardafwijking

Kwaliteit van docenten Inhoud van de opleiding Studiebegeleiding Toetsing en beoordeling Voorbereiding beroepsloopbaan

4,64 4,63 4,44 4,33 4,33

0,57 0,59 0,63 0,79 0,88

Algemene oordelen Studielast Onderwijsvoorzieningen Informatie vanuit instelling Stage binnen de studie

4,31 4,13 4,01 3,99 3,93

0,81 0,88 0,83 0,83 1,01

Betrokkenheid van de instelling Opgedane competenties Start van de studie Sfeer/sociale omgeving Tijdsbesteding Internationale studenten

3,90 3,86 3,76 3,66 3,61 3,51

0,89 0,91 0,89 1,01 1,03 1,34

Handicap en studie Keuzeruimte van de opleiding Groepsgrootte Overige voorzieningen Studiestad en studieomgeving Studiekosten Woonsituatie

3,47 3,46 3,27 3,19 3,10 2,91 2,87

1,07 0,90 1,14 0,92 1,21 1,24 1,32

Gemeten op een schaal van 1 (helemaal niet belangrijk) – 5 (zeer belangrijk)

Daarnaast is gekeken of deskundigen van verschillende soorten onderwijsinstellingen variëren in hun mening over welke thema’s zij wel of niet belangrijk vinden. Hiervoor is berekend hoe hoog het percentage deskundigen is dat per soort onderwijs/instelling (hbo, wo, nbi) een bepaald thema belangrijk of zeer belangrijk vindt (zie Tabel 40).


De in Tabel 40 grijsgearceerde cellen geven aan dat een duidelijke meerderheid van de deskundigen (75% of meer) dit thema als belangrijk beschouwt voor de nieuwe NSE. De studenten en de overige deskundigen zijn in onderstaande tabellen niet opgenomen omdat zij in dit onderzoek een zeer kleine en minder specifieke groep vormden. Uit nadere analyse bleek dat dit geen wezenlijk effect had op de totale percentages.

Tabel 40: Belang bij opname van hoofdthema’s in de NSE, naar soort onderwijs (in %) Hoofdthema's

Hbo

Wo

Nbi

Totaal

Algemene oordelen Inhoud van de opleiding Keuzeruimte van de opleiding Opgedane competenties Voorbereiding beroepsloopbaan Stage binnen de studie

88,2 97,1 55,9 61,8 97,1 82,4

70,0 90,0 70,0 80,0 50,0 40,0

81,3 100,0 31,3 68,8 81,3 68,8

79,8 95,7 52,4 70,2 76,1 63,7

Kwaliteit van docenten Informatie vanuit instelling Betrokkenheid van de instelling Toetsing en beoordeling Onderwijsvoorzieningen Overige voorzieningen

97,1 79,4 73,5 97,1 79,4 41,2

100,0 80,0 50,0 80,0 90,0 20,0

87,5 68,8 62,5 62,5 75,0 43,8

94,9 76,1 62,0 79,9 81,5 35,0

55,9 61,8 29,4 85,3 14,7 100,0

80,0 40,0 50,0 70,0 40,0 90,0

56,3 81,3 56,3 68,8 62,5 87,5

64,0 61,0 45,2 74,7 39,1 92,5

44,1 52,9 29,4 29,4 52,9

70,0 50,0 60,0 50,0 60,0

68,8 37,5 25,0 56,3 50,0

61,0 46,8 38,1 45,2 54,3

Start van de studie Sfeer/sociale omgeving Groepsgrootte Studielast Studiekosten Studiebegeleiding Tijdsbesteding Handicap en studie Woonsituatie Studiestad en studieomgeving Internationale studenten

Uit de percentages in Tabel 40 blijkt dat, naast de thema’s die volgens de eerdere analyse als niet belangrijk werden gevonden, ook nog een aantal andere thema’s als minder belangrijk wordt gezien. We zien variaties in het belang dat gehecht wordt aan bepaalde thema’s tussen de deskundigen van de verschillende soorten hoger onderwijs. De thema’s ‘opgedane competenties’ en ‘start van de studie’ worden vooral door deskundigen uit het wo als belangrijk gezien. De thema’s ‘voorbereiding op beroepsloopbaan’, ‘stage binnen de studie’ en ‘studielast’ vooral door deskundigen uit het hbo, en ‘sfeer/sociale omgeving’ vooral door de nbi’s. Uit deze analyse blijkt dat er zes thema’s zijn die telkens alleen door een specifieke groep als belangrijk worden gezien. Omdat het doel van de NSE is om te komen tot één gezamenlijke landelijke enquête stellen wij voor om alle onderwerpen op te nemen die voor een bepaalde groep gebruikers als belangrijk wordt ervaren. Een alternatief zou zijn om te kiezen voor een kernvragenlijst met alle thema’s die door meer dan één groep gebruikers als belangrijk worden gezien en de thema’s waarvoor alleen een bepaalde groep belangstelling heeft als aanvullende module voor deze groep aan te bieden. Uitgaande van één gezamenlijke vragenlijst komen we op dertien hoofdthema’s die op grond van de 75 procent drempel opgenomen zouden moeten worden in de eerste conceptversie van de nieuwe NSE.


Subthema’s Naast het belang van de hoofdthema’s is in het delphi-onderzoek gevraagd welke subthema’s belangrijk worden gevonden voor de nieuwe vragenlijst. Ook hier is gekeken hoe hoog het percentage deskundigen is dat per soort hoger onderwijs (hbo, wo, nbi) een bepaald subthema belangrijk of zeer belangrijk vindt. De grijsgearceerde cellen geven aan dat een duidelijke meerderheid van de deskundigen (75%) dit subthema als belangrijk beschouwt voor de nieuwe NSE. De deskundigen kregen bij elk (sub)thema tevens de mogelijkheid hun keuzes toe te lichten en aanvullend commentaar te geven. Hierin stelde een aantal deskundigen een alternatieve toewijzing van sommige subthema’s bij hoofdthema’s voor. Hiermee is bij de evaluatie van de thema’s rekening gehouden. De subthema’s zijn voor alle belangrijke hoofdthema’s bekeken en dit resulteerde in de volgende keuzes per subthema. Het merendeel van de deskundigen vindt alle algemene oordelen belangrijk (zie Tabel 41). De thema’s ‘werkvormen’ en ‘overige voorzieningen’ worden alleen door het hbo belangrijk gevonden. Omdat wel een duidelijke meerderheid (boven de 85%) dit belangrijk vindt, adviseren wij deze alsnog op te nemen in de conceptvragenlijst. In aanvullend commentaar door deskundigen kwam de wens naar voren om alle aan bod komende thema’s bij de algemene vragen op te nemen. Omdat dit overeen komt met de keuze van algemene vragen bij de STO en de oude NSE adviseren wij dit ook hier toe te passen. Omdat de subthema’s ‘aansluiting vooropleiding’, ‘samenhang binnen opleiding’ en ‘werkvormen’ geen hoofdthema vormen, stellen wij voor deze daarom op te nemen als item bij het thema ‘inhoud van de opleiding’.

Tabel 41: Algemene oordelen Subthema's

Hbo

Wo

Nbi

Totaal

Algemene Algemene Algemene Algemene Algemene

oordelen: oordelen: oordelen: oordelen: oordelen:

algemeen oordeel studie inhoud opleiding aansluiting vooropleiding samenhang binnen opleiding werkvormen

94,1 97,1 79,4 91,2 85,3

90,0 100,0 90,0 70,0 50,0

93,8 87,5 87,5 93,8 62,5

92,6 94,9 85,6 85,0 65,9

Algemene Algemene Algemene Algemene Algemene

oordelen: oordelen: oordelen: oordelen: oordelen:

voorbereiding loopbaan kwaliteit docenten informatie vanuit opleiding overige voorzieningen toetsing en beoordeling

94,1 97,1 91,2 94,1 97,1

50,0 90,0 90,0 60,0 100,0

93,8 87,5 81,3 68,8 81,3

79,3 91,5 87,5 74,3 92,8

Zoals blijkt uit Tabel 42 worden de diepgang, de breedte, en de afwisseling van de inhoud niet door het merendeel als belangrijk ervaren. Op grond van inhoudelijke overwegingen is ervoor gekozen om het item ‘aansluiting bij toetsing’ te verschuiven naar het thema ‘toetsing en beoordeling’.

Tabel 42: Inhoud van de opleiding Subthema's Inhoud Inhoud Inhoud Inhoud Inhoud

van van van van van

de de de de de

opleiding: opleiding: opleiding: opleiding: opleiding:

diepgang breedte niveau aansluiting inhoud bij doelstellingen aansluiting inhoud bij toetsing

Inhoud Inhoud Inhoud Inhoud

van van van van

de de de de

opleiding: opleiding: opleiding: opleiding:

stimulerend aansluiting bij actuele ontwikkelingen afwisseling samenhang programma


Hbo

Wo

Nbi

Totaal

70,6 50,0 91,2 73,5 100,0

70,0 60,0 100,0 90,0 80,0

81,3 87,5 100,0 81,3 75,0

73,9 65,8 97,1 81,6 85,0

85,3 97,1 58,8 94,1

90,0 80,0 40,0 90,0

81,3 81,3 62,5 81,3

85,5 86,1 53,8 88,5

De thema’s ‘ethische aspecten’ en ‘communicatievermogen’ worden niet door het merendeel van de deskundigen belangrijk gevonden (Tabel 43) en daarom ook niet opgenomen in de conceptvragenlijst.

Tabel 43: Opgedane competenties Subthema's

Hbo

Wo

Nbi

Totaal

Opgedane Opgedane Opgedane Opgedane Opgedane

competenties: competenties: competenties: competenties: competenties:

actief leren kritische houding aanpakken complexe problemen professionele context probleemoplossende vermogens

73,5 67,6 70,6 76,5 73,5

90,0 90,0 90,0 90,0 100,0

68,8 75,0 68,8 81,3 75,0

77,4 77,5 76,4 82,6 82,8

Opgedane Opgedane Opgedane Opgedane

competenties: competenties: competenties: competenties:

kunnen aansluiten bij actuele ontwikkelingen ethische aspecten conclusies onderbouwen communicatievermogen

73,5 61,8 73,5 76,5

80,0 70,0 100,0 70,0

81,3 62,5 81,3 75,0

78,3 64,8 84,9 73,8

De hoofdthema’s ‘voorbereiding beroepsloopbaan’ en ‘stage binnen studie’ worden vooral door het hbo belangrijk gevonden. Uit de analyse van de subthema’s blijkt dat er maar twee thema’s van de totale meerderheid boven de 75 procent grens komen te liggen (zie Tabel 44). Een duidelijke meerderheid (85,3%) van de Hbo’ers geeft wel aan de ‘kwaliteit stagebegeleiding’ in deze context belangrijk te vinden. Omdat juist deze groep aangaf dit hoofdthema bijzonder belangrijk te vinden is gekozen dit subthema alsnog op te nemen. Stage is vaak een onderdeel van de voorbereiding op de beroepsloopbaan. Omdat het hoofdthema ‘stage binnen de studie’ nu nog maar één subthema omvat wordt voorgesteld deze vraag bij de module ‘voorbereiding op de beroepsloopbaan’ op te nemen.

Tabel 44: Voorbereiding beroepsloopbaan en stage binnen de studie Subthema's

Hbo

Wo

Nbi

Totaal

Voorbereiding beroepsloopbaan: opdoen vaardigheden beroepsloopbaan Voorbereiding beroepsloopbaan: contact met praktijk en arbeidsmarkt Voorbereiding beroepsloopbaan: beschikbaarheid en kwaliteit advies Stage binnen de studie: ondersteuning en advies Stage binnen de studie: kwaliteit stagebegeleiding Stage binnen de studie: aansluiting bij overig onderwijs

97,1 94,1 61,8 61,8 85,3 70,6

40,0 50,0 20,0 50,0 50,0 50,0

93,8 87,5 68,8 75,0 68,8 62,5

76,9 77,2 50,2 62,3 68,0 61,0

Bijna alle subthema’s binnen het hoofdthema ‘kwaliteit van de docenten’ ligt boven de 75 procent grens (Tabel 45). Alleen de subthema’s ‘inlevingsvermogen’ en ‘taalvaardigheid’ vallen onder deze grens en zullen daarom niet opgenomen worden in de conceptvragenlijst.


Tabel 45: Kwaliteit van de docenten Subthema's

Hbo

Wo

Nbi

Totaal

Kwaliteit Kwaliteit Kwaliteit Kwaliteit Kwaliteit

van van van van van

docenten: docenten: docenten: docenten: docenten:

deskundigheid didactiek bereikbaarheid inlevingsvermogen betrokkenheid

97,1 97,1 88,2 50,0 64,7

100,0 100,0 80,0 70,0 80,0

93,8 87,5 87,5 68,8 87,5

96,9 94,9 85,2 62,9 77,4

Kwaliteit Kwaliteit Kwaliteit Kwaliteit Kwaliteit Kwaliteit

van van van van van van

docenten: docenten: docenten: docenten: docenten: docenten:

kwaliteit feedback contact taalvaardigheid kennis praktijk motiverend begeleiding

88,2 76,5 52,9 82,4 79,4 79,4

100,0 90,0 80,0 100,0 100,0 80,0

87,5 93,8 75,0 87,5 81,3 81,3

91,9 86,7 69,3 90,0 86,9 80,2

Wat betreft de informatie vanuit de opleiding worden twee subthema’s als belangrijk bevonden: ‘resultaten en beoordeling’ en ‘studievoortgang’ (zie Tabel 46). Op grond van inhoudelijke overwegingen wordt voorgesteld om ‘resultaten en beoordeling’ te verschuiven naar ‘toetsing en beoordeling’, en het subthema ‘voorlichting’ hierbij op te nemen (zie Tabel 49). De thema’s ‘regels en procedures’, ‘praktische zaken’ en ‘digitale leeromgeving’ komen te vervallen.

Tabel 46: Informatie vanuit opleiding Subthema's Informatie Informatie Informatie Informatie Informatie

vanuit vanuit vanuit vanuit vanuit

opleiding: opleiding: opleiding: opleiding: opleiding:

resultaten en beoordeling regels en procedures praktische zaken digitale leeromgeving studievoortgang

Hbo

Wo

Nbi

Totaal

91,2

80,0 60,0 80,0 50,0 90,0

81,3 62,5 56,3 62,5 81,3

84,1 67,3 71,9 58,1 88,5

79,4 79,4 61,8 94,1

De belangrijkste thema’s die bij het thema ‘toetsing en beoordeling’ genoemd worden zijn ‘tijdig bekendmaken’ en ‘duidelijkheid criteria’ (zie Tabel 47). Deze zullen allebei opgenomen worden onder het kopje ‘toetsing en beoordeling’.

Tabel 47: Toetsing en beoordeling Subthema's Toetsing Toetsing Toetsing Toetsing

en en en en

beoordeling: beoordeling: beoordeling: beoordeling:

tijdig bekendmaken duidelijkheid criteria fairness feedback

Hbo

Wo

Nbi

Totaal

88,2 94,1 73,5 82,4

90,0 100,0 80,0 70,0

68,8 75,0 56,3 68,8

82,3 89,7 69,9 73,7

Alle thema’s behalve ‘studenteninformatiebalies’ worden voor het thema ‘onderwijsvoorzieningen’ als belangrijk ervaren en zullen opgenomen worden in de conceptvragenlijst (zie Tabel 48).


Tabel 48: Onderwijsvoorzieningen Subthema's Onderwijsvoorzieningen: Onderwijsvoorzieningen: Onderwijsvoorzieningen: Onderwijsvoorzieningen: Onderwijsvoorzieningen: Onderwijsvoorzieningen: Onderwijsvoorzieningen:

geschiktheid onderwijsruimtes beschikbaarheid werkplekken bibliotheek/mediatheek computer en netwerkfaciliteiten digitale leeromgeving opleidingsmateriaal studenteninformatiebalies

Hbo

Wo

Nbi

Totaal

85,3 82,4 85,3 91,2 82,4 94,1 76,5

80,0 80,0 100,0 90,0 90,0 100,0 80,0

75,0 75,0 62,5 68,8 68,8 75,0 56,3

80,1 79,1 82,6 83,3 80,4 89,7 70,9

Het thema ‘start van de studie’ word vooral door deskundigen uit het wo als belangrijk ervaren. Binnen dit thema bleken de thema’s ‘voorlichting’ en ‘aansluiting vooropleiding’ belangrijk (zie Tabel 49). Zoals eerder genoemd is overwogen dat de ‘aansluiting bij vooropleiding’ inhoudelijk beter past bij het thema ‘inhoud opleiding’ en ‘voorlichting’ bij ‘informatie vanuit de opleiding’. Het hoofdthema ‘start van studie’ komt hierdoor te vervallen.

Tabel 49: Start van de studie Subthema's Start Start Start Start Start Start

van van van van van van

de de de de de de

studie: studie: studie: studie: studie: studie:

selectieprocedure voorlichting aansluiting vooropleiding introductieprogramma eerste indruk voorzieningen visum

Hbo

Wo

Nbi

Totaal

58,8 85,3 82,4 41,2 38,2 26,5

80,0 90,0 100,0 70,0 40,0 50,0

68,8 81,3 50,0 31,3 50,0 56,3

69,2 85,5 77,5 47,5 42,7 44,2

Wat betreft het thema ‘sfeer/sociale omgeving’ bleek dat dit thema door nbi’s als belangrijk werd ervaren, maar zoals blijkt uit Tabel 50 werd geen van de opgenomen subthema’s in deze context door de meerderheid als belangrijk gezien. Om alsnog aan de wens van de groep nbi te voldoen is daarom ervoor gekozen een algemene vraag over de sfeer op de opleiding en de instelling toe te voegen.

Tabel 50: Sfeer/sociale omgeving Subthema's Sfeer/sociale Sfeer/sociale Sfeer/sociale Sfeer/sociale

omgeving: omgeving: omgeving: omgeving:

medestudenten sociaal en cultureel aanbod veiligheid motiverende leeromgeving

Hbo

Wo

Nbi

Totaal

64,7 52,9 58,8 79,4

50,0 50,0 60,0 70,0

75,0 37,5 62,5 75,0

63,2 46,8 60,4 74,8

Binnen het thema ‘studielast’ kwamen alle genoemde subthema’s boven de 75 procent grens (zie Tabel 51) terecht en zullen daarom alle drie opgenomen worden in de conceptvragenlijst.


Tabel 51: Studielast Subthema's

Hbo

Wo

Nbi

Totaal

Studielast: oordeel belasting Studielast: aantal uur besteed per week Studielast: opdrachten zijn op tijd af te ronden

82,4 76,5 85,3

70,0 70,0 60,0

75,0 87,5 87,5

75,8 78,0 77,6

Ook wat betreft de thema’s die vallen onder de module ‘studiebegeleiding’ blijkt dat deze volgens de deskundigen allemaal opgenomen zouden moeten worden (zie Tabel 52).

Tabel 52: Studiebegeleiding Subthema's Studiebegeleiding: kwaliteit begeleiding Studiebegeleiding: contact met studieadviseur Studiebegeleiding: advies studieadviseur

Hbo

Wo

Nbi

Totaal

100,0 82,4 76,5

90,0 80,0 80,0

93,8 93,8 87,5

94,6 85,4 81,3

Het hoofdthema ‘internationale studenten’ werd door alle deskundigen als minder belangrijk ervaren. Aangezien het een doel van de NSE is om ook informatie beschikbaar te stellen voor internationale studenten adviseren wij dit thema alsnog op te nemen. Daarom is ook voor dit thema gekeken naar de oordelen van de deskundigen over de voorgestelde subthema’s. Zoals blijkt uit Tabel 53 worden de thema’s ‘hulp door instellingen en ‘aanbod vakken in het Engels’ in deze context als belangrijk ervaren. Daarom is ervoor gekozen om deze twee thema’s op te nemen in de module voor internationale studenten.

Tabel 53: Internationale studenten Subthema's

Hbo

Wo

Nbi

Totaal

Internationale Internationale Internationale Internationale Internationale

studenten: studenten: studenten: studenten: studenten:

informatie door instelling hulp door instelling woonsituatie kosten studie en leven aanbod vakken in het Engels

58,8 44,1 35,3 35,3 58,8

70,0 80,0 70,0 60,0 80,0

56,3 56,3 43,8 56,3 68,8

61,7 60,1 49,7 50,5 69,2

Internationale Internationale Internationale Internationale

studenten: studenten: studenten: studenten:

goedkeuring ects omgangsvormen sociale activiteiten contact medestudenten

61,8 29,4 41,2 44,1

70,0 40,0 40,0 50,0

68,8 37,5 43,8 62,5

66,8 35,6 41,6 52,2

Een ander thema dat door het merendeel van de deskundigen als niet belangrijk werd beoordeeld (zowel het hoofdthema als alle subthema’s) is ‘handicap en studie’. Net als bij de internationale studenten betreft dit thema een bepaalde groep studenten. Omdat het juist voor deze groep belangrijk is te weten waar zij met hun beperking het beste kunnen gaan studeren, adviseren wij om dit thema als extra module voor gehandicapte studenten op te nemen. In de NSE 2009 werden veertien vragen gesteld over studeren met een handicap. Voor de vernieuwde vragenlijst adviseren wij om twaalf hiervan op te nemen in een optionele module voor de NSE 2010. De drie niet opgenomen vragen gaan niet over een oordeel en lijken ons minder belangrijk voor het bepalen van de nodige achtergrondinformatie.


Ten slotte bleken deskundigen het thema ‘betrokkenheid van de instelling’ in meerderheid niet belangrijk te vinden. Van de hbo-participanten hechtte echter een meerderheid van de deskundigen (73,5%) wel belang aan dit hoofdthema. Dit ligt net onder de bepaalde grens van 75 procent, maar aangezien dit in het STO een belangrijk thema is, adviseren wij dit onderwerp alsnog voor hbo-instellingen toe te voegen aan de basisvragenlijst. Op deze wijze komen alle hoofdthema’s uit het STO in de nieuwe NSE aan bod.

7.5

Open vragen Aan de deskundigen is door middel van open vragen tevens de mogelijkheid geboden om belangrijke (sub)thema’s toe te voegen als deze volgens hen nog ontbraken. Er is gekozen om een extra (sub)thema op te nemen als dit door meer dan één deelnemer is genoemd. Voor een aantal van de voorgestelde thema’s gold dat deze op een later moment in het onderzoek wel aan bod kwamen en daarom al meegewogen zijn. Daarnaast is geëvalueerd of de voorgestelde thema’s passen bij het doel van de NSE. Voorgestelde thema’s zoals ‘vragen naar het beeld van de beroepspraktijk’ zijn buiten beschouwing gelaten omdat deze zich niet richten op de tevredenheid van studenten over hun opleiding. Gebaseerd op de analyse van de open vragen is het hoofdthema ‘studieroosters’ (met twee relevante items, zie Tabel 54) en het subthema ‘opgedane competenties: samenwerken’ opgenomen in de conceptvragenlijst. Het subthema ‘studielast: oordeel studielast’ is naar aanleiding van het commentaar toegespitst op ‘studielast: oordeel spreiding studielast over het jaar’. Uit de algemene opmerkingen van de deskundigen kwam bovendien de wens naar voren om alle aan bod komende thema’s bij de algemene vragen op te nemen, en stelden een aantal deskundigen een alternatieve toewijzing van sommige subthema’s bij hoofdthema’s voor. Zoals boven is aangegeven is hier bij het opzetten van de conceptvragenlijst rekening mee gehouden.

Tabel 54: Studieroosters Subthema's Studieroosters: Tijdig bekend maken van roosters Studieroosters: Tijdig bekend maken van wijzigingen in roosters

7.6

Conclusies Op deze wijze zijn alle resultaten van het delphi-onderzoek verwerkt. Op grond van deze analyse zullen dertien hoofdthema’s en 62 subthema’s opgenomen worden in de conceptvragenlijst. Omdat ervoor gekozen is om bij het hoofdthema ‘sfeer’ een algemene vraag over de opleiding en de instelling te stellen, wordt voorgesteld dit thema niet nog een keer bij de module ‘algemene vragen’ op te nemen.

Aanvullende onderwerpen Het doel van de nieuwe NSE is om nauw aan te sluiten bij de wensen van de gebruikers. Dit zijn aan de ene kant de instellingen die hun wensen en behoeftes door middel van het delphi-onderzoek kenbaar konden maken. Aan de andere kant is de NSE bedoeld als informatiebron voor studiekiezers. Dit betekent dat de NSE ook moet ingaan op de wensen van deze groep gebruikers. Net zoals bij de samenstelling van de groslijst zal ook bij het opzetten van de conceptvragenlijst rekening worden gehouden met de wensen van de studenten. De studenten die aan het delphi-onderzoek hebben deelgenomen, vormde een selecte groep van studenten die verbonden zijn aan een vakbond of organisatie en daardoor wellicht niet representatief voor de wensen van de gemiddelde studiekiezer.


We richten ons daarom vooral op eerder onderzoek waaruit bleek dat studenten naast de oordelen over de opleiding, ook de overige faciliteiten van de opleiding, de bereikbaarheid van de instelling, de woonsituatie en de studiestad als belangrijke informatie opvatten om een goede studiekeuze te kunnen maken9. Daarom is ervoor gekozen om een aantal vragen over deze onderwerpen in de conceptvragenlijst op te nemen onder het thema ‘overige faciliteiten en studieomgeving’ (zie Tabel 55). De conceptvragenlijst is vervolgens in het kader van een live pilot aan een aantal studenten voorgelegd, waarin zij de gelegenheid kregen deze keuze te evalueren.

Tabel 55: Overige faciliteiten en studieomgeving Subthema's Overige Overige Overige Overige Overige Overige Overige

faciliteiten faciliteiten faciliteiten faciliteiten faciliteiten faciliteiten faciliteiten

en en en en en en en

studieomgeving: studieomgeving: studieomgeving: studieomgeving: studieomgeving: studieomgeving: studieomgeving:

bereikbaarheid instelling restauratieve voorzieningen van je instelling sportvoorzieningen horecavoorzieningen studiestad cultureel aanbod studiestad beschikbaarheid woonruimte betaalbaarheid woonruimte

Daarnaast is het de bedoeling om de NSE aan te laten sluiten bij de actuele ontwikkelingen in het hoger onderwijs zoals de sterkere nadruk op wetenschappelijk onderwijs. Er is in de laatste jaren een toenemende aandacht ontstaan voor het ontwikkelen van wetenschappelijke competenties. In de vragenlijsten die geïnventariseerd zijn om te komen tot de groslijst voor het delphi-onderzoek is geen aandacht geweest voor deze competenties. Omdat dit wel een belangrijke ontwikkeling in het onderwijs is, stellen we voor om een module op te nemen waarin studenten een oordeel kunnen geven over het opdoen van deze specifieke competenties binnen hun opleiding (zie Tabel 56).

Tabel 56: Academische competenties Subthema's Academische Academische Academische Academische Academische Academische

9

competenties: competenties: competenties: competenties: competenties: competenties:

ontwikkelen van wetenschappelijke theorieën leren van methoden en technieken leren schrijven van wetenschappelijke artikelen kritisch beoordelen wetenschappelijk werk ondersteuning bij schrijven onderzoeksvoorstel gelegenheid voor internationale contacten en uitwisseling

Warps, J. (2007). Kiezen voor hogeschool en universiteit: Voorlichtinggebruik en keuzeproces van instromende hboen wo-studenten in Nederland, studiejaar 2005-2006. Rapportage in opdracht van SURFfoundation op basis van de Instroommonitor; Van den Broek, A. & Wermink, I. (2007). Studiekeuze123.nl: Een onderzoek naar de informatiebehoefte van studenten. Rapportage in opdracht van SURFfoundation


8 Gebruik van antwoordschalen

Naast het bepalen van de inhoud van de nieuwe NSE 2010 is het belangrijk dat er een gefundeerde beslissing wordt genomen over de te gebruiken antwoordschalen. Uit de inventarisatie van de verschillende studentenenquêtes blijkt dat er veel verschil is in antwoordschalen voor studententevredenheidsonderzoek in nationaal en internationaal onderzoek. Dit maakt een keuze op grond van alleen deze inventarisatie lastig. De keuze voor een antwoordschaal is ten eerste afhankelijk van de vraagstelling en van de nuancering die in het antwoord is gewenst. Een vraag naar oordelen vergt een andere antwoordschaal dan bijvoorbeeld een vraag naar frequentie of kenmerken. In de afgelopen jaren zijn in de NSE niet alleen vragen over de tevredenheid van studenten over hun opleiding gesteld, maar is er ook andere informatie in kaart gebracht zoals de tijdbesteding van studenten, studiekosten, en achtergrondinformatie (bijv. vooropleiding). Voor dit soort vragen wordt vaak gebruik gemaakt van antwoordcategorieën op ordinaal (bijv. werkdruk wordt ervaren als: te laag – precies goed – te hoog) of nominaal niveau (bijv. soort opleiding: bachelor – master). Als het gaat om de mening van studenten over de kwaliteit van de opleiding is er echter behoefte aan een meer genuanceerde schaal die een waardering van zeer ontevreden tot zeer tevreden mogelijk maakt. Omdat de gebruikte antwoordschalen in onderzoek naar studententevredenheid in zowel Nederland als in andere Europese landen sterk uiteenlopen, hebben we ervoor gekozen een onderzoek uit te voeren waarin de verschillen tussen mogelijke antwoordschalen in kaart zijn gebracht. Dit onderzoek wordt gebruikt als basis om tot een gefundeerde keuze voor een passende antwoordschaal voor de nieuwe NSE te komen. In dit onderzoek is het verschil in antwoorden op vijf verschillende schalen met elkaar vergeleken: tienpuntschaal ; zespuntschaal ; vijfpuntschaal ; vijfpunt-Likertschaal (STO); open rapportcijfer.

8.1

Overzicht Om het effect van verschillende antwoordschalen op de antwoorden van vragen over tevredenheid in kaart te brengen, is aan studenten gevraagd de tevredenheid over hun opleiding te beoordelen op grond van de volgende vragen (clusters uit de NSE 2009): 1 Wat is je algemene oordeel over je opleiding? 2 Wat is je algemene oordeel over de volgende aspecten van jouw opleiding:

a. b. c. d. e. f. g. h. i. j. k. l.

de inhoud van de opleiding; de aansluiting bij je vooropleiding; de keuzeruimte binnen de opleiding; de samenhang binnen de opleiding; de werkvormen van de opleiding; de mogelijkheid binnen de opleiding om je voor te bereiden op je studie- of beroepsloopbaan; de docenten van de opleiding; de communicatie door de opleiding; de praktische organisatie van de opleiding; de geschiktheid van de huisvesting van de opleiding; de faciliteiten van de opleiding; de sfeer op de opleiding.


In dit onderzoek kregen studenten deze vragen steeds met een andere antwoordschaal aangeboden (tienpuntschaal; zespuntschaal; vijfpuntschaal; vijfpunt-Likertschaal; rapportcijfer). Voor de Likertschaal werd een iets andere formulering gehanteerd die overeenkomt met de formulering uit het STO (bijv, ‘Over het geheel genomen ben ik tevreden over mijn opleiding’; 1=zeer mee oneens; 5=zeer mee eens). Het onderzoek kende een experimentele opzet waarbij de studenten per toeval aan verschillende condities zijn toegewezen. De conditie bepaalde op welke antwoordschaal de studenten de vragen als eerste moesten beantwoorden. Zo kon voor mogelijke anker- en volgorde-effecten van de verschillende schalen gecontroleerd worden. Voor dit experiment is gebruik gemaakt van HetStudentenpanel.nl. Dit panel is een initiatief van ResearchNed. Het geeft een goede afspiegeling van de Nederlandse studentenpopulatie in hbo en wo. In totaal hebben 3.470 studenten aan dit onderzoek deelgenomen.

8.2

Resultaten Als eerste stap hebben we verkennende factoranalyses (principale componenten methode) over de dertien tevredenheidsvragen uitgevoerd om tot een gezamenlijke meting te komen waarop we de antwoorden konden vergelijken. Uit de factoranalyses bleek dat er op de tienpuntschaal, de vijfpuntschaal, de Likertschaal en op het rapportcijfer alle vragen op één factor laden, met uitzondering van de vragen over ‘huisvesting’ en ‘faciliteiten’. Dit is inhoudelijk verklaarbaar omdat deze twee vragen niet direct betrekking hebben op de tevredenheid over de opleiding, maar over randvoorwaarden van de opleiding. Het vermoeden dat de resterende elf vragen gezamenlijk een schaal vormen voor de tevredenheid over de opleiding wordt door een betrouwbaarheidsanalyse over deze vragen bevestigd (Cronbach’s Alpha’s: tienpuntschaal : alpha=0,891; vijfpuntschaal : alpha=0,845; Likertschaal: alpha=0,864; zespuntschaal : alpha=0,845; rapportcijfer: alpha=0.891). Van deze elf vragen (algemeen oordeel, inhoud, aansluiting, keuzeruimte, samenhang, werkvormen, loopbaan, docenten, communicatie, praktische organisatie en sfeer) is vervolgens een algemene tevredenheidscore voor elke antwoordschaal berekend. Daarna hebben we de verdeling van de antwoorden over de verschillende schalen bekeken. Hieruit blijkt dat alle antwoordschalen een iets scheve verdeling laten zien. Bij de tienpuntschaal en de rapportcijferschaal is deze scheefheid het grootst. De vijfpuntschaal en de Likertschaal zijn het minst scheef verdeeld. Er tussen in ligt de zespuntschaal (zie Tabel 57 en Figuur 6). 80% 70% 60% 50% 40% 30% 20% 10% 0% 1 10-punt

2

3

4

Rapportcijfers

5

6 5-punt

7

Likertschaal

Figuur 6: Verdeling van de antwoordschalen (%)


8

9

10 6-punt

Tabel 57: Statistieken van de antwoordschalen tienpuntschaal N Scheefheid Kurtosis Gemiddelde

8.3

1.153 -,883 1,586 6,6349

vijfpuntschaal 1.127 -,196 1,048 3,0692

Likertschaal 1.127 -,271 ,348 3,1154

zespuntschaal 1.066 -,404 ,551 3,8086

Rapportcijfer 1.153 -1,015 2,206 6,4935

Conclusies De antwoorden op de vijfpuntschaal en de Likertschaal zijn het minst scheef verdeeld. Daardoor zijn deze antwoordschalen voor de nieuwe NSE het meest geschikt. De sterk scheve verdelingen in de tienpuntschaal en het rapportcijfer zijn te verklaren door het feit dat dit geen neutrale schalen zijn, maar door studenten geïnterpreteerd worden als het rapportcijfersysteem dat in Nederland wordt toegepast waarin het midden van de schaal niet bij 5 (onvoldoende) ligt. Ook als een neutrale tienpuntschaal wordt aangeboden, lijkt deze automatisch door de studenten te worden geïnterpreteerd als een rapportcijfer, zoals blijkt uit de sterke correlatie tussen deze twee antwoordschalen. De interpretatie van de tienpuntschaal als rapportcijfer heeft als nadeel dat de verhoudingen tussen de scores op deze schaal niet als gelijke verschillen kunnen worden begrepen. Het verschil tussen een 5 (onvoldoende) en een 6 (voldoende) is groter dan het verschil tussen een 1 en een 2. Dit maakt de interpretatie van deze scores lastig. Daarnaast kent de tienpuntschaal het probleem dat deze alleen door de Nederlandse studenten als een rapportcijferschaal wordt geïnterpreteerd. Internationale studenten kunnen deze schaal wel als een continue schaal interpreteren, wat tot andere resultaten kan leiden (dit blijkt uit eerdere resultaten van de NSE). Omdat een doel van de NSE is om de vragenlijst internationaal te laten aansluiten adviseren we daarom voor de vernieuwing van de NSE 2010 de tot nu toe gebruikte tienpuntschaal te vervangen door een vijfpuntschaal of zespuntschaal. De twee vijfpuntschalen doen het bijna even goed op de gekozen vragen. Bij de keuze voor een van deze schalen (neutrale schaal of Likertschaal) spelen twee overwegingen een rol. Ten eerste zou hiervoor gekozen kunnen worden om aan te sluiten bij de Likertschaal die in het STO wordt gebruikt. Dit maakt integratie van het STO in de NSE makkelijk. Ten tweede heeft de Likertschaal als voordeel dat deze niet scheef verdeeld is. Deze keuze heeft echter het nadeel dat de Likertschaal gebaseerd is op het gebruik van stellingen met een normatief karakter. De vragen zijn daardoor niet neutraal geformuleerd. Een ander alternatief zou zijn om te kiezen voor een zespuntschaal. De zespuntschaal heeft meer variantie dan de vijfpuntschaal en geeft zo wat meer nuancering aan de resultaten. Aangezien de CHE vragenlijst ook gebruik maakt van een zespuntschaal en het CHE ernaar streeft deze tot internationale standaard te maken zou, met het licht op de internationale aansluiting van de NSE bij het CHE, overwogen kunnen worden om ook gebruik te maken van een zespuntschaal. Tot nu toe vormt het onderzoek van het CHE echter geen internationale standaard en blijkt dat andere grotere tevredenheidonderzoeken in Europa (bijv.: HEFCE in Groot-Brittannië en Ierland en HIS in Duitsland) ook gebruik maken van vijfpuntschalen. Wij adviseren daarom om voor de nieuwe NSE te kiezen voor een neutrale vijfpuntschaal. Dit maakt niet alleen de integratie van het STO in de NSE makkelijk, maar sluit ook aan bij internationaal onderzoek naar studententevredenheid (zie ook Hoofdstuk 10.2).


8.4

Transformaties tussen antwoordschalen Omdat door een wisseling van een tienpuntschaal naar een neutrale vijfpuntschaal, en van een Likertschaal naar een neutrale vijfpuntschaal trendanalyses niet direct te maken zijn, moeten de scores omgerekend worden. In ons onderzoek naar het gebruik van antwoordschalen binnen de NSE hebben we gekeken welke formules gehanteerd kunnen worden om de verschillende schalen met elkaar te kunnen vergelijken. Om deze transformatieformules te berekenen hebben we een enkelvoudige lineaire regressie (OLS regressie) uitgevoerd op de verschillende schaaltransformaties (tienpunt naar vijfpunt; vijfpunt naar tienpunt; vijfpunt naar Likertschaal; Likertschaal naar vijfpunt). Voor elke van de dertien vragen is een aparte formule berekend (zie Tabel 58). Het gebruik van de regressie maakt het mogelijk een schatting te maken voor het vertalen van de scores van de ene schaal naar de andere. Dit betekent dat een algemeen oordeel, dat gegeven is op een tienpuntschaal in de NSE 2009, door onderstaande formule omgerekend kan worden op een algemeen oordeel dat gegeven is op een vijfpuntschaal in de NSE 2010. Om deze transformatieformule te genereren is de score op deze vraag op een tienpuntschaal in dit model ingevoerd als onafhankelijke variabele, en de score op de vijfpuntschaal als afhankelijke variabele. De andere transformatieformules zijn op een soortgelijke manier berekend. De berekende transformatieformules zijn opgenomen in Tabel 58. Ook voor de transformatie naar de zespuntschaal en de rapportcijferschaal zijn formules berekend. Om het overzichtelijk te houden zijn hier alleen de formules opgenomen voor de vergelijking NSE2009NSE2010 en STO2009-NSE2010. De transformatieformules kunnen gebruikt worden om in de toekomst de resultaten van NSE en STO in de tijd te vergelijken ondanks een trendbreuk in het gebruik van antwoordschalen. De formules zijn alleen geldig voor de in dit onderzoek geteste vragen. Als meer gedetailleerde kennis over de veranderingen gewenst is, dient een vergelijkbaar onderzoek te worden uitgevoerd waarin alle vragen zijn opgenomen.

Tabel 58: Transformatie schema voor de verschillende antwoordschalen 10-punt → 5-punt

5-punt → 10-punt

5-punt → Likertschaal

Likertschaal → 5-punt

Algemeen oordeel

5-punt= 0,865+0,404*10punt

10-punt= 1,112+1,640*5-punt

Likertschaal= 0,285+0,969*5-punt

5-punt= 1,575+0,565* Likertschaal

Inhoud

5-punt= 0,951+0,384*10punt

10-punt= 1,483+1,536*5-punt



Aansluiting

5-punt= 0,568+0,416*10punt

10-punt= 0,679+1,686*5-punt



Keuzeruimte

5-punt= 0,489+0,431*10punt

10-punt= 0,945+1,616*5-punt



Samenhang

5-punt= 0,762+0,398*10punt

10-punt= 1,535+1,475*5-punt



Werkvormen

5-punt= 0,537+0,425*10punt

10-punt= 1,215+1,569*5-punt



Studie- of beroepsloopbaan

5-punt= 0,352+0,441*10punt

10-punt= 0,775+1,688*5-punt



Docenten

5-punt= 0,287+0,467*10punt

10-punt= 0,673+1,761*5-punt



Cluster


10-punt → 5-punt

5-punt → 10-punt

5-punt → Likertschaal

Likertschaal → 5-punt

Communicatie

5-punt= 0,343+0,434*10punt

10-punt= 0,374+1,808*5-punt



Praktische organisatie

5-punt= 0,512+0,417*10punt

10-punt= 0,662+1,736*5-punt



Huisvesting

5-punt= 0,437+0,442*10punt

10-punt= 1,006+1,661*5-punt



Faciliteiten

5-punt= 0,202+0,467*10punt

10-punt= 0,695+1,739*5-punt



Sfeer

5-punt= 0,418+0,456*10punt

10-punt= 1,008+1,705*5-punt



Cluster

8.5

Kwalitatieve analyse De aan de hand van de resultaten uit het delphi-onderzoek opgezette conceptlijst is uitgewerkt naar een conceptvragenlijst. Hiervoor zijn allereerst, gebaseerd op relevante kennis uit de literatuur10, de volgende criteria opgesteld die de basis vormen voor de ontwikkeling van de vragensets: 1 Contextgebondenheid: - vragen gaan over de belevingswereld van studenten in het hoger onderwijs in Nederland; - vragen sluiten aan bij actuele ontwikkelingen in het hoger onderwijs (bijvoorbeeld BaMa-structuur, onderwijskundige ontwikkelingen); - vragen sluiten aan bij internationale standaarden. 2 Taalgebruik: - er wordt maar één onderwerp tegelijk behandeld; - vragen en antwoorden zijn maar voor één uitleg vatbaar; - taalgebruik is eenduidig en niet ingewikkeld; - vragen zijn zo neutraal mogelijk geformuleerd; - er worden niet zomaar kennis en feiten als bekend verondersteld; - de vragen zijn niet normatief van aard. 3 Meetniveau en antwoordcategorieën: - het meetniveau past bij de inhoud van de vraag; - de antwoordcategorieën sluiten aan bij de inhoud van de vraag; - de antwoordcategorieën sluiten aan bij de internationale standaard; - het aantal antwoordcategorieën blijft over de vragen heen zo stabiel mogelijk.

8.6

Contextgebondenheid en taalgebruik Alle items uit de conceptlijst zijn op basis van de bovengenoemde criteria bekeken en vervolgens uitgewerkt naar een vragenlijst. Aan de hand van deze evaluatie bleek een aantal items gesplitst of anders geformuleerd te moeten worden. Van een aantal items bleek ook dat zij een te grote inhoudelijke overlap hadden met andere items. Gezien de tijdrestricties die zijn aangenomen voor de duur van de nieuwe vragenlijst adviseren wij deze items niet op te nemen. Hierdoor zijn de volgende items aangepast of verwijderd: 10 Baarda, D.B., & De Goede, M.P.M. (1997). Basisboek Methoden en Technieken. Stenfert Kroese. Dijkstra, W. & Smit, J. (1999). Onderzoek met vragenlijsten. Amsterdam: Vu uitgeverij. ’t Hart, H., Boeije, H. & Hox, J. (2005). Onderzoeksmethoden. Amsterdam: Boom Onderwijs.


8.7

Voor het item ‘voorbereiding beroepsloopbaan: contact met praktijk en arbeidsmarkt’ is geconstateerd dat twee onderwerpen tegelijk gevraagd werden. Er is daarom gekozen dit item te splitsen in ‘de mate waarin je opleiding praktijkgericht is’ en ‘de mate waarin er binnen je opleiding contact is met de arbeidsmarkt’. Het item ‘kwaliteit van docenten: betrokkenheid’ bleek bij nadere analyse ingewikkeld in de interpretatie en niet eenduidig. Heeft de betrokkenheid van de docent betrekking op het vak, de student of de instelling? En is de student überhaupt in staat om een oordeel te geven over de betrokkenheid van de docent bij zijn vak? Gezien dit item voor meerdere interpretaties vatbaar is en het niet duidelijk is of de student de juiste persoon is om hier een goed oordeel over te kunnen geven is besloten dit item niet op te nemen in de vragenlijst. Het item ‘kwaliteit van docenten: contact’ bleek bij nadere analyse grote inhoudelijke overlap te vertonen met het item ‘kwaliteit van docenten: bereikbaarheid’. Er is daarom besloten dit item niet op te nemen in de vragenlijst. Het item ‘kwaliteit van docenten: kennis praktijk’ bleek bij nadere analyse grote inhoudelijk overlap te vertonen met het item ‘kwaliteit van docenten: deskundigheid’. Daarom is ervoor gekozen dit item niet op te nemen in de vragenlijst. Bij nadere inhoudelijke analyse bleek het item ‘studielast: aantal uur besteed per week’ niet aan te sluiten bij de context van de vragenlijst. Dit item vraagt naar de tijd die studenten aan hun studie besteden en niet naar een oordeel over de ervaren studielast. Omdat er twee vragen zijn die expliciet vragen naar een oordeel over de studielast (spreiding studielast en haalbaarheid studie) is besloten om dit item niet op te nemen in de vragenlijst. Het item ‘studiebegeleiding: advies studieadviseur’ vertoont een grote inhoudelijke overlap met het item ‘studiebegeleiding: kwaliteit begeleiding’ en is daarom niet opgenomen in de vragenlijst.

Meetniveau en antwoordcategorieën De formulering van de vragen hangt mede af van de gebruikte antwoordschaal. Voor de nieuwe NSE adviseren wij om gebruik te maken van een neutrale vijfpuntschaal. De keuze voor deze antwoordschaal is toegelicht in hoofdstuk 8 en in hoofdstuk 8.8. Voor de formulering van de antwoordcategorieën is het belangrijk dat deze aansluit bij het doel van de vragenlijst. De NSE heeft als doel om de tevredenheid van studenten over een aantal aspecten van hun studie te meten. De meest directe en duidelijke manier om dit te meten is door de studenten te vragen hoe tevreden zij zijn over deze aspecten. Op een vijfpuntschaal adviseren we daarom de volgende schaalankers:

a. ...

Zeer ontevreden

Zeer tevreden

N.v.t.

We adviseren tevens om gebruik te maken van de categorie ‘niet van toepassing’ (N.v.t.). De reden hiervoor is dat niet bekend is of alle aspecten voor alle opleidingen gelden of dat iedere student hiervan op de hoogte is. Het kan bijvoorbeeld zijn dat niet iedere student contact zoekt met de studieadviseur of dat de student op het tijdstip van de bevraging nog geen stage heeft gelopen. Tenzij het niet helemaal zeker is dat elk van de items op iedereen van toepassing is, wordt aangeraden deze optie als extra antwoordcategorie op te nemen. Dit voorkomt dat studenten die geen specifieke mening over een bepaald aspect hebben of niet zeker weten of dit aspect op hun opleiding van toepassing is, kiezen voor de middencategorie of afhaken en zo de betrouwbaarheid van de resultaten beïnvloeden. De vragen voor de nieuwe NSE zijn zo geformuleerd dat zij aansluiten bij deze schaalankers. Een voorbeeld voor de formulering van de vragen is:


De volgende vragen gaan over jouw algemeen oordeel ten aanzien van een aantal deelaspecten van je studie. Geef aan hoe tevreden je over het geheel genomen bent over de volgende aspecten van je studie:

a. De inhoud van de opleiding b. De studiebegeleiding

Zeer ontevreden

Zeer tevreden

N.v.t.

Op deze wijze is ervoor gezorgd dat zowel het meetniveau als ook het aantal en de formulering van de antwoordcategorieën aansluiten bij de inhoud van de vragen en bij (inter)nationale standaarden. Tevens zijn de antwoordcategorieën over alle vragen heen identiek.

8.8

Live pilot onder studenten De eerste conceptvragenlijst is vervolgens getest onder de doelgroep (studenten). Het primaire doel hiervan was om na te gaan of de gekozen hoofd- en subthema’s ook aansluiten bij de behoefte van de student, of de vragen duidelijk en niet multi-interpretabel zijn, of de vragen qua formulering aansluiten bij de belevingswereld en terminologie van studenten en of de doelgroep (studenten) de vragenlijst interpreteert zoals bedoeld. Daarnaast gaf de test ook een eerste indicatie van de gemiddelde invultijd. Voor het testen van de vragenlijst zijn 500 studenten van verschillende universiteiten en hogescholen in Nederland benaderd met de vraag of zij wilden deelnemen aan een groepsgesprek waarin de nieuwe vragenlijst besproken zou worden. Omdat de NSE ook moet aansluiten bij de behoeftes van internationale studenten was hiervoor ook een aantal internationale studenten uitgenodigd. In totaal waren zes studenten bereid om aan de live pilot mee te doen. De studenten kwamen van verschillende instellingen en opleidingen (sociologie RU Nijmegen, pedagogiek Fontys Eindhoven, biologie RU Nijmegen, sociologie UU Utrecht, hoger toeristisch en recreatief onderwijs Saxion Deventer, European studies UT Twente). Twee studenten waren internationale studenten uit Duitsland, de andere vier waren Nederlandse studenten. Enkele dagen voor de bijeenkomst hebben de studenten de conceptvragenlijst ontvangen met de vraag deze in te vullen, de invultijd bij te houden en eventuele opmerkingen op te schrijven en mee te nemen naar de bijeenkomst. Tijdens de bijeenkomst is de studenten allereerst gevraagd naar hun algemene indruk van de vragenlijst en de tijd die het hen kostte deze in te vullen. Vijf studenten gaven aan dat ze ongeveer tien minuten nodig hadden om de vragenlijst in te vullen. Een student was ongeveer 20 minuten bezig met het invullen, maar gaf aan dat dit vooral te maken had met het feit dat hij zijn commentaar tijdens het invullen had uitgewerkt en anders waarschijnlijk ook niet langer dan tien minuten hiervoor nodig had gehad. Over het algemeen was de indruk van de studenten over de vragenlijst zeer positief. De vragenlijst was volgens de studenten helder en volledig. Wel hadden zij het gevoel dat sommige onderwerpen dubbel werden gevraagd en dat sommige vragen beter en/of anders geformuleerd konden worden. Hierna zijn alle vragen één voor één behandeld en is aan de studenten gevraagd hierop hun mening te geven en eventueel aanvullingen aan te dragen.

Algemene oordelen

Bij het kopje ‘Algemene oordelen’ gaven de studenten aan dat de verwoording ‘Kwaliteit van de docenten aan je opleiding’ voor hen niet helemaal duidelijk was en beter wat algemener verwoord zou kunnen worden als: ‘De docenten aan je opleiding’. Het item ‘de wijze van toetsing en beoordeling’ werd door de studenten als te smal ervaren en impliceert dat het alleen gaat om de toetsingsvormen en niet over de gehanteerde criteria, terwijl dit in het thema later wel aan bod komt. Er is daarom samen met de studenten ervoor gekozen het item als volgt te verwoorden: ‘Toetsing en beoordeling (bijv. criteria van beoordeling en vormen van toetsing)’.


De inhoud van de opleiding

Het item ‘de aansluiting van de inhoud bij de doelstellingen van de opleiding’ was voor de studenten onduidelijk. Maar één van de zes studenten gaf aan op de hoogte te zijn van de officiële doelstellingen van de opleiding. Wel gaven de studenten aan een eigen idee over de doelstellingen van de opleiding te hebben. Het werd daarom door de studenten voorgesteld dit item als volgt te verwoorden: ‘De mate waarin de inhoud aansluit bij het beeld dat je van je opleiding hebt’. De studenten gaven aan dat zij binnen dit thema een vraag misten over de mogelijkheid om zelf invulling te geven aan de inhoud van de opleiding (bijv. door het kiezen van bepaalde vakken) en stelden voor het volgende item op te nemen: ‘De mate waarin de opleiding je de mogelijkheid biedt om zelf de inhoud te bepalen’.

Opgedane competenties

De studenten vonden het begrip ‘competenties’ geen goede keuze omdat dit vaak voor zeer specifieke vaardigheden binnen hun opleiding wordt gebruikt en daardoor andere verwachtingen in de lezer oproept dan de in de NSE gevraagde competenties. Ze stelden daarom voor de benaming van dit thema te veranderen in ‘verworven vaardigheden’. Volgens de studenten vertoonden de items ‘de mate waarin je het aanpakken en analyseren van complexe problemen leert’ en ‘de mate waarin je probleemoplossende vermogens opdoet’ een grote overlap. We stellen daarom voor om alleen één van deze items op te nemen.

Voorbereiding op de beroepsloopbaan

Het item ‘de mate waarin je opleiding gericht is op de onderzoek/beroepspraktijk’ bleek niet duidelijk geformuleerd. De studenten stelden ‘de mate waarin je opleiding praktijkgericht is’ voor als een duidelijker alternatief. Voor sommige studenten was de betekenis van het item ‘de mate waarin er binnen je opleiding contact is met de arbeidsmarkt’ niet helemaal duidelijk. Volgens hen zou het toevoegen van een aantal voorbeelden van een dergelijk contact (bijv. stages, gastsprekers) dit probleem oplossen.

De kwaliteit van de docenten van de opleiding

Voor het kopje van dit thema werd voorgesteld de titel wat algemener te houden: ‘De docenten aan je opleiding’. Verder vonden de studenten (alle vragen van) dit thema duidelijk en volledig.

Informatie vanuit de instelling

Het item ‘het tijdig bekend maken van resultaten en beoordelingen’ zou volgens de studenten beter verschoven kunnen worden naar het thema: ‘toetsing en beoordeling’.

Onderwijsvoorzieningen

De studenten waren van mening dat een vraag enkel naar de beschikbaarheid van werkplekken niet zo belangrijk is, omdat die er vaak wel zijn. De beschikbaarheid van geschikte werkplekken is echter volgens hen een belangrijke vraag. Zij stellen daarom voor dit item aan te passen. Bovendien zouden zij een verduidelijking door het toevoegen van een aantal voorbeelden zeer op prijs stellen. Wij stellen daarom voor het item als volgt te verwoorden: ‘de beschikbaarheid van geschikte werkplekken (bijv. computers, studieruimten)’. ‘ICT-faciliteiten’ is volgens de studenten een gebruikelijkere verwoording dan ‘computer- en netwerkfaciliteiten’.

Wijze van toetsing en beoordeling

De verwoording is volgens de studenten misleidend en wordt veranderd in ‘toetsing en beoordeling’ (zie kopje ‘algemene oordelen’).


Zoals besproken bij het kopje ‘informatie vanuit de instelling’ wordt het item ‘het tijdig bekend maken van resultaten en beoordelingen’ naar dit thema verschoven.

Studieroosters

De studenten vonden dat het in deze context ook belangrijk is te vragen hoe de studielast wordt verdeeld en stelden voor het volgende item aan de vragenlijst toe te voegen ‘de spreiding van contacturen over de studieweek’.

Studielast

De studenten merkten op dat het bij hun opleiding soms onduidelijk is wat de verhouding tussen de studielast en ECTS is. Soms is de studielast heel hoog, maar levert het weinig punten op, terwijl je op andere momenten juist heel weinig hoeft te doen om je punten te halen. De studenten stelden daarom voor om een extra item op te nemen dat door hen in deze context als belangrijk werd ervaren, namelijk ‘de match tussen ECTS en de daadwerkelijke studielast’.

Studiebegeleiding

Omdat niet elke student gebruik maakt van studiebegeleiding, vonden de studenten de verwoording ‘de mogelijkheid tot begeleiding’ beter geschikt dan ‘de mate van begeleiding’.

Internationale studenten

Zowel de Nederlandse als de internationale studenten waren het niet met de deskundigen vanuit de instellingen eens en vonden het belangrijk om dit thema op te nemen in de NSE. De studenten gaven wel aan dat de gegeven voorbeelden bij het item ‘geboden hulp door de opleiding’ beter weggelaten konden worden omdat dit de draagwijdte van de vraag beperkt en het item ook zonder de voorbeelden duidelijk is. De studenten waren het er wel mee eens dat de twee voorgestelde items de meest belangrijke zijn in deze context.

Opgedane academische competenties

Zowel de hbo- als ook de wo-studenten vonden dit thema een belangrijke aanvulling voor de NSE. Verder vonden ze ‘verworven wetenschappelijke vaardigheden’ een betere verwoording voor dit thema. De studenten merkten op dat bij het item ‘de mate waarin je leert om wetenschappelijke theorieën te evalueren en te ontwikkelen’ in feite naar twee vaardigheden gevraagd wordt, waarbij het evalueren van wetenschappelijk werk ook in het latere item ‘de mate waarin je leert om wetenschappelijk werk kritisch te beoordelen’ terugkomt. We stellen daarom voor dit item te veranderen in: ‘de mate waarin je leert om wetenschappelijke theorieën te ontwikkelen’.

Overige voorzieningen en studieomgeving

Studenten gaven aan de overige voorzieningen en de studieomgeving een belangrijk thema te vinden voor het kiezen van een studie. De studenten vonden met name de bereikbaarheid van de instelling belangrijk en stelden voor dit item vooraan in de lijst te plaatsen. Verder vonden ze ‘de hoeveelheid groen in je studiestad (bijv. parken, natuurgebieden)’ een belangrijke vraag om extra op te nemen in de nieuwe NSE.

Sfeer

Bij het thema ‘sfeer’ wordt het onderscheid tussen de sfeer op de opleiding en de sfeer binnen de instelling door de studenten als lastig ervaren. Volgens de studenten zou beter alleen naar de sfeer op de opleiding gevraagd kunnen worden omdat dit voor hen het meest bepalend is voor de sfeer die zij ervaren tijdens hun studie.


De conceptvragenlijst is naar aanleiding van deze live-pilot uitgewerkt tot een definitieve conceptvragenlijst. Het voorstel voor de nieuwe vragenlijst bevat nu vijftien thema’s en 74 vragen. Het eerste thema bevat algemene oordelen over thema’s die later in de lijst aan bod komen. Op basis van reacties uit het deskundigenpanel en de begeleidingsgroep NSE is de vragenlijst vervolgens nog iets aangepast (zie Bijlage B).


9 Validatie

Validiteit heeft betrekking op de juistheid van de gegevens. Valide waarnemingen geven juiste uitkomsten. Uitkomsten zijn onjuist als zij bijvoorbeeld systematisch een te hoge of te lage waarde hebben, of als zij een andere eigenschap meten dan de bedoelde. Validiteit verwijst naar zaken als integriteit, correctheid en consistentie. Om zicht te krijgen op de validiteit van de gegevens is bij de vernieuwing van de NSE een aantal stappen ondernomen: 1

2 3

Allereerst is de relevantie van de hoofd- en subthema’s getoetst door de vragenlijst voor te leggen aan deskundigen en gebruikers met als doel te komen tot inhoudelijke overeenstemming over de op te nemen thema’s (delphi-onderzoek onder deskundigen en gebruikers); Daarna is de lijst door de doelgroep (studenten) kwalitatief beoordeeld (live pilot onder studenten); Tenslotte is een kwantitatieve validatie uitgevoerd door middel van een grootschalig onderzoek onder studenten. Aan de hand van de resultaten van deze pilot is onderzocht of de vragen over de verschillende thema’s inderdaad verschillende aspecten meten en is gekeken naar de wijze waarop deze met elkaar samenhangen. Om zicht hier op te krijgen is geanalyseerd of de structuur van de vragenlijst is zoals deze is bedoeld en of een betrouwbare clustering mogelijk is.

Voor de kwantitatieve evaluatie van de vragenlijst is gebruik gemaakt van HetStudentenpanel. Dit panel is een initiatief van ResearchNed en geeft een goede afspiegeling van de Nederlandse studentenpopulatie in hbo en wo. Alle studenten uit dit panel zijn per email uitgenodigd om de nieuwe NSE in te vullen. In totaal volden 3.084 studenten de vragenlijst volledig in. Voor dit onderzoek is de conceptvragenlijst geprogrammeerd en uitgezet als een internetenquête. De modules ‘handicap+studie’ en ‘internationale studenten’ zijn hierin niet meegenomen. De module ‘handicap+ studie’ is uit de oude vragenlijst overgenomen en dus al uitgebreid getest. De module ‘internationale studenten’ is in een apart onderzoek11 nader onderzocht.

9.1

Hoofdcomponentenanalyse Om zicht te krijgen op de structuur van de vragenlijst is als eerste stap een verkennende principale componentenanalyse met varimax-rotatie (hoofdcomponentenanalyse) op alle items van de dertien geteste basismodules uitgevoerd. De module ‘Algemene oordelen’ is hierbij even buiten beschouwing gelaten omdat deze qua niveau en onderlinge samenhang verschilt van de andere modules. Principale componentenanalyse is een veelgebruikte multivariate statistische techniek die voor een groot aantal geobserveerde variabelen een kleiner aantal achterliggende variabelen identificeert. Deze niet geobserveerde, achterliggende variabelen worden factoren of ‒ in het geval van de hoofdcomponentenanalyse ‒ componenten genoemd. Factoranalyse wordt gebruikt om inzicht te krijgen in de structuur van de data. De huidige analyse is gebaseerd op het criterium dat de eigenwaarde boven de ‘1’ ligt. De eigenwaarde geeft aan hoeveel additionele variantie door de extra factor wordt verklaard. Omdat het hier gestandaardiseerde variabelen betreft, voegt elke extra factor een variantie van ‘1’ toe. Factoren met een eigenwaarde van minder dan ‘1’ verklaren minder variantie dan ze zelf toevoegen.

11 Internationale studenten in de NSE. Onderzoek door ResearchNed in opdracht van Studiekeuze123.


Tabel 59: Factoroplossing voor de 13 basismodules Item

↓

Component

→

1

2

3

4

5

6

7

8

9

10

11

12

13

Begeleiding docenten Betrokkenheid docenten Feedback docenten Docenten inspirerend Didactiek docenten Deskundigheid docenten Bereikbaarheid docenten Kennis beroepspraktijk docenten Kwaliteit begeleiding Mogelijkheid tot begeleiding

0,73 0,72 0,69 0,69 0,66 0,65 0,65 0,65 0,55 0,52

0,15 0,11 0,13 0,16 0,17 0,12 0,15 0,17 0,24 0,22

0,21 0,27 0,23 0,18 0,14 0,19 0,17 0,23 0,27 0,26

0,14 0,08 0,16 0,16 0,21 0,19 0,15 0,12 0,20 0,17

0,15 0,10 0,21 0,30 0,25 0,31 0,06 0,27 0,03 0,01

0,17 0,18 0,16 0,14 0,16 0,13 0,15 0,14 0,14 0,19

0,18 0,18 0,11 0,20 0,13 0,01 0,17 0,04 0,19 0,17

0,17 0,18 0,09 0,06 0,02 -0,02 0,18 -0,02 0,29 0,27

0,02 -0,01 0,03 0,05 0,12 0,16 0,00 0,17 0,03 0,04

0,14 0,08 0,14 0,12 0,11 0,08 0,16 0,06 0,10 0,14

0,10 0,05 0,12 0,06 0,10 0,13 0,14 0,05 0,05 0,07

0,03 0,00 0,01 -0,01 0,03 -0,01 0,05 -0,01 0,03 0,03

0,13 0,08 0,09 -0,04 -0,07 -0,09 0,08 -0,08 0,29 0,31

Informatie resultaten en beoordelingen

0,35

0,24

0,10

0,18

0,15

0,14

0,30

0,28

-0,06

0,30

0,25

0,05

0,02

Geschiktheid werkplekken Beschikbaarheid werkplekken Geschiktheid onderwijsruimten ICT faciliteiten Bibliotheek/mediatheek Digitale leeromgeving Opleidingsmateriaal Informatiebalie Studentenadministratie

0,16 0,16 0,14 0,14 0,11 0,14 0,33 0,18 0,21

0,82 0,78 0,75 0,74 0,63 0,60 0,55 0,48 0,40

0,10 -0,05 0,13 0,09 0,11 0,16 0,16 0,22 0,14

0,12 0,13 0,08 0,12 0,07 0,13 0,15 0,03 0,08

0,12 0,10 0,18 0,02 0,18 0,10 0,26 0,02 0,03

0,12 0,10 0,12 0,08 0,10 0,04 0,14 0,13 0,05

0,11 0,15 0,13 0,13 -0,04 0,11 0,11 0,13 0,08

0,19 0,14 0,18 -0,03 0,00 0,04 0,13 0,03 0,03

0,10 -0,02 0,11 0,05 0,13 0,07 0,13 0,13 0,15

-0,01 -0,03 -0,01 0,20 0,22 0,32 0,14 0,41 0,39

0,04 0,13 0,05 0,11 0,10 0,16 0,08 0,14 0,28

0,05 0,08 0,01 0,08 0,07 0,11 0,04 0,13 0,14

-0,08 -0,06 -0,11 0,13 0,30 0,22 0,04 0,24 0,24

Communicatieve vaardigheden Probleemoplossende vermogens Onderbouwen conclusies Samenwerken met anderen Kritische houding Functioneren professionele context

0,22 0,23 0,25 0,19 0,27 0,25

0,09 0,09 0,09 0,07 0,12 0,11

0,73 0,68 0,67 0,67 0,61 0,59

0,06 0,24 0,34 0,05 0,20 0,19

0,14 0,14 0,16 0,18 0,17 0,20

0,18 0,15 0,09 0,17 0,08 0,28

0,08 0,09 0,13 0,04 0,13 0,10

0,08 0,09 0,00 0,14 0,03 0,08

0,12 0,11 0,11 0,08 0,10 0,09

0,07 0,12 0,13 0,04 0,13 0,17

0,04 0,03 0,09 0,08 0,06 0,08

0,00 -0,02 -0,04 0,07 0,05 0,02

0,11 -0,02 -0,01 0,17 -0,08 -0,05

Argumenteren/redeneren Contact met medestudenten

0,25 0,31

0,07 0,16

0,57 0,34

0,42 -0,08

0,20 0,20

0,06 0,06

0,14 0,12

-0,04 0,12

0,13 0,26

0,02 -0,15

0,09 -0,01

0,03 0,05

0,00 0,27

Item

↓

Component

→

1

2

3

4

5

6

7

8

9

10

11

12

13

Ontwikkelen wetenschappelijke theorieën Schrijven wetenschappelijke artikelen Beoordelen wetenschappelijk werk Methoden en technieken Analytisch denken Zelfstandig onderzoek

0,15 0,15 0,20 0,16 0,21 0,10

0,10 0,14 0,09 0,11 0,06 0,18

0,09 -0,01 0,20 0,20 0,35 0,32

0,80 0,79 0,75 0,72 0,58 0,57

0,16 0,10 0,18 0,08 0,28 0,11

0,04 0,08 0,04 0,10 -0,02 0,15

0,14 0,14 0,10 0,05 0,14 0,06

0,02 0,11 -0,02 0,17 -0,01 0,12

0,04 0,02 0,12 0,11 0,06 0,07

0,09 0,10 0,10 0,04 0,10 0,06

0,10 0,09 0,11 -0,01 0,13 0,08

0,00 0,08 0,02 0,08 -0,01 0,05

0,08 0,08 0,01 0,00 -0,07 0,06

Niveau opleiding Aansluiting inhoud bij verwachting Opleiding stimulerend Kwaliteit studiemateriaal Samenhang tussen onderdelen Aansluiting inhoud actuele ontwikkelingen Gehanteerde werkvormen Aansluiting bij vooropleiding Mogelijkheid inhoud te bepalen

0,20 0,23 0,34 0,35 0,30 0,34 0,27 0,17 0,25

0,13 0,14 0,15 0,22 0,18 0,14 0,16 0,12 0,24

0,29 0,26 0,23 0,17 0,19 0,25 0,24 0,12 0,10

0,25 0,15 0,22 0,23 0,18 0,19 0,17 0,16 0,19

0,65 0,62 0,61 0,53 0,53 0,49 0,47 0,36 0,33

0,11 0,19 0,16 0,15 0,24 0,24 0,23 -0,02 0,09

0,12 0,15 0,16 0,08 0,14 0,05 0,16 0,00 0,23

0,08 0,15 0,13 0,13 0,14 0,08 0,22 0,21 0,25

0,04 0,08 0,04 0,09 0,05 0,08 0,05 0,10 -0,03

0,06 0,15 0,18 0,16 0,10 0,04 0,09 0,14 0,12

0,16 0,09 0,07 0,15 0,05 0,03 0,04 0,10 -0,02

0,01 0,02 0,01 -0,04 -0,04 0,00 -0,06 0,11 0,07

0,08 0,00 0,03 0,15 0,12 0,06 0,17 -0,28 0,29

Contact beroepspraktijk Praktijkgerichtheid Vaardigheden voor beroepspraktijk Aansluiting stages Kwaliteit stagebegeleiding

0,27 0,22 0,26 0,30 0,42

0,13 0,14 0,16 0,17 0,14

0,17 0,25 0,26 0,12 0,11

0,06 0,01 0,09 0,19 0,21

0,13 0,21 0,16 0,22 0,12

0,79 0,76 0,74 0,61 0,44

0,06 0,09 0,09 0,12 0,23

0,08 0,11 0,09 0,11 0,09

0,04 0,12 0,12 0,05 0,06

0,09 0,09 0,11 0,12 0,09

0,10 0,06 0,07 0,09 0,11

0,06 -0,02 -0,04 0,10 0,06

0,00 -0,03 0,00 0,27 0,22

Gebruik onderwijsevaluaties Informatie onderwijsevaluaties Reactie klachten en problemen Onderwijsevaluaties

0,20 0,20 0,29 0,29

0,16 0,18 0,17 0,17

0,14 0,15 0,11 0,29

0,14 0,16 0,21 0,14

0,13 0,14 0,11 0,16

0,10 0,11 0,11 0,12

0,80 0,78 0,65 0,63

0,13 0,12 0,19 0,08

0,03 0,07 0,05 0,13

0,12 0,08 0,20 0,11

0,17 0,17 0,19 0,05

0,10 0,09 0,03 0,10

0,02 0,06 0,01 0,05

Haalbaarheid deadlines Spreiding studielast Aansluiting ECTS bij studielast

0,14 0,15 0,17

0,10 0,12 0,19

0,11 0,07 0,05

0,02 0,09 0,15

0,10 0,17 0,19

0,10 0,09 0,09

0,09 0,13 0,15

0,76 0,74 0,67

0,14 0,10 0,11

0,13 0,11 0,15

0,16 0,18 0,14

0,08 0,02 0,15

0,03 0,05 0,04

Item

↓

Component

→

1

2

3

4

5

6

7

8

9

10

11

12

13

Cultureel aanbod studiestad Horecavoorzieningen studiestad Hoeveelheid groen studiestad Bereikbaarheid instelling Sportvoorzieningen

0,03 0,09 0,03 0,12 0,07

0,05 0,07 0,08 0,11 0,19

0,15 0,18 0,01 0,27 -0,13

0,08 0,07 0,11 -0,01 0,16

0,02 0,01 0,03 0,18 0,04

0,10 0,06 0,06 0,09 -0,17

0,04 -0,02 0,10 0,00 0,31

0,04 0,04 0,22 0,05 0,04

0,85 0,84 0,62 0,49 0,37

0,06 0,09 -0,09 0,18 0,07

0,00 0,01 0,03 0,17 0,07

-0,07 -0,05 0,22 0,05 0,15

0,00 -0,01 -0,03 0,11 0,27

Informatie regels en procedures Informatie studievoortgang Voorlichting opleiding Duidelijkheid beoordelingscriteria Aansluiting toetsing en beoordeling

0,21 0,25 0,24 0,30 0,30

0,18 0,20 0,22 0,23 0,18

0,11 0,15 0,22 0,21 0,19

0,21 0,21 0,15 0,13 0,13

0,20 0,18 0,25 0,18 0,34

0,11 0,19 0,15 0,17 0,17

0,20 0,14 0,22 0,16 0,13

0,21 0,20 0,18 0,29 0,29

0,09 0,13 0,08 0,02 0,09

0,61 0,57 0,47 0,44 0,43

0,12 0,10 0,06 0,12 0,11

0,09 0,05 0,08 0,08 0,10

0,03 0,13 0,03 -0,13 -0,11

Informatie roosters Informatie wijzigingen roosters Geschiktheid studierooster

0,11 0,16 0,18

0,19 0,17 0,16

0,10 0,07 0,12

0,17 0,13 0,08

0,08 0,10 0,14

0,06 0,09 0,13

0,11 0,19 0,18

0,12 0,16 0,23

0,07 0,03 0,08

0,05 0,10 0,16

0,81 0,79 0,67

0,00 0,06 0,06

0,04 0,04 0,00

0,03 -0,01

0,12 0,16

0,01 0,04

0,07 0,07

-0,01 0,01

0,05 0,01

0,13 0,07

0,13 0,06

0,03 0,10

0,09 0,08

0,03 0,06

0,90 0,90

0,06 0,04

0,06 0,22

0,24 0,17

0,04 0,18

0,11 0,21

0,19 0,19

0,05 0,28

0,08 0,03

0,03 0,16

0,40 0,05

0,11 0,13

0,13 0,06

0,17 0,15

0,41 0,40

Betaalbaarheid woonruimte Beschikbaarheid woonruimte

Restauratieve voorzieningen Internationale contacten/uitwisseling

Uit de resultaten van de factoranalyse komen dertien verschillende componenten in de vragenlijst naar voren. Bijna alle items die horen bij een bepaalde module laden op een aparte component. Vijf items zijn anders verdeeld dan verwacht en twee modules laden samen op een andere component dan verwacht (deze zijn cursief gedrukt). De module ‘Docenten van de opleiding’ laadt samen met ‘Studiebegeleiding’ op één component. Wellicht is een goede begeleiding sterk gerelateerd aan de kwaliteit van de docenten van een opleiding. Daarnaast laden ook de module ‘Toetsing en beoordeling’ en de module ‘Informatie vanuit de opleiding’ samen op een component. Een verklaring hiervoor zou kunnen zijn dat beide modules een informatieaspect bevatten. Het item ‘Informatie resultaten en beoordelingen’ laadt niet samen met de andere twee items van deze module op een gemeenschappelijke component, maar blijkt sterk gerelateerd aan de kwaliteit van de docent. De vraag is of dit item verschoven moet worden naar deze module of dat het misschien alsnog een betrouwbare schaal samen met de andere twee items vormt. In de volgende paragraaf waarin gekeken wordt naar de betrouwbaarheid van de schalen is dit aspect verder onderzocht. Het item ‘Argumenteren/redeneren’ laadt iets sterker op de component ‘Algemene vaardigheden’ dan op de component ‘Wetenschappelijk vaardigheden’. Ook hier zal aan de hand van betrouwbaarheidsanalyses de plaats van dit item heroverwogen worden. Hetzelfde geldt voor de items: ‘Contact met medestudenten’, ‘Restauratieve voorzieningen’ en ‘Internationale contacten/uitwisseling’. Ook deze items laden niet op de vooraf bepaalde modules en kunnen op basis van deze factoroplossing heroverwogen moeten worden.

9.2

Betrouwbaarheidsanalyses Om de interne consistentie van de vragenlijst te meten hebben we vervolgens een aantal betrouwbaarheidsanalyses uitgevoerd op de verschillende modules. De interne consistentie van een module is groot, als alle hierin opgenomen vragen hetzelfde algemene kenmerk meten. Om dit vast te stellen hebben we gebruik gemaakt van de Cronbach’s alpha. Als vuistregel wordt vaak gehanteerd dat een vragenlijst of module voldoende betrouwbaar is bij een alpha van 0,70 of hoger. Aan het begin van de vragenlijst worden de thema’s als aparte vragen aan de studenten gesteld. Deze module (‘Algemeen oordeel’) heeft een alpha van 0,90 (zie Tabel 60) en is voldoende betrouwbaar. verwijdering van één van de items verhoogt de betrouwbaarheid niet.

Tabel 60: Betrouwbaarheid van module ‘Algemeen oordeel’ Gemiddelde

Standaard Deviatie

Alpha als item verwijderd wordt

Totaaloordeel opleiding Inhoud opleiding Algemene vaardigheden Wetenschappelijke vaardigheden Voorbereiding beroepsloopbaan

3,79 3,80 3,77 3,41 3,81

0,80 0,80 0,74 0,86 0,87

0,89 0,89 0,89 0,90 0,89

Oordeel docenten Informatie vanuit opleiding Studiefaciliteiten Toetsing en beoordeling Studieroosters

3,78 3,40 3,64 3,43 3,33

0,87 0,95 0,93 0,85 1,00

0,89 0,89 0,90 0,89 0,90

Studielast Studiebegeleiding Overige faciliteiten en studieomgeving Algemene sfeer Betrokkenheid

3,33 3,48 3,60 4,19 3,49

0,88 0,97 0,84 0,78 1,01

0,90 0,89 0,89 0,89 0,89


De module ‘Inhoud van de opleiding’ heeft een alpha van 0,87 en is voldoende betrouwbaar (zie Tabel 61). De betrouwbaarheid neemt niet toe als één van de items wordt verwijderd.

Tabel 61: Betrouwbaarheid module ‘Inhoud van de opleiding’ Gemiddelde

Standaard Deviatie


Niveau opleiding Aansluiting inhoud bij verwachting Aansluiting bij vooropleiding Opleiding stimulerend Aansluiting inhoud actuele ontwikkelingen

3,78 3,70 3,44 3,64 3,83

0,85 0,90 0,99 0,89 0,81

0,85 0,85 0,88 0,85 0,86

Samenhang tussen onderdelen Gehanteerde werkvormen Mogelijkheid inhoud te bepalen Kwaliteit studiemateriaal

3,75 3,62 3,24 3,63

0,84 0,84 0,98 0,83

0,86 0,86 0,87 0,85

De module ‘Algemene vaardigheden’ heeft een alpha van 0,88 en is voldoende betrouwbaar. In de betrouwbaarheidsanalyse is ook het item ‘Argumenteren/redeneren’ opgenomen. Uit Tabel 62 blijkt dat opname van dit item bij deze module de betrouwbaarheid vergroot. We stellen daarom voor dit item van de module ‘Wetenschappelijke vaardigheden’ naar de module ‘Algemene vaardigheden’ te verschuiven.

Tabel 62: Betrouwbaarheid module ‘Algemene vaardigheden’

Kritische houding Functioneren professionele context Probleemoplossende vermogens Onderbouwen conclusies Communicatieve vaardigheden Samenwerken met anderen Argumenteren/redeneren

Gemiddelde

Standaard Deviatie


3,76 3,84 3,82 3,75 3,96 4,07 3,76

0,80 0,79 0,79 0,82 0,82 0,79 0,80

0,86 0,86 0,85 0,85 0,86 0,87 0,87

De module ‘Wetenschappelijke vaardigheden’ heeft een alpha van 0,88 en is voldoende betrouwbaar (zie Tabel 63). Het opnemen van het item ‘Argumenteren/redeneren’ vergroot de betrouwbaarheid van deze schaal niet.

Tabel 63: Betrouwbaarheid module ‘Wetenschappelijke vaardigheden’

Analytisch denken Beoordelen wetenschappelijk werk Ontwikkelen wetenschappelijke theorieën Schrijven wetenschappelijke artikelen Methoden en technieken Zelfstandig onderzoek


Gemiddelde

Standaard Deviatie


3,57 3,32 3,03 2,86 3,44 3,59

0,85 0,95 0,97 0,99 0,94 0,94

0,88 0,86 0,85 0,86 0,86 0,87

De module ‘Voorbereiding beroepsloopbaan’ heeft een alpha van 0,86. Het verwijderen van het item ‘Internationale contacten/uitwisseling’ verhoogt de betrouwbaarheid naar een alpha van 0,88 (zie Tabel 64). We stellen daarom voor dit item niet op te nemen in de vragenlijst. Het item levert geen bijdrage aan deze module en voegt ook niets toe aan een andere module.

Tabel 64: Betrouwbaarheid module ‘Voorbereiding beroepsloopbaan’

Vaardigheden voor beroepspraktijk Praktijkgerichtheid Contact beroepspraktijk Kwaliteit stagebegeleiding Internationale contacten/uitwisseling Aansluiting stages

Gemiddelde

Standaard Deviatie


4,00 3,99 3,88 3,47 3,52 3,67

0,86 0,89 0,95 1,01 1,00 0,89

0,83 0,83 0,83 0,85 0,88 0,83

De module ‘Docenten van de opleiding’ heeft een alpha van 0,92 en is voldoende betrouwbaar (zie Tabel 65). De betrouwbaarheid neemt niet toe als één van de items wordt verwijderd.

Tabel 65: Betrouwbaarheid module ‘Docenten van de opleiding’ Gemiddelde

Standaard Deviatie


Deskundigheid docenten Didactiek docenten Bereikbaarheid docenten Betrokkenheid docenten

3,95 3,64 3,60 3,76

0,85 0,87 1,01 0,92

0,91 0,91 0,91 0,90

Begeleiding docenten Feedback docenten Docenten inspirerend Kennis beroepspraktijk docenten

3,65 3,64 3,57 4,00

0,90 0,91 0,93 0,84

0,90 0,90 0,90 0,91

De module ‘Informatie vanuit de opleiding’ heeft een alpha van 0,81 en is voldoende betrouwbaar (zie Tabel 66). De betrouwbaarheid neemt niet toe als één van de items wordt verwijderd.

Tabel 66: Betrouwbaarheid module ‘Informatie vanuit de opleiding’

Voorlichting opleiding Informatie studievoortgang Informatie studievoortgang

Gemiddelde

Standaard Deviatie


3,47 3,49 3,35

0,92 0,92 0,95

0,78 0,71 0,72

De module ‘Studiefaciliteiten’ heeft een alpha van 0,89 en is voldoende betrouwbaar (zie Tabel 67). De betrouwbaarheid neemt niet toe als één van de items wordt verwijderd.


Tabel 67: Betrouwbaarheid module ‘Studiefaciliteiten’ Gemiddelde

Standaard Deviatie


Geschiktheid onderwijsruimten Geschiktheid werkplekken Beschikbaarheid werkplekken Opleidingsmateriaal Bibliotheek/mediatheek

3,64 3,59 3,21 3,72 3,84

0,96 1,02 1,15 0,79 0,92

0,87 0,87 0,87 0,87 0,88

ICT faciliteiten Digitale leeromgeving Informatiebalie Studentenadministratie

3,52 3,57 3,71 3,59

1,05 0,98 0,84 0,90

0,87 0,87 0,88 0,88

De module ‘Toetsing en beoordeling’ heeft een alpha van 0,79 en is voldoende betrouwbaar (zie Tabel 68). Het verwijderen van het item ‘Informatie resultaten en beoordelingen’ verhoogt de betrouwbaarheid van deze schaal naar een alpha van 0,82. Volgens de factoroplossing zou dit item beter passen bij de module ‘Informatie vanuit de opleiding’. Echter, omdat uit nadere analyse blijkt dat dit item ook bij deze schaal geen positieve bijdrage levert aan de betrouwbaarheid stellen we voor dit item alsnog bij de module ‘Toetsing en beoordeling’ te laten staan. De betrouwbaarheid van deze schaal is ook dan nog voldoende hoog.

Tabel 68: Betrouwbaarheid module ‘Toetsing en beoordeling’

Duidelijkheid beoordelingscriteria Aansluiting toetsing en beoordeling Informatie resultaten en beoordelingen

Gemiddelde

Standaard Deviatie


3,44 3,54 3,26

0,97 0,90 1,04

0,67 0,65 0,82

De module ‘Studierooster’ heeft een alpha van 0,81 en is voldoende betrouwbaar (zie Tabel 69). De betrouwbaarheid neemt niet toe als één van de items wordt verwijderd.

Tabel 69: Betrouwbaarheid module ‘Studierooster’

Informatie roosters Informatie wijzigingen roosters Geschiktheid studierooster

Gemiddelde

Standaard Deviatie


3,30 3,05 3,34

1,20 1,12 1,02

0,74 0,70 0,79

De module ‘Studielast’ heeft een alpha van 0,82 en is voldoende betrouwbaar (zie Tabel 70). De betrouwbaarheid neemt niet toe als één van de items wordt verwijderd.


Tabel 70: Betrouwbaarheid module ‘Studielast’

Spreiding studielast Haalbaarheid deadlines Aansluiting ECTS bij studielast

Gemiddelde

Standaard Deviatie


3,27 3,47 3,24

0,95 0,89 0,91

0,75 0,75 0,76

De module ‘Studiebegeleiding’ heeft een alpha van 0,89 en is voldoende betrouwbaar (zie Tabel 71). De betrouwbaarheid neemt niet toe als één van de items wordt verwijderd.

Tabel 71: Betrouwbaarheid module ‘Studiebegeleiding’

Mogelijkheid tot begeleiding Kwaliteit begeleiding

Gemiddelde

Standaard Deviatie


3,71 3,63

0,91 0,93

0,79 0,79

De module ‘Onderwijsfaciliteiten’ heeft een alpha van 0,89 (zie Tabel 72). De betrouwbaarheid neemt niet toe als één van de items wordt verwijderd.

Tabel 72:

Betrouwbaarheid module ‘Onderwijsfaciliteiten’ Gemiddelde

Standaard Deviatie


Geschiktheid onderwijsruimten Geschiktheid werkplekken Beschikbaarheid werkplekken Opleidingsmateriaal Bibliotheek/mediatheek

3,64 3,59 3,21 3,72 3,84

0,96 1,02 1,15 0,79 0,92

0,87 0,87 0,87 0,87 0,88

ICT faciliteiten Digitale leeromgeving Informatiebalie Studentenadministratie

3,52 3,57 3,71 3,59

1,05 0,98 0,84 0,90

0,87 0,87 0,88 0,88

De module ‘Studieomgeving’ heeft een alpha van 0,71. Deze module heeft een relatief lage alpha, maar is nog voldoende betrouwbaar. De reden voor de lage alpha zou te wijten kunnen zijn aan het feit dat er in deze module een aantal verschillende onderwerpen aan bod komen die ook volgens de factoroplossing niet allemaal op dezelfde component laden (items over woonruimte laden bijvoorbeeld apart op een andere component).


Tabel 73:

Betrouwbaarheid module ‘Studieomgeving’ Gemiddelde

Standaard Deviatie


Bereikbaarheid instelling Restauratieve voorzieningen Sportvoorzieningen Horecavoorzieningen studiestad

4,09 3,70 3,12 4,10

0,82 0,97 1,23 0,84

0,69 0,67 0,69 0,67

Cultureel aanbod studiestad Hoeveelheid groen studiestad Beschikbaarheid woonruimte Betaalbaarheid woonruimte

4,00 3,69 3,01 2,79

0,88 0,94 1,16 1,20

0,67 0,67 0,67 0,69

De module ‘Betrokkenheid opleiding’ heeft een alpha van 0,89 en is voldoende betrouwbaar (zie Tabel 74). De betrouwbaarheid neemt niet toe als één van de items wordt verwijderd.

Tabel 74: Betrouwbaarheid module ‘Betrokkenheid opleiding’

Onderwijsevaluaties Informatie onderwijsevaluaties Gebruik onderwijsevaluaties Reactie klachten en problemen

Gemiddelde

Standaard Deviatie


3,51 3,16 3,15 3,21

0,89 1,03 0,99 1,05

0,89 0,86 0,84 0,88

Het item ‘Contact met medestudenten’ is de enige vraag van de module ‘Sfeer’. In de factoroplossing laadt dit item vooral op de component ‘Algemene vaardigheden’. Ook blijkt de correlatie tussen dit item en het algemene oordeel over de opleiding niet hoog (r=.32). Dit item staat los van de andere items in deze vragenlijst. Het is noch in het delphi-onderzoek noch in de live-pilot onder studenten als belangrijk item naar voren gekomen, maar is toegevoegd naar aanleiding van een verzoek uit de begeleidingsgroep. We stellen voor dit item te verwijderen.

Lengte van de vragenlijst Aan de studenten is gevraagd de vragenlijst in één keer in te vullen en niet tussendoor te pauzeren zodat er een indicatie kan worden gegeven van de lengte van de vragenlijst. Drie procent van de respondenten was langer dan een half uur met de vragenlijst bezig. We nemen aan dat deze studenten desondanks ons verzoek om niet te pauzeren alsnog de vragenlijst tijdelijk hebben verlaten en op een later moment hebben voortgezet. Deze respondenten zijn niet opgenomen in de analyse van de gemiddelde invultijd. De resterende 97 procent van de respondenten heeft gemiddeld minder dan acht minuten over de vragenlijst gedaan (M=7.54, SD=.74).

Evaluatie van de vragenlijst Aan het einde van de vragenlijst zijn aan de studenten nog een aantal evaluatieve vragen gesteld: Wat is je algemene indruk over deze vragenlijst? (1=zeer negatief, 5=zeer positief); Wat vind je van de lengte van de vragenlijst? (1=te kort, 2=precies goed, 3=te lang) Wat is je mening over de manier waarop de vragen zijn gesteld? (1=zeer onduidelijk, 5=zeer helder) Mis je belangrijke onderdelen die jij als student wel belangrijk vind en die niet in de vragenlijst voorkomen? (open vraag)


Uit de analyse van de aanvullende vragen blijkt dat de meeste studenten een positieve indruk hebben van de vragenlijst (M=3.61, SD=.71), dat zij de lengte precies goed vinden (M=2.27, SD=.45) en de vragen helder zijn (M=3.91, SD=.83). Op de vraag of belangrijke onderdelen in de NSE ontbreken, geeft een deel van de studenten aan behoefte te hebben aan een open vraag waarin ze opmerkingen kwijt kunnen.

9.3

Conclusie Uit de kwantitatieve validatie komt naar voren dat de structuur van de vragenlijst voor het grootste deel overeenkomt met de verwachtingen en een betrouwbare clustering mogelijk is. Op basis van deze analyses zijn de volgende mutaties aangebracht: het item ‘Argumenteren/ redeneren’ verplaatsen naar de module ‘Algemene vaardigheden’; de items ‘Internationale contacten/uitwisseling’ en ‘Contact met medestudenten’ verwijderen; toevoegen van een open vraag aan het einde waarin de studenten de mogelijkheid wordt geboden om wensen of voorstellen voor de verbetering van de opleiding te uiten. De vragenlijst is een valide en betrouwbaar meetinstrument dat door studenten positief is beoordeeld en ruim binnen de nagestreefde invultijd van tien minuten ligt. Dit biedt voldoende ruimte voor instellingen om eigen vragen toe te voegen.


10 Integratie STO-NSE

Bij de vernieuwing van de NSE 2010 lag onder andere de nadruk op het komen tot een integratie van STO en NSE. De NSE en het STO hebben beide tot doel ‘het verzamelen van meningen van studenten over de kwaliteit van het onderwijs en de instelling’. Het gebruik van deze gegevens en de doelstelling zijn verschillend voor beide onderzoeken. Het STO is opgezet als bundeling van bestaande onderzoeken van hogescholen met als doel gegevens te leveren voor interne kwaliteitszorg. De NSE heeft voor de Stichting Studiekeuze123 het primaire doel oordelen van studenten te verzamelen die van belang zijn in het studiekeuzeproces. Om de mogelijkheden voor een integratie van het STO in de NSE te verkennen zijn verschillen en overeenkomsten tussen het STO en de NSE in kaart gebracht. Bij de vergelijking van de vragenlijsten is gezocht naar overeenkomstige vragen en thema’s waarbij elke vraag werd ingedeeld in een van de volgende vier categorieën: goed (bij vrijwel exacte overeenkomst), redelijk (bij kleine afwijkingen in de formulering), thematisch (bij een thematische gelijkenis), en geen overeenkomst (bij afwezigheid van een overeenkomstige vraag). Uit de vergelijking van de twee vragenlijsten komt naar voren dat de NSE ongeveer drieënhalf keer langer is dan het STO. Het STO is kort gehouden om maximale ruimte over te houden voor toevoeging van hogeschoolspecifieke vragen. In het meerjarenprogramma heeft ook Studiekeuze123 onder de noemer ‘minder is meer’ besloten eveneens te willen komen tot een beperktere vragenlijst, waardoor ruimte voor toevoeging van vragen ontstaat. Tabel 75 vat de gedetailleerde vergelijking samen en laat zien dat bij ongeveer een kwart van de vragen in het STO een vrijwel equivalente vraag in de NSE voorkomt. Bij ongeveer 30 procent van de vragen is er een redelijk overeenkomst en bij ongeveer 20 procent stemmen vragen thematische overeen.

Tabel 75: Vergelijking STO en NSE Waardering/overeenkomst Goed Redelijk Thematisch Geen Totaal

Vanuit STO bekeken 24% 29% 22% 24% 100%

De vergelijking van het STO en de NSE laat zien dat vanwege grote overeenkomsten tussen beide instrumenten het mogelijk is het STO en de NSE in één nationale vragenlijst naar studentenoordelen te integreren. Een dergelijke integratie van STO en NSE kent voordelen. Ten eerste vermindert hierdoor de bevragingslast voor studenten omdat niet langer twee vragenlijsten met hetzelfde doel en een grote overlap parallel worden afgenomen. Dit heeft in het verleden ervoor gezorgd dat sommige hogescholen hebben besloten niet actief aan de NSE deel te nemen. Vanuit het gezichtspunt van de NSE zal integratie deelname bevorderen. Ook voor de hogescholen is het samengaan gunstig. Omdat de NSE centraal wordt afgenomen, vermindert hierdoor de administratieve last en de kosten voor de hogescholen. Daarnaast worden representatieve (gebaseerd op de hele studentenpopulatie) en jaarlijks geactualiseerde studentenoordelen op de website Studiekeuze123 getoond en komen data online beschikbaar.


10.1

Inhoud van de vragenlijst Gezien het doel om STO en NSE te integreren zijn initieel alle (hoofd)thema’s van het STO in de nieuwe NSE opgenomen. Deze zijn vervolgens door deskundigen beoordeeld op het belang ervan voor een gezamenlijk nationaal studententevredenheidsonderzoek. Uit de resultaten van het delphi-onderzoek bleek dat het grootste deel van de STO-thema’s en -vragen volgens de bevraagde deskundigen (waarvan een meerderheid verbonden is aan het hbo) relevant zijn voor de nieuwe NSE (zie hoofdstuk 7.3). Men beoordeelde een aantal (sub)thema’s ook als minder relevant. Deze zijn niet in de conceptvragenlijst van de nieuwe NSE opgenomen. Van de elf thema’s uit het STO 2009 zijn op basis van resultaten uit het delphi-onderzoek en de pilot onder studenten in eerste instantie tien thema’s opgenomen in de conceptvragenlijst van de NSE 2010. Het thema ‘Betrokkenheid van de instelling’, waarbij vragen over onderwijsevaluaties en het omgaan met klachten aan bod komen, vonden deskundigen vanuit verschillende instellingen minder belangrijk. Omdat een groot deel van deskundigen uit het hbo dit thema echter wel belangrijk vond (73,5%) en ook de leden van de begeleidingsgroep NSE de relevantie van dit thema nog eens extra onderstreepten, is het voor hbo-instellingen toegevoegd aan de basisvragenlijst. Op deze manier komen alle hoofdthema’s uit het STO ook in de nieuwe NSE aan bod. Een aantal subthema’s werd door het merendeel van de deskundigen als minder belangrijk beoordeeld. In totaal is op grond van deze resultaten ervoor gekozen zeven vragen uit het STO 2009 niet op te nemen in de basisvragenlijst van de NSE 2010. Een overzicht van de vragen die uit het STO wel en niet in de conceptvragenlijst van de nieuwe NSE zijn opgenomen is opgenomen in Bijlage C (grijsgearceerde vragen zijn niet opgenomen in de basisvragenlijst NSE, maar zijn optioneel). De NSE biedt instellingen of koepels de mogelijkheid om, indien gewenst, extra vragen op te nemen. Om hbo-instellingen de mogelijkheid te bieden alle vragen uit het STO 2009 ook in de komende jaren aan hun studenten voor te kunnen leggen, is een vraagmodule gemaakt waarin deze zeven vragen zijn opgenomen. Dit betekent dat de vragenlijst voor het hbo iets langer wordt. Uit de eerste pilot onder studenten bleek de lengte van de NSE (basisvragenlijst) ruim binnen de marge van tien minuten invultijd te vallen. Daarom is het qua invultijd verantwoord deze zeven vragen additioneel op te nemen.

10.2

Antwoordcategorieën Het STO 2009 en de NSE 2010 verschillen in de keuze van de antwoordschalen. De NSE 2009 verzamelde oordelen in de vorm van een rapportcijfer op een tienpuntschaal, terwijl het STO bestaat uit stellingen die beoordeeld moeten worden op een vijfpunt-Likertschaal die loopt van ‘zeer mee eens’ tot ‘zeer mee oneens’. Uit het onderzoek naar antwoordschalen blijkt dat de keuze voor een vijfpuntschaal de voorkeur verdient boven een tienpuntschaal gezien de vijfpuntschaal een minder scheve verdeling oplevert en beter aansluit bij internationale standaarden (zie hoofdstuk 8). Bij de keuze voor een vijfpuntschaal zijn twee opties mogelijk: (1) een neutrale vijfpuntschaal, of (2) een vijfpunt-Likertschaal. De laatste wordt gebruikt door het STO maar heeft het nadeel deze een normatief karakter heeft die een keuze voor een basisniveau impliceert. In het STO wordt gebruik gemaakt van stellingen waarin termen worden gehanteerd als ‘voldoende’ en ‘tevreden’. De vragen zijn daardoor niet neutraal geformuleerd en beperken de gemeten tevredenheid tot een onvoldoende/voldoende niveau. Dit heeft consequenties voor de interpretatie van de resultaten. Bij de initiële opzet van het STO zijn de voor- en nadelen van de keuze voor een normatief element in de formulering van de vraag besproken12. Destijds is opgemerkt dat de keuze om geen normatieve elementen in de vraag op te nemen het voordeel kent dat de vragen geheel neutraal geformuleerd zijn en daardoor geen sturend karakter hebben.

12 Verrijt, T. & Folmer, E. (2006). Advies landelijke vragenlijst studenttevredenheid. Hbo-raad.


Als nadeel noemt men dat een neutrale vraag doorgaans vraagt om wisselende antwoordschalen. Dit vraagt van de respondent voorturend schakelen. Dit kan leiden tot interpretatiekwesties. Het kiezen van uiteenlopende antwoordcategorieën heeft ook beperkende gevolgen voor mogelijkheden van statistische analyses. Vergelijkingen tussen de resultaten van verschillende vragen of het construeren van samengevoegde variabelen is dan gecompliceerd. De hier genoemde kanttekeningen gelden niet voor de nieuwe NSE. Alle vragen naar oordelen in de NSE 2010 zijn zodanig geformuleerd dat maar één antwoordschaal gehanteerd wordt. Deze schaal loopt van ‘zeer ontevreden’ tot ‘zeer tevreden’. Het opnemen van kwalitatieve elementen in de vraag brengt het gevaar met zich mee dat de vraag normatief wordt. Het gebruik van vragen naar de mate waarin men vindt dat iets voldoende is ̶ zoals in het STO 2009 ̶ heeft als consequentie dat niet bepaald kan worden hoeveel respondenten het predicaat zeer tevreden zouden toekennen (zie kader hieronder voor een voorbeeld ter verduidelijking van deze argumentatie). Daarnaast is er in toenemende mate behoefte aan informatie over excellente opleidingen. De vraag naar transparantie in het Nederlandse hoger onderwijs is de laatste jaren sterk toegenomen. Instellingen hebben meer aandacht voor kwaliteitszorg en een grotere behoefte zich met andere instellingen te vergelijken. De kwaliteitszorg is daardoor niet alleen meer een instellingsinterne zaak, maar ook een middel voor benchmarking. Hierdoor is het predicaat ‘voldoende’ niet genuanceerd genoeg en is het wenselijk om aan te kunnen geven dat bepaalde opleidingen door studenten als zeer positief worden beoordeeld. Op grond van deze overwegingen is bij de ontwikkeling van de nieuwe NSE gekozen voor een neutrale vijfpuntschaal in plaats van een Likertschaal. Voorbeeld van items op de Likertschaal en de neutrale vijfpuntschaal In het STO wordt de vraag naar de tevredenheid over de sfeer op de opleiding als volgt verwoord: ‘Ik ben tevreden over de sfeer op de opleiding’ 1 (helemaal mee oneens) – 5 (helemaal mee eens) Een score van vijf op deze schaal betekent dat de student het helemaal eens is met de stelling (dus tevreden is). In de praktijk wordt dit vaak geïnterpreteerd als ware deze student ‘zeer tevreden’. Puur kijkend naar de formulering van de vraag zou het zelfs kunnen zijn dat een ‘zeer tevreden’ student hier de score ‘1’ geeft. Maar, over het algemeen ligt de bovengrens voor de interpretatie van deze vraag bij de norm ‘tevreden’ en wordt met deze formulering nooit ‘zeer tevreden’ gemeten. Daarnaast wordt in het STO niet altijd naar de tevredenheid gevraagd, maar soms ook naar een ‘voldoende’ niveau, zoals in de volgende vraag. ‘De opleiding sluit voldoende aan bij mijn vooropleiding’ 1 (helemaal mee oneens) – 5 (helemaal mee eens) Hier is de term ‘voldoende’ het feitelijke plafond. Bovendien vraagt het gebruik van deze verschillende normen voor beoordeling in één vragenlijst meer aandacht en schakelen bij de student. Daarnaast is het moeilijker om schalen te vormen op basis van vragen die verschillende normatieve ankers gebruiken. Op de voorgestelde neutrale vijfpuntschaal hebben alle vragen betrekking op nuances van tevredenheid. Bovengenoemde items worden in ons voorstel als volgt geformuleerd: ‘Hoe tevreden ben je over de sfeer op de opleiding?’ ‘Hoe tevreden ben je over de mate waarin de opleiding aansluit bij je vooropleiding?’ 1 (zeer ontevreden) – 5 (zeer tevreden) Een score van vijf betekent hier dat je zeer tevreden bent over (bijvoorbeeld) de sfeer op de opleiding en biedt daardoor de mogelijkheid wèl een onderscheid te maken tussen ‘tevreden’ en ‘zeer tevreden’.


Consequenties voor trendrapportages De keuze voor een neutrale vijfpuntschaal heeft consequenties voor trendrapportages gebaseerd op de resultaten van het STO uit eerdere jaren. De formulering van vragen is enigszins veranderd doordat normatieve elementen niet meer gebruikt worden en een aantal formuleringen is aangepast. Inhoudelijk is er nog steeds een grote overlap. Wat betreft de antwoordschaal, zo blijkt uit het hier gerapporteerde onderzoek, kunnen we concluderen dat de resultaten op de neutrale vijfpuntschaal amper verschillenen van de resultaten op de Likertschaal (zie hoofdstuk 8). Deze resultaten impliceren dat een wisseling naar een neutrale vijfpuntschaal voor trendrapportages van het STO geen groot probleem zou moeten vormen. Een belangrijk aandachtspunt voor trendrapportages van het STO is de interpretatie van de resultaten. Terwijl een score van ‘5’ in het STO betekent dat de studenten het er ‘helemaal mee eens’ zijn dat een bepaald aspect voldoende is (of dat zij hier tevreden over zijn), betekent een score van ‘5’ in de nieuwe NSE dat studenten hierover ‘zeer tevreden’ zijn. Aangezien uit het onderzoek naar antwoordschalen blijkt dat de antwoorden op de twee schalen amper van elkaar verschillen, is het mogelijk dat studenten die het helemaal eens zijn met de ‘voldoende’-norm impliciet aangeven ‘zeer tevreden’ te zijn. Hoewel dit op grond van de vraagstelling (semantiek) niet kan worden geconcludeerd, wordt een dergelijke conclusie in de praktijk wel vaak getrokken. Met het interpreteren van de resultaten dient men hiermee rekening te houden.


Bijlage A: Vragenlijst NSE 2010

1

Achtergrondkenmerken

V1.

Selecteer een taal: 1 2

V2.

Je bent een: 1 2

V3.

Nederlands English

Man Vrouw

Wat was je leeftijd op 1 oktober 2009? … jaar <16-80>

V4.

Wat voor soort opleiding volg je? (Geef je hoofdstudie aan) 1 2 3 4 5 6

V5.

Volg je deze opleiding in voltijd, deeltijd of duaal? 1 2 3

V6.

Voltijd Deeltijd Duaal

Volg je deze opleiding aan een universiteit of hogeschool? 1 2

V7.

Bachelor Master Associate Degree Post-initiële master Eindfase oude stijl <Einde vragenlijst: Slottekst 1> Voortgezette opleiding <Einde vragenlijst: Slottekst 1>

Hogeschool Universiteit

Aan welke hogeschool/universiteit volg je deze opleiding?

V8.

Wat is de naam van je opleiding?

V9.

Aan welke locatie van volg je deze opleiding?

V10.

Wanneer ben je aan deze opleiding begonnen? Datum (dag/maand/jaar): …


V11.

Met welk diploma ben je toegelaten tot je huidige opleiding? 1 2 3 4 5 6 7 8 9 10 11 12 13 14 98 99

Havo Vwo Mbo Hbo-propedeuse Hbo-einddiploma of hbo-bachelor Universiteit – propedeuse Universiteit – bachelor Universiteit – doctoraal examen Universiteit – master Buitenlandse vooropleiding voortgezet onderwijs Buitenlandse vooropleiding hoger onderwijs Colloquium doctum/toelatingsgesprek Op basis van eerder verworven competenties/werkervaring Op andere gronden, namelijk N.v.t. Weet niet

2

Algemene oordelen

V12.

Om te beginnen willen we je graag vragen hoe jij je studie in het algemeen beoordeelt. Geef alsjeblieft hieronder aan hoe tevreden je bent over: <1 t/m 5; 1=zeer ontevreden; 5=zeer tevreden; 6=N.v.t.> a

V13.

Je studie in het algemeen

De volgende vragen gaan over jouw algemene oordeel ten aanzien van een aantal deelaspecten van je studie. Geef alsjeblieft aan hoe tevreden je over het geheel genomen bent over de volgende aspecten van je studie: <1 t/m 5; 1=zeer ontevreden; 5=zeer tevreden; 6=N.v.t.> a b c d e f g h i j k l m n

De inhoud van de opleiding De verworven algemene vaardigheden binnen je opleiding De verworven wetenschappelijke vaardigheden binnen je opleiding De voorbereiding op de beroepsloopbaan De Docenten van de opleiding De informatie vanuit je opleiding De studiefaciliteiten van je opleiding Toetsing en beoordeling (bijv. criteria van beoordeling en vorm van toetsing) De studieroosters De studielast De studiebegeleiding De overige faciliteiten en de studieomgeving De algemene sfeer op je opleiding De mate waarin je betrokken wordt bij de verbetering van je opleiding

3

De inhoud van de opleiding

V14.

De volgende vragen gaan over de inhoud van je opleiding. Geef alsjeblieft aan hoe tevreden je bent over: <1 t/m 5; 1=zeer ontevreden; 5=zeer tevreden; 6=N.v.t.> a b c d e f g h i

Het niveau van je opleiding De aansluiting van je inhoud bij het beeld dat je van je opleiding had De aansluiting van je opleiding bij je vooropleiding De mate waarin de inhoud van je opleiding stimulerend is De aansluiting van de inhoud van je opleiding bij actuele ontwikkelingen De samenhang tussen de verschillende onderdelen van je opleiding De in jouw opleiding gehanteerde werkvormen De mogelijkheid die je opleiding je biedt om zelf de inhoud te bepalen De inhoudelijke kwaliteit van het studiemateriaal


4

Verworven algemene vaardigheden

V15.

De volgende vragen gaan over de algemene vaardigheden die je binnen je opleiding opdoet. Geef alsjeblieft aan hoe tevreden je bent over de mate waarin jou de volgende algemene vaardigheden worden aangeleerd: <1 t/m 5; 1=zeer ontevreden; 5=zeer tevreden; 6=N.v.t.> a b c d e f

Een kritische houding Het functioneren in een professionele context Probleemoplossende vermogens Het onderbouwen van conclusies Communicatieve vaardigheden (bijv. mondelinge presentaties, gespreksvoering) Het samenwerken met anderen

5

Verworven wetenschappelijke vaardigheden

V16.

De volgende vragen gaan over de wetenschappelijke vaardigheden die je binnen je opleiding opdoet. Geef alsjeblieft aan hoe tevreden je bent over de mate waarin jou de volgende wetenschappelijke vaardigheden worden aangeleerd: <1 t/m 5; 1=zeer ontevreden; 5=zeer tevreden; 6=N.v.t.> a b c d e f g

Analytisch denken Argumenteren/redeneren Het kritisch beoordelen van wetenschappelijk werk Het ontwikkelen van wetenschappelijke theorieën Het schrijven van wetenschappelijke artikelen Methoden en technieken van onderzoek Het doen van zelfstandig onderzoek

6

Voorbereiding op de beroepsloopbaan

V17.

De volgende vragen gaan over de voorbereiding op je beroepsloopbaan. Geef alsjeblieft aan hoe tevreden je bent over: <1 t/m 5; 1=zeer ontevreden; 5=zeer tevreden; 6=N.v.t.> a b c d e f

Het opdoen van vaardigheden voor de beroepspraktijk De praktijkgerichtheid van je opleiding Het contact met de beroepspraktijk (bijv. stages, gastsprekers) De kwaliteit van de stagebegeleiding vanuit je opleiding De gelegenheid die je opleiding je biedt voor internationale contacten en uitwisseling De aansluiting van de stages bij het overige onderwijs

7

De docenten aan de opleiding

V18.

De volgende vragen gaan over de docenten aan je opleiding. Geef alsjeblieft aan hoe tevreden je bent over: <1 t/m 5; 1=zeer ontevreden; 5=zeer tevreden; 6=N.v.t.> a b c d e f g h

De De De De De De De De

inhoudelijke deskundigheid van docenten didactische kwaliteit van docenten bereikbaarheid van docenten buiten contacturen betrokkenheid van de docenten bij de studenten kwaliteit van de begeleiding door docenten kwaliteit van feedback van docenten mate waarin docenten inspirerend zijn kennis van de docenten over de beroepspraktijk

8

Informatie vanuit de opleiding

V19.

De volgende vragen gaan over de informatie vanuit je opleiding. Geef alsjeblieft aan hoe tevreden je bent over: <1 t/m 5; 1=zeer ontevreden; 5=zeer tevreden; 6=N.v.t.> a b c

De voorlichting over je opleiding De informatie over jouw studievoortgang De informatie over regels en procedures


9

Studiefaciliteiten

V20.

De volgende vragen gaan over studiefaciliteiten. Geef alsjeblieft aan hoe tevreden je bent over: <1 t/m 5; 1=zeer ontevreden; 5=zeer tevreden; 6=N.v.t.> a b c d e f g h i

De geschiktheid van de onderwijsruimten De geschiktheid van werkplekken (bijv. computers, studieruimten) De beschikbaarheid van werkplekken Het opleidingsmateriaal De bibliotheek/mediatheek De ICT-faciliteiten De digitale leeromgeving De informatiebalie De studentenadministratie

10

Toetsing en beoordeling

V21.

De volgende vragen gaan over toetsing en beoordeling. Geef alsjeblieft aan hoe tevreden je bent over: <1 t/m 5; 1=zeer ontevreden; 5=zeer tevreden; 6=N.v.t.> a b c

De duidelijkheid van criteria waarop beoordeeld wordt De aansluiting van toetsing en beoordeling bij de inhoud van de opleiding Het tijdig bekend maken van resultaten en beoordelingen

11

Studieroosters

V22.

De volgende vragen gaan over studieroosters. Geef alsjeblieft aan hoe tevreden je bent over: <1 t/m 5; 1=zeer ontevreden; 5=zeer tevreden; 6=N.v.t.> a b c

Het tijdig bekendmaken van de roosters Het tijdig bekendmaken van wijzingen in de roosters De geschiktheid van het studierooster

12

Studielast

V23.

De volgende vragen gaan over de studielast. Geef alsjeblieft aan hoe tevreden je bent over: <1 t/m 5; 1=zeer ontevreden; 5=zeer tevreden; 6=N.v.t.> a b c

De spreiding van de studielast over het studiejaar De haalbaarheid van deadlines De aansluiting tussen ECTS en de daadwerkelijke studielast

13

Studiebegeleiding

V24.

De volgende vragen gaan over studiebegeleiding. Geef alsjeblieft aan hoe tevreden je bent over: <1 t/m 5; 1=zeer ontevreden; 5=zeer tevreden; 6=N.v.t.> a b

De mogelijkheid tot begeleiding De kwaliteit van begeleiding

14

Internationale studenten

V25.

De volgende vragen zijn specifiek voor internationale studenten. Geef alsjeblieft aan hoe tevreden je bent over: <1 t/m 5; 1=zeer ontevreden; 5=zeer tevreden; 6=N.v.t.> a b

De geboden hulp door je opleiding (bijv. bij inschrijving, huisvesting, visa e.d.) Het aanbod aan Engelstalige vakken


15

Overige faciliteiten en studieomgeving

V26.

De volgende vragen gaan over de overige faciliteiten van je instelling en de omgeving van je studie. Geef alsjeblieft aan hoe tevreden je bent over: <1 t/m 5; 1=zeer ontevreden; 5=zeer tevreden; 6=N.v.t.> a b c d e f g h

De bereikbaarheid van je instelling (openbaar vervoer e.d.) De restauratieve voorzieningen op je instelling De sportvoorzieningen op je instelling De horecavoorzieningen in je studiestad (kroegen, eetcafés, restaurants e.d.) Het cultureel aanbod van je studiestad (bioscopen, theaters, evenementen e.d.) De hoeveelheid groen in je studiestad (bijv. parken, natuurgebieden) De beschikbaarheid van woonruimte in je studiestad De betaalbaarheid van woonruimte in je studiestad

16

Betrokkenheid bij de instelling

V27.

De volgende vragen gaan over de betrokkenheid van je instelling. Geef alsjeblieft aan hoe tevreden je bent over: <1 t/m 5; 1=zeer ontevreden; 5=zeer tevreden; 6=N.v.t.> a b c d

Onderwijsevaluaties die onder studenten plaatsvinden Informatie over de uitkomsten van onderwijsevaluaties De wijze waarop je opleiding gebruik maakt van de uitkomsten van onderwijsevaluaties De manier waarop je opleiding op klachten en problemen reageert

17

Handicap en studie

V28.

De volgende vragen zijn specifiek voor studenten met een handicap. Heb je een handicap of functiebeperking die je belemmert bij het studeren, zoals een lichamelijke handicap, een chronische ziekte, dyslexie of een psychische klacht? 1 2 3

V29.

Wat voor type handicap of functiebeperking(en) heb je die je belemmeren bij het studeren? Meer antwoorden zijn mogelijk. <meerdere antwoorden mogelijk> 1 2 3 4 5 6 7 8 9 10 11 12 13

V30.

Ja Nee Deze vraag wil ik niet beantwoorden < naar V32>

Bewegingsbeperking Gezichtsbeperking Dyslexie of Dyscalculie Gehoorstoornis Spraakproblemen Energietekort Pijnklachten Chronische ziekte ADHD Concentratieproblemen Autisme Psychische problematiek Overig, namelijk …

Welke van deze handicaps is voor jou de belangrijkste? 1 2 3 4 5 6 7 8 9 10 11 12 13

Bewegingsbeperking (lopen, bukken, arm of handbewegingen) Gezichtsbeperking (ook normale bril of lenzen vallen hieronder) Dyslexie (moeite met lezen, spellen) of dyscalculie (moeite met rekenen) Gehoorstoornis (ook: moeite om een gesprek te volgen) Spraakproblemen (stotteren, moeilijk te verstaan) Energietekort (chronische vermoeidheid) Pijnklachten Chronische ziekte (zoals epilepsie, suikerziekte) ADHD Concentratieproblemen Autisme Psychische problematiek (zoals depressie en angsten) Overig, namelijk


V31.

Geef alsjeblieft aan hoe tevreden je bent over de volgende aspecten ten aanzien van studeren met een handicap aan je opleiding. <1 t/m 5; 1=zeer ontevreden; 5=zeer tevreden; 6=N.v.t.> a b c

d

e f g h i

V32.

Hoe is jouw woonsituatie? 1 2 3 4 5

V33.

De voorlichting en informatievoorziening over studeren met een handicap of beperking bij je opleiding? (hierbij bedoelen we brochures, studiegids, studentenstatuut, examenreglement, website) De opvang die je opleiding aan studenten met jouw handicap bij de start van hun studie biedt? De beschikbare hulpmiddelen en faciliteiten, voor zover je die nodig hebt? (we bedoelen hierbij rust- of werkruimtes, werkplekaanpassingen, extra verlichting, scanner, computeraanpassingen zoals spraak of braille, ringleiding) De geschiktheid van de gebouwen van je opleiding of instelling voor mensen met jouw handicap? (we bedoelen hierbij de toegankelijkheid en begaanbaarheid, bijvoorbeeld door drempels, liften, breedte van de deuren, aangepaste toiletten, ringleidingen enzovoorts) De aanpassingen in het onderwijs die je opleiding biedt? (we bedoelen hierbij aanpassingen aan het rooster, inleverdata, andere les- en tentamenvormen, alternatieve opdrachten, andere stagemogelijkheden) De mate waarin de docenten en overige medewerkers begrip voor jou hebben De mate waarin de docenten en overige medewerkers voldoende kennis van zaken hebben, zodat zij op een geschikte wijze met jouw handicap omgaan De mate waarin medestudenten begrip voor jou hebben De speciale begeleiding die je tijdens je studie krijgt? (hierbij bedoelen we begeleiding in de studievoortgang, steun voor aanpassingen aan studie en voorzieningen, stagebemiddeling e.d.)

Ik woon Ik woon Ik woon Ik woon Anders

bij mijn ouders in een studentenflat of studentenwoning van een studentenhuisvestingsorganisatie in een particulier studentenhuis in een eigen woning of appartement (koop of huur)

Welk maandelijks bedrag betaal je aan huur (inclusief servicekosten)? €...

18

Wensen/ideeën voor verbetering

V34.

Heb je nog wensen of ideeën voor de verbetering van je opleiding of heb je verder nog opmerkingen? 1 2

Nee Ja, namelijk

Slottekst 1:

Deze enquête is helaas niet op jouw situatie van toepassing. We danken je hartelijk voor je medewerking.

Slottekst 2:

Dit is het einde van deze vragenlijst. We danken je hartelijk voor het invullen van de Nationale Studentenenquête. Je kunt het scherm nu sluiten.


Bijlage B: Overige opmerkingen vragenlijst

Op verzoek van de opdrachtgever zijn op basis van reacties uit onder andere de begeleidingsgroep NSE de formuleringen van een aantal vragen aangepast. De opmerkingen zijn verwerkt in de vragenlijst. De verbetersuggesties zijn als volgt (bij niet verwerkte opmerkingen is deze beslissing kort toegelicht).

Recensent 1

Bij het STO is per stelling afgewogen of een toevoeging ‘van de opleiding’ in de stelling gepast is, het lijkt verstandig de NSE 2010 vragen op dit punt nog eens tegen het licht te houden. Bijvoorbeeld A8/V2g ‘De studiefaciliteiten van je opleiding’, terwijl daarna de overige faciliteiten de toevoeging niet draagt. Dat kan ook suggereren dat studiefaciliteiten die niet per se bij de opleiding horen, maar bij de faculteit/school/instelling onder overige zouden vallen. In eerste instantie gaat deze vraag ook over de studiefaciliteiten die bij je opleiding horen en niet over de studiefaciliteiten die in een heel ander deel van de universiteit/faculteit/school/instelling aangeboden worden waar de student nooit komt. Dit kan nogal verschillen. Misschien zijn de faciliteiten bij sociale wetenschappen kwalitatief beter dan bij bètawetenschappen. Hoe moet de student dit dan beoordelen? Volgens mij toch wel voor de faciliteiten die hij ook daadwerkelijk gebruikt, en dat zijn vooral deze die horen bij zijn opleiding.

Een soortgelijk punt geldt wat betreft de toevoeging ‘van je instelling’, bijvoorbeeld bij J3/V15b staat dit wel bij de restauratieve voorzieningen en niet bij de andere faciliteiten (dat laatste terecht), terwijl nota bene de restauratieve voorzieningen in veel gevallen door een extern bedrijf worden verzorgd. De keuze voor een extern bedrijf wordt in de meeste gevallen door de universiteiten gemaakt en zou bij ontevredenheid ook door hun aangepast kunnen worden. Om verwarringen te voorkomen heb ik ‘van je instelling’ verandert in ‘op je instelling’.

Door de geadviseerde antwoordschaal komt de constructie ‘de mate van …’ vaak voor. Deze constructie vergroot de leesbaarheid niet (integendeel) en daarom moet je kijken waar hij vermeden kan worden. Bijvoorbeeld B4/V3c zou kunnen zijn ‘De aansluiting van de opleiding bij je vooropleiding’ in plaats van ‘De mate waarin de opleiding aansluit bij je vooropleiding’. A10/V2j heeft het woord ‘ervaren’ toegevoegde waarde? Als studenten hun (on)tevredenheid over de studielast uitspreken gaat het sowieso over dat wat zij ervaren, dus die toevoeging kan wat mij betreft achterwege blijven. C2/V6c benoemd het contact met de arbeidsmarkt. Nu kan dit ook geïnterpreteerd worden als het semi-sollicitatieproces dat voorafgaat aan bijvoorbeeld stages. Bij de stage zelf en via gastsprekers is er daarentegen contact met de beroepspraktijk. D2/V7a gaat over de deskundigheid van docenten. Dat kan breed geïnterpreteerd worden als de complete deskundigheid, zowel op inhoudelijk als didactisch gebied. Aangezien er een aparte vraag is over de didactische kwaliteit, wordt hier natuurlijk alleen de inhoudelijke deskundigheid bedoeld. Benoem dit daarom expliciet.


Recensent 2 Kwalitatieve analyse

Arbeidsmarkt: met 'contact met praktijk en arbeidsmarkt' wordt bedoeld het contact met het professionele veld (en bij de medici hebben ze het dan bijvoorbeeld over de praktijk en niet de arbeidsmarkt denk ik). Het is dus gewoon één vraag. Onzinnig om dit te splitsen. Je zou het woord praktijk er eventueel uit kunnen laten. In het STO worden beide vragen opgenomen. Ik adviseer daarom deze ook voor de NSE te behouden.

Betrokkenheid: dit aspect is zoals gezegd heel belangrijk, het gaat om de betrokkenheid van de docent bij de studenten en het onderwijs. Onder bereikbaarheid versta ik meer de bereikbaarheid van de docent buiten de colleges! Wellicht dat je die laatste zo moet formuleren en er dan ook geen overlap meer is? De formulering: ‘De betrokkenheid van de docent bij de studenten en het onderwijs’ omvat twee aspecten en is daardoor in de voorgestelde formulering niet geschikt. Ik stel daarom voor de toevoeging: ‘…en het onderwijs’ achterwege te laten en in de pilot te kijken hoe consistent dit item binnen een opleiding beantwoord wordt. Op basis van de resultaten zal dan besloten worden of dit item opgenomen wordt in de uiteindelijke vragenlijst.

Inzet: De vraag over het aantal uur dat er per week besteed wordt aan de studie is een politiek/bestuurlijk belangrijke vraag en zou er dus in moeten blijven staan. Dit item gaat voorbij aan het doel van de NSE, namelijk de oordelen van studenten over hun opleiding te verzamelen. Ook uit het delphi-onderzoek blijkt dat de meerderheid van de deskundigen de items m.b.t. de tijdsbesteding van de student (waaronder de tijd die aan de studie wordt besteed) niet als belangrijk hebben bevonden (deze informatie kunnen instellingen wel verkrijgen uit ander onderzoek zoals de Studentenmonitor Hoger Onderwijs).

Studentenpanel

Onderwijsvoorzieningen: de studenten stellen terecht voor dat ook naar de geschiktheid van de werkplekken gekeken moet worden. Het is echter niet goed om dit in één vraag te verwoorden lijkt me. Nu weet je bij een matige beoordeling niet of dat er onvoldoende werkplekken zijn of dat ze niet geschikt zijn (of allebei)! Dan moet je er dus een aparte vraag aan toevoegen over de geschiktheid.

Studieroosters: ‘Spreiding van contacturen over de studieweek’ lijkt me geen goede vraag want kan nooit een doel zijn van je onderwijsorganisatie. Wellicht wil je juist contacturen aan het begin van de week in een bepaalde cursus omdat men daarna zelfstandig de tijd moet hebben om aan een opdracht te werken. Slechte suggestie dus. Mee eens, maar omdat de studenten vonden dat dit aspect wel belangrijk voor hen is, stel ik een alternatieve verwoording voor: ‘De efficiëntie van het studierooster’ (Dit komt ook dichter bij de verwoording die in het STO hiervoor gehanteerd wordt).

Studieomgeving: De hoeveelheid groen? En de straatverlichting dan? Of de bewegwijzering?? Eveneens onzinnig! Volgens de studenten wel belangrijk! Niet iedere student vindt alleen de musea en kroegen in de studiestad belangrijk voor een goede studieomgeving. Universiteiten die wereldwijd het hoogst scoren kennen veel groen in de omgeving (ook op de campus zelf). Bijvoorbeeld: Berkeley, Cambridge, Stanford, Yale.


Voor de rest deel ik je opmerking dat de suggesties van de studenten, ondanks de beperkte omvang van de groep, erg zinvol en terecht zijn.

Academische vaardigheden (afkomstig uit Wikipedia): De zeven opgenomen academische competenties zijn veelal algemenere vaardigheden. Wat maakt dat iemand academisch opgeleid is? Dan zijn deze drie vaardigheden de kern:

Analytisch denken: een systematische manier van denken, waarbij je vanuit specifieke gevallen naar meer algemene regels of een bepaald model toewerkt Argumenteren/redeneren: een bepaalde stelling ondersteunen of een vraag beantwoorden door middel van argumenten of een redenatie Interpreteren: onderzoeksmateriaal of de resultaten van een experiment op een systematische manier nader duiden en daar conclusies aan verbinden

Of je het dan in een artikel kunt gieten en kunt presenteren en dergelijke zijn dan meer algemene vaardigheden die hier niet in thuis horen. En subvragen f en g uit jullie lijst zijn al helemaal geen academische vaardigheden! Wellicht wel relevant, maar hier horen ze absoluut niet thuis. Mee eens: Subvragen f en g zijn verwijderd en de drie voorgestelde vaardigheden extra opgenomen (waarbij het item ‘interpreteren’ sterk overeenkomt met ‘kritisch beoordelen’ en in deze vraag al opgenomen is). Niet mee eens: De vier resterende vragen zijn concretere invullingen van de wat algemenere academische vaardigheden die hier worden toegevoegd, maar toch zijn dit belangrijke wetenschappelijke vaardigheden die hier wel thuis horen.

Recensent 3

Ik stel voor de sfeer vraag als het een hoofdonderwerp ook meteen te vragen bij de overkoepelende vragen in het begin. Dat geeft de mogelijkheid later wel subitems toe te voegen. In hbo-land werd uiteindelijk besloten namelijk alleen te benchmarken op de hoofdonderwerpen (alhoewel uiteindelijk iedereen nagenoeg de volledige vragenlijst afnam) en dan vult iedereen de hoofdvragen meteen ook in aan het begin van de vragenlijst zodat er als het ware geen reliëf kan ontstaan door de verzameling subvragen daarna. Steeds weer zijn de hoofdonderwerpen door de jaren heen dan hetzelfde, terwijl de subvragen wat kunnen variëren. Je vertelde deze week dat van de beslissingsregel word afgeweken door onderzoek of inhoudelijk redenen. Op grond van empirisch onderzoek kan besloten worden de vraag naar ‘medestudenten’ op te nemen. Dat kan ook op grond van inhoudelijke onderwijskundige redenen (zie ook ‘modernisering vragenlijst’): deze vraag past namelijk uitstekend bij zeer in zwang zijnde sociaal constructivistische onderwijsopvattingen! Of het (medestudenten) een hoofdcategorie is/zou moeten zijn c.q. onder sfeer moet vallen is de onderzoeksvraag. Dat pleit er juist op de vraag op te nemen in de grote studenten try-out omdat er dan tenminste ook onderzoek gedaan kan worden. Het delphi-onderzoek en de daarbij gehanteerde beslissingsregel representeren de wensen en meningen van de ene helft van de belangstellenden bij de NSE: de instellingen. De studenten zijn hierbij niet betrokken en gezien veel onderwerpen wegvallen die door de studenten wel belangrijk worden gevonden is besloten deze niet te laten vervallen. Het voorgestelde onderzoek is mij niet bekend, maar als hieruit blijkt dat deze subvraag voor studenten als zeer belangrijk wordt gevonden voor hun studiekeuze zou overwogen moeten worden dit aspect op te nemen. Ik stel voor dit item in de pilot op te nemen en na te gaan in hoeverre de sfeer op de opleiding bepaald wordt door het contact met medestudenten.


Recensent 4 Wat ik belangrijke punten vind in de vragenlijst zijn:

vraag over feedback docenten aan studenten Deze vraag is al opgenomen in de vragenlijst bij het thema ‘docenten aan de opleiding’, deelvraag f. effecten van studieloopbaanbegeleiding: hebben studenten er wat aan, krijgen ze bruikbare adviezen Bij het thema ‘Studiebegeleiding’ wordt naar de tevredenheid over de kwaliteit van de begeleiding gevraagd. Hierbij hoort ook de bruikbaarheid van de begeleiding.

hoe is het gesteld met hun keuzeruimte Bij het thema ‘inhoud van de opleiding’ gaat deelvraag h in op de keuzeruimte binnen de opleiding.

wat is hun studievoortgang (als een te gebruiken achtergrondvariabele voor aanvullende analyses) De studievoortgang gaat voorbij aan het doel van de NSE, namelijk de oordelen van studenten over hun opleiding te verzamelen. Bij belangstelling door de instellingen zou wel besloten kunnen worden dit item als achtergrondvariabele alsnog op te nemen. In het delphi-onderzoek is deze belangstelling echter niet naar voren gekomen.

docent en didactische vaardigheden, wat specifieker: wat is de rol van de docent in het leerproces van

de student De rol van de docent in het leerproces wordt in het thema ‘de docenten aan de opleiding’ gedetailleerd belicht. Hierbij wordt ingegaan op de inhoudelijke deskundigheid, de betrokkenheid, de didactische kwaliteit, de kwaliteit van de begeleiding, de feedback, en de mate waarin de docenten inspirerend zijn.


Bijlage C: Vergelijking STO2009-NSE2010

Nr.

Stelling STO 2009

Nr.

In hoeverre ben je het eens met de stelling:

Vraag NSE 2010 Hoe tevreden ben je over:

A0

Over het geheel genomen ben ik tevreden over de opleiding

V1a

Je studie in het algemeen

A1

Ik ben tevreden over de inhoud van de opleiding

V2a

De inhoud van je opleiding

A2

De opleiding is voldoende gericht op de beroepspraktijk

V2d

De voorbereiding op de beroepsloopbaan

A3

Ik ben tevreden over mijn docenten

V2e

De docenten aan je opleiding

A4

Ik ben tevreden over de wijze van toetsing en beoordeling

V2h

Toetsing en beoordeling (bijv. criteria van beoordeling en vorm van toetsing)

A5

Ik word voldoende geïnformeerd door de opleiding

V2f

De informatie vanuit je opleiding

A6

Ik ben tevreden over de roosters

V2i

De studieroosters

A7

Ik word voldoende betrokken bij de verbetering van de opleiding

V2n

De mate waarin je betrokken wordt bij de verbetering van je opleiding

A8

Ik ben tevreden over de studiefaciliteiten

V2g

De studiefaciliteiten van je opleiding

A9

Ik ben tevreden over de overige faciliteiten

V2l

De overige faciliteiten en de studieomgeving

A10

Ik ben tevreden over de studielast

V2j

De studielast

B1

De opleiding is van voldoende niveau

V3a

Het niveau van je opleiding

B2

De opleiding sluit voldoende aan bij actuele ontwikkelingen

V3e

De aansluiting van de inhoud van je opleiding bij actuele ontwikkelingen

B3

Er is voldoende samenhang in het onderwijsprogramma

V3f

De samenhang tussen de verschillende onderdelen van je opleiding

B4

De opleiding sluit voldoende aan bij mijn vooropleiding

V3c

De aansluiting van je opleiding bij je vooropleiding

B5

De opleiding biedt voldoende afwisseling in werkvormen

V3g

De in jouw opleiding gehanteerde werkvormen

B6

Het studiemateriaal is van voldoende inhoudelijke kwaliteit

Optioneel De inhoudelijke kwaliteit van het studiemateriaal

B7

De studieloopbaanbegeleiding ondersteunt mij voldoende in mijn studie

V13

De mogelijkheid tot begeleiding/ De kwaliteit van begeleiding

B8

Het programma biedt mij voldoende keuzemogelijkheden

V3h

De mogelijkheid die je opleiding je biedt om zelf de inhoud te bepalen

C1

De opleiding bereidt mij voldoende voor op de beroepspraktijk

V6a

Het opdoen van vaardigheden voor de beroepspraktijk

C2

Ik heb tijdens de opleiding voldoende contact met V6c de beroepspraktijk

Het contact met de beroepspraktijk (bijv. stages, gastsprekers)

C3

De opleiding is voldoende praktijkgericht

V6b

De praktijkgerichtheid van je opleiding

C4

Stages sluiten voldoende aan bij het overige onderwijs

Optioneel De aansluiting van de stages bij het overige onderwijs

D1

Mijn docenten zijn voldoende op de hoogte van de beroepspraktijk

Optioneel De kennis van de docenten over de beroepspraktijk

D2

Mijn docenten zijn inhoudelijk voldoende deskundig

V7a

D3

Mijn docenten hebben voldoende didactische kwa- V7b liteiten

De didactische kwaliteit van docenten

D4

Mijn docenten zijn in het algemeen voldoende bereikbaar

De bereikbaarheid van docenten


V7c

De inhoudelijke deskundigheid van docenten

Nr.

Stelling STO 2009

Nr.

In hoeverre ben je het eens met de stelling:

Vraag NSE 2010 Hoe tevreden ben je over:

E1

Vooraf wordt duidelijk aangegeven waarop ik beoordeeld word

V10a

De duidelijkheid van de criteria waarop beoordeeld wordt

E2

De toetsing sluit voldoende aan op de doelstellingen van het onderwijs

V10b

De aansluiting van de toetsing en beoordeling bij de inhoud van de opleiding

E3

Mijn resultaten worden tijdig bekend gemaakt

V10c

Het tijdig bekend maken van resultaten en beoordelingen

F1

Ik word voldoende geïnformeerd over de inhoud van de opleiding

V8a

De voorlichting over je opleiding

F2

Ik word voldoende geïnformeerd over regels en procedures

Optioneel De beschikbaarheid van informatie over regels en procedures

F3

Ik word voldoende geïnformeerd over mijn studievoortgang

V8b

De beschikbaarheid van informatie over jouw studievoortgang

G1

Het lesrooster wordt tijdig bekend gemaakt

V11a

Het tijdig bekendmaken van de roosters

G2

Het rooster voor de toetsing wordt tijdig bekend gemaakt

V11a

Het tijdig bekendmaken van de roosters

G3

Roosterwijzigingen worden tijdig bekend gemaakt V11b

Het tijdig bekendmaken van wijzingen in de roosters

G4

Het lesrooster maakt het mij mogelijk mijn tijd efficiënt te besteden

V11c

De spreiding van contacturen over de studieweek

H1

Er vinden voldoende onderwijsevaluaties onder studenten plaats

V18a

Onderwijsevaluaties die onder studenten plaatsvinden

H2

Ik word voldoende geïnformeerd over de uitkomsten van onderwijsevaluaties

V18b

Informatie over de uitkomsten van onderwijsevaluaties

H3

De opleiding maakt voldoende gebruik van de uitkomsten van onderwijsevaluaties

V18c

De wijze waarop je opleiding gebruik maakt van de uitkomsten van onderwijsevaluaties

H4

De opleiding reageert adequaat op klachten en problemen

V18d

De manier waarop je opleiding op klachten en problemen reageert

I1

Ik ben tevreden over de bibliotheek/mediatheek

V9d

De bibliotheek/mediatheek

I2

Ik ben tevreden over de onderwijsruimten

V9a

De geschiktheid van de onderwijsruimten

I3

Ik ben tevreden over de ICT-voorzieningen

V9e

De ICT-faciliteiten

J1

Ik ben tevreden over de informatiebalie

Optioneel De informatiebalie

J2

Ik ben tevreden over de studentenadministratie

Optioneel De studentenadministratie

J3

Ik ben tevreden over de restauratieve voorzieningen

V15b

De restauratieve voorzieningen op je instelling

K1

De studielast is voldoende gespreid over het jaar

V12a

De spreiding van de studielast over het studiejaar

K2

De opleiding is te doen in de tijd die ervoor staat

V12b

De haalbaarheid van deadlines


Bijlage D: Overzicht tabellen en figuren

Figuur Figuur Figuur Figuur Figuur Figuur

1: 2: 3: 4: 5: 6:

Algeheel responsverloop NSE per week ............................................................................ 11 Respons per dag van de week ........................................................................................ 11 Resultaten NSE per cluster: totaal hoger onderwijs ........................................................... 47 Resultaten NSE per cluster: hbo en wo ............................................................................ 48 Voorbeeld instellingsrapportage ...................................................................................... 52 Verdeling van de antwoordschalen (%)............................................................................ 68

Overzicht 1: Berekening weegfactor .................................................................................................. 28 Overzicht 2: Modelspecificatie model 4 .............................................................................................. 34 Overzicht 3: Methode-effect ............................................................................................................. 35 Tabel Tabel Tabel Tabel Tabel Tabel Tabel Tabel Tabel Tabel Tabel Tabel Tabel Tabel Tabel Tabel

1: 2: 3: 4: 5: 6: 7: 8: 9: 10: 11: 12: 13: 14: 15: 16:

Tabel 17: Tabel 18: Tabel 19: Tabel Tabel Tabel Tabel

20: 21: 22: 23:

Tabel 24: Tabel 25: Tabel 26: Tabel 27:

Steekproefomvang van de unieke opleidingen instellingscombinaties .................................. 8 Overzicht elektronische mailings ........................................................................................ 9 Overzicht schriftelijke mailings ........................................................................................ 10 Respons per instelling .................................................................................................... 11 Multilevel-model effecten van incentives op totaaloordeel over de opleiding ........................ 14 Responsverschillen fase 1 en fase 2: type hoger onderwijs ................................................ 15 Responsverschillen fase 1 en fase 2: bekostiging .............................................................. 15 Responsverschillen fase 1 en fase 2: soort hoger onderwijs ............................................... 15 Responsverschillen fase 1 en fase 2: geslacht................................................................... 15 Responsverschillen fase 1 en fase 2: leeftijd ..................................................................... 16 Responsverschillen fase 1 en fase 2: studiejaar ................................................................ 16 Factoranalyse clusters studentoordelen ............................................................................ 18 Betrouwbaarheid clusters ............................................................................................... 19 Gemiddelde studentenoordeel over clusters en bijbehorende variabelen per jaar ................. 19 Verdeling personen binnen NSE en populatie naar geslacht, studiejaar en opleidingsvorm .... 21 Verdeling personen per groep binnen NSE en populatie naar soort hoger onderwijs, jaar en geslacht ................................................................................................................... 22 Grootte van intervallen van clusterscores naar opleidingsvorm ........................................... 23 Grootte van intervallen van clusterscores naar hoger onderwijs ......................................... 24 Marges naar opleiding en instellingen voor opleidingen die zijn opgenomen in de Studiekeuzedatabase ..................................................................................................... 25 Veranderingen in enquêtevragen per cluster .................................................................... 26 Aantallen records per jaar (basisbestand) ........................................................................ 29 Overzicht opname opleidingen op Studiekeuze123 ............................................................ 30 Overzicht opname opleidingen op Studiekeuze123 naar aantal opleidingen en opleidingskenmerken ..................................................................................................... 30 Overzicht opname opleidingen op Studiekeuze123 naar aantal studenten en opleidingskenmerken ..................................................................................................... 31 Overzicht opname opleidingen op Studiekeuze123 naar aantal studenten, type en jaar ........ 31 Responsaantallen van niet-opgenomen opleidingen .......................................................... 32 Lineaire regressie analyse (model 4) van studieoordeel Inhoud op enquêtemethode, studentenkenmerken en opleidingskenmerken en na correctie (model 3) ............................ 35


Tabel 28: Tabel 29: Tabel 30: Tabel 31: Tabel 32: Tabel 33: Tabel 34: Tabel 35: Tabel 36: Tabel Tabel Tabel Tabel Tabel Tabel Tabel Tabel Tabel Tabel Tabel Tabel Tabel Tabel Tabel Tabel Tabel Tabel Tabel Tabel Tabel Tabel Tabel Tabel Tabel Tabel Tabel Tabel Tabel Tabel Tabel Tabel Tabel

37: 38: 39: 40: 41: 42: 43: 44: 45: 46: 47: 48: 49: 50: 51: 52: 53: 54: 55: 56: 57: 58: 59: 60: 61: 62: 63: 64: 65: 66: 67: 68: 69:

Lineaire regressie analyse (model 4) van studieoordeel Keuze op enquêtemethode, studentenkenmerken en opleidingskenmerken.................................................................. 36 Lineaire regressie analyse (model 4) van studieoordeel Samenhang op enquêtemethode, studentenkenmerken en opleidingskenmerken.................................................................. 37 Lineaire regressie analyse (model 4) van studieoordeel Werkvormen op enquêtemethode, studentenkenmerken en opleidingskenmerken.................................................................. 38 Lineaire regressie analyse (model 4) van studieoordeel Loopbaan op enquêtemethode, studentenkenmerken en opleidingskenmerken.................................................................. 39 Lineaire regressie analyse (model 4) van studieoordeel Docenten op enquêtemethode, studentenkenmerken en opleidingskenmerken.................................................................. 40 Lineaire regressie analyse (model 4) van studieoordeel Communicatie op enquêtemethode, studentenkenmerken en opleidingskenmerken.................................................................. 41 Lineaire regressie analyse (model 4) van studieoordeel Studeerbaarheid op enquêtemethode, studentenkenmerken en opleidingskenmerken ....................................... 42 Lineaire regressie analyse (model 4) van studieoordeel Gebouwen op enquêtemethode, studentenkenmerken en opleidingskenmerken.................................................................. 43 Lineaire regressie analyse (model 4) van studieoordeel Faciliteiten op enquêtemethode, studentenkenmerken en opleidingskenmerken.................................................................. 44 Correctiefactoren berekend op basos van multilevel-analyse .............................................. 45 Totaal tevredenheidscore NSE......................................................................................... 49 Gemiddeld belang bij opname van hoofdthema’s in de NSE ............................................... 58 Belang bij opname van hoofdthema’s in de NSE, naar soort onderwijs (in %)...................... 59 Algemene oordelen ........................................................................................................ 60 Inhoud van de opleiding ................................................................................................. 60 Opgedane competenties ................................................................................................. 61 Voorbereiding beroepsloopbaan en stage binnen de studie ................................................ 61 Kwaliteit van de docenten............................................................................................... 62 Informatie vanuit opleiding ............................................................................................. 62 Toetsing en beoordeling ................................................................................................. 62 Onderwijsvoorzieningen ................................................................................................. 63 Start van de studie ........................................................................................................ 63 Sfeer/sociale omgeving .................................................................................................. 63 Studielast ...................................................................................................................... 64 Studiebegeleiding .......................................................................................................... 64 Internationale studenten ................................................................................................ 64 Studieroosters ............................................................................................................... 65 Overige faciliteiten en studieomgeving ............................................................................. 66 Academische competenties ............................................................................................. 66 Statistieken van de antwoordschalen ............................................................................... 69 Transformatie schema voor de verschillende antwoordschalen ........................................... 70 Factoroplossing voor de 13 basismodules ......................................................................... 78 Betrouwbaarheid van module ‘Algemeen oordeel’ ............................................................. 81 Betrouwbaarheid module ‘Inhoud van de opleiding’ .......................................................... 82 Betrouwbaarheid module ‘Algemene vaardigheden’ ........................................................... 82 Betrouwbaarheid module ‘Wetenschappelijke vaardigheden’ .............................................. 82 Betrouwbaarheid module ‘Voorbereiding beroepsloopbaan’ ................................................ 83 Betrouwbaarheid module ‘Docenten van de opleiding’ ....................................................... 83 Betrouwbaarheid module ‘Informatie vanuit de opleiding’ .................................................. 83 Betrouwbaarheid module ‘Studiefaciliteiten’ ...................................................................... 84 Betrouwbaarheid module ‘Toetsing en beoordeling’........................................................... 84 Betrouwbaarheid module ‘Studierooster’ .......................................................................... 84


Tabel Tabel Tabel Tabel Tabel Tabel

70: 71: 72: 73: 74: 75:

Betrouwbaarheid module ‘Studielast’ ............................................................................... 85 Betrouwbaarheid module ‘Studiebegeleiding’ .................................................................... 85 Betrouwbaarheid module ‘Onderwijsfaciliteiten’ ................................................................ 85 Betrouwbaarheid module ‘Studieomgeving’ ...................................................................... 86 Betrouwbaarheid module ‘Betrokkenheid opleiding’ ........................................................... 86 Vergelijking STO en NSE................................................................................................. 88


Nationale Studentenenquête 2009

Recommend Documents