Een second opinion van de methode waarop het CHOICE-databestand wordt gebruikt Opdrachtgever: Science Guide
Dr Uulkje de Jong Drs Pjotr Koopman
September 2005
1
Inleiding
Al jaren worden er bij studenten enquêtes afgenomen over hun tevredenheid met het onderwijs, de voorzieningen en de docenten. Deze jaarlijkse database wordt in opdracht van het Ministerie van Onderwijs, Cultuur en Wetenschappen (OCW) vervaardigd door het Centrum Hoger Onderwijs Informatie (Choice) in Leiden. De informatie in de database vormt mede de basis voor de Keuzegids Hoger Onderwijs (uitgegeven bij EPN in Houten), het belangrijkste publieksproduct van Choice (Choice, 2004). Sinds enkele jaren worden de bestanden geaggregeerd op opleidingsniveau beschikbaar gesteld voor instellingen en andere belangstellenden. Voor instellingen zijn de uitkomsten van groot belang, omdat de media vaak uitvoerig aandacht besteden aan de uitkomsten. In het bijzonder de instellingen die er uit springen of die toch al veelvuldig in het nieuws zijn geweest worden eruit gelicht. Zo kan er een soort vicieuze cirkel ontstaan waarin eerst slecht nieuws wordt verspreid, waarna dit in de studentenoordelen gereflecteerd wordt, waarop slecht nieuws wordt verspreid etc. Hiermee is niet gezegd dat alle uitkomsten reflecties zijn van media-aandacht en geen relatie hebben met de werkelijkheid. Het probleem is dat er nog geen onderzoek is gedaan waarin de methodologie van het onderzoek naar studentenoordelen in Nederland wordt beoordeeld. Jaarlijks worden uitkomsten gepubliceerd en daarna wordt er snel weer overgeschakeld naar de activiteiten die aan de volgende jaarcyclus zijn verbonden. Ook is er geen extern onderzoeksbureau geweest dat de data aan een second opinion heeft onderworpen. De vraag die we willen beantwoorden in deze onderzoeksrapportage is Welke kenmerken van de studieomgeving zijn van invloed op het gemiddelde studentenoordeel per opleiding? Er zijn verschillende factoren die van invloed kunnen zijn op het studentenoordeel, zoals kenmerken van de opleiding en kenmerken van de instelling. In de database zijn hierover een aantal kenmerken opgenomen. We sommen hier niet alle variabelen op die in de database zijn opgeslagen, maar geven een eerste indicatie. Kenmerken van de opleiding, o.a.: percentage vrouwelijke studenten studietempo – rendement jaar waarin gegevens verzameld zijn Kenmerken van de instelling, o.a.: regio aantal opleidingen aantal studenten
2
Resultaten
De gegevens van de Nederlandse Studenten Enquête die de basis vormen voor de studentenoordelen die in de Keuzegids worden gebruikt, kunnen voor een veel beter doel worden gebruikt dan voor het vellen van een oordeel over de instelling waar men de opleiding volgt. Terecht worden er dit jaar geen sterretjes meer uitgedeeld aan de goed en de slechter scorende opleidingen. Terecht, omdat er geen enkele reden is om te veronderstellen dat alle verschillen die gevonden worden tussen opleidingen ook door verschillen in opleidingskwaliteit worden veroorzaakt. Het oordeel van studenten over hun opleiding wordt immers door een heleboel factoren beïnvloed, zoals hun eigen achtergronden, hun eigen studiesucces, de directe studieomgeving, het soort opleiding, de instelling en de regio. Over veel van deze factoren is ook informatie opgenomen in de database, maar tot nu toe is er geen gebruik gemaakt om te onderzoeken of en in welke mate deze factoren de tevredenheid van studenten meebepalen. Deze korte verkenning is een eerste poging na te gaan welke mogelijke verschillen er tussen groepen studenten bestaan in de tevredenheid over hun opleiding. De vraag of er als we rekeninghouden met deze factoren nog instellingsverschillen blijven bestaan, kunnen we wel met ja beantwoorden, maar het is een heel andere rangorde dan die de keurige rijtjes laten zien. Hebben wij dan “een beter rijtje”? Nee, wij zijn ons van onze beperkingen bewust en menen dat hiernaar uitgebreider onderzoek moet worden gedaan. Vertel me wie gij zijt en ik zal u zeggen hoe tevreden gij zijt We beginnen met een serie veronderstellingen te maken die we vervolgens zullen toelichten. Steeds wordt er aangegeven of er aanwijzingen zijn of de veronderstelling overeenkomt met de uitkomsten van de analyses. 1. wij van het WO...... 2. wij zijn geselecteerd 3. uit het westen alleen maar klaagzang 4. groot maakt onbemind 5. aan het begin van de tunnel 6. betere studenten zijn tevredener 7. vrouwen maken kwaliteit 8. de dwaallichtjes 9. CHOICE doet zijn best 10. stilzitten als je geschoren wordt Toelichting en uitkomsten van de veronderstellingen:
1
Wij van het wo...
Studenten van het wo hebben een gemiddeld een hogere intelligentie en een betere sociale achtergrond is gebleken uit eerdere onderzoeken naar studentenpopulaties. Uit ander onderzoek bleek dat zij ook een hoger gevoel van eigenwaarde hebben. Zij zullen daarom de oorzaken voor eventuele slechte studieresultaten minder snel toeschrijven aan de omgeving. We verwachten daarom dat wo-studenten tevredener zullen zijn dan hbo studenten. Het blijkt dat deze veronderstelling bij de meeste onderwerpen uitkomt. Alleen bij studeerbaarheid is de HBO-score iets hoger dan in het WO. Bij Zelf-leren-denken en bij voorbereiding loopbaan is het verschil niet groot. Grafiek 1: Gemiddelde studenten tevredenheid op 10 clusters en totaalscore Studentenoordeel (bron:CHOICE, 2005; eigen bewerking SCO) 7.8 7.6 7.4 7.2 7.0 6.8 6.6 6.4 6.2
de el or en o
en t ud
St e
ta al sc or To
de n Te vr e wo
rd en oo
en t ud
St
ee k th ed ia
M hbo
ee l
im te s
te rs
en
Le sr u
lo op in g
er ei d or b
co m pu
ba an
he id aa r ee rb
ud Vo
te oo s R
m en s ta
Te n rs En
lfL Ze
St
te n oc en D
er e
nD
en
ke n
g en ha n
Sa m
In ho
ud
6.0
2
Wij zijn geselecteerd
Studenten die geselecteerd zijn op basis van eigen prestaties hebben gevoel van uitverkoren te zijn. Dit uit zich in het gevoel van bijzonder te zijn, “niet van de straat”. Dit komt meer voor in sectoren waar studentenstops bestaan zoals in de sector taal en cultuur van het hbo en in de sector gezondheid bij het wo. Wij verwachten dat deze sectoren eruit springen in tevredenheid. De sector Kunst en Cultuur scoort in het hbo duidelijk het hoogst, maar in het wo scoort deze sector ook heel goed. Gezondheid in het wo scoort goed, maar er zijn sectoren die vergelijkbaar zijn. Dit zijn - naast de al genoemde Kunst en Cultuur - sectoren waarvoor eveneens speciale toelatingsvereisten gelden. Grafiek 2: Gemiddelde totaalscore Studentenoordeel naar sector voor hbo en wo (bron:CHOICE, 2005; eigen bewerking SCO)
studentenoordeel (overall-oordeel) naar sector en hbo-wo wo
Mean Gemiddeld overall-oordeel
7,20
hbo wo
7,10
7,00
6,90
6,80
6,70
6,60
Te n
ek
te
en
ni
ch
ac Ex
de
u
a ic
a ch
at
ts
rm
fo
In
ilie M
d
ei
ij
pp
ng
tie
ijf dr
Be
ur
aa M
en
tu
s Be
ur
tu
ul
C a ic
di
oe
pv
O
un m
om
en
en
dh
g
ra
on
ez
r Aa
G
ed G
en
n
C
ijs
ie om
ht ec
on Ec
R
te ns
Ku
w
en
er
al
Ta
nd O
sectorcode
Bindend studieadvies Een tweede vorm van selectie treedt op bij het bindend studieadvies. Opleidingen verschillen in de norm die gehanteerd wordt voor het BSA: van geen bsa tot meer dan 50 ects. Opleidingen met de strengste norm hebben de meest tevreden studenten. Maar er is geen sprake van een afnemende tevredenheid bij een minder strenge norm. De grote groep opleidingen die een norm hebben tussen 40 en 45 ects vertonen de minste tevredenheid. Opleidingen zonder norm komen bijna alleen voor in de sector kunst en cultuur. Eerder zagen we al dat hier de opleidingen met de hoogste tevredenheid te vinden zijn. Grafiek 3: Gemiddelde totaalscore Studentenoordeel naar norm BSA voor HBO (bron:CHOICE, 2005; eigen bewerking SCO)
studentenoordeel naar norm voor bindend studieadvies; hbo
7,05
Gemiddeld overall oordeel
7,00
6,95
6,90
6,85
6,80
6,75 geen
28-30
31-39
40-45
46-52
bindend studieadvies In het Wo is er geen effect te vinden van het wel of niet hanteren van een bindend studieadvies.
Grafiek 4: Gemiddelde totaalscore Studentenoordeel naar norm BSA voor HBO (bron:CHOICE, 2005; eigen bewerking SCO)
studentenoordeel (overall-oordeel) naar al of niet bindend studieadvies;wo
Gemiddeld overall-oordeel
8
6
4
2
0 nee
ja
bindend studieadvies
3
Uit het westen alleen maar klaagzang
Uit een aantal bevolkingsonderzoeken is naar voren gekomen dat in de grote steden in het westen, met name in Amsterdam, meer GGZ-problemen voorkomen dan in de rest van Nederland. Een verschijningsvorm hiervan is onzekerheid en gebrek aan zelfvertrouwen en problemen toeschrijven aan de “anderen”, de docenten, de opleiding, etc.. In het Hbo hebben opleidingen uit het Noord- en Zuid Holland minder tevreden studenten; in het Wo zijn de verschillen veel kleiner, maar scoort Noord Holland wel het laagst. Grafiek 5: Gemiddelde totaalscore Studentenoordeel naar Regio voor HBO en WO (bron:CHOICE, 2005; eigen bewerking SCO)
studentenoordeel (overall-oordeel) naar regio en hbo-wo wo
7,20
hbo wo
Gemiddeld overall-oordeel
7,10
7,00
6,90
6,80
6,70
6,60 noordholland
zuid holland
utrecht
mid-oost zeelandw.bra
regio10
o.brablimb
noordoost
4
Groot maakt onbemind
In een massale omgeving met veel studenten en veel opleidingen is het moeilijker een binding te ontwikkelen met de instelling dan in een overzichtelijke kleine instelling. Een gevolg hiervan is dat in een grote instelling een student veel eerder ontevreden is over allerlei zaken dan in een kleine instelling, want over een onbekende is gemakkelijker een negatief oordeel te geven dan over iemand die je kent en waarvan je weet dat ie ook maar zijn best doet. De grootte van de instelling in de vorm van aantal studenten en aantal opleidingen hangen negatief samen met tevredenheid. In het Hbo bestaat er een grote verscheidenheid aan instellingen qua grootte. In de grafiek is een duidelijke afname van de tevredenheid te zien naarmate de instelling groter is. In het Wo zijn er slechts twee categorieën instellingen, zonder een noemenswaardige samenhang met tevredenheid. Grafiek 6: Gemiddelde totaalscore Studentenoordeel naar aantal ingeschreven studenten voor HBO (bron:CHOICE, 2005; eigen bewerking SCO)
studentenoordeel (overall-oordeel) naar aantal ingeschreven studenten; hbo-wo wo
7,50
hbo wo
Gemiddeld overall-oordeel
7,40
7,30
7,20
7,10
7,00
6,90
6,80
0-800
801-1250
1251-2000
2001-10000
aantal ingeschreven studenten
10001-30300
Het aantal opleidingen laat eveneens een samenhang zien met tevredenheid, in het Hbo sterker dan in het Wo. Grafiek 7: Gemiddelde totaalscore Studentenoordeel naar aantal opleidingen voor HBO en WO (bron:CHOICE, 2005; eigen bewerking SCO)
studentenoordeel (overall-oordeel) naar aantal opleidingen en hbo-wo wo
7,50
hbo wo
Gemiddeld overall-oordeel
7,40
7,30
7,20
7,10
7,00
6,90
6,80
6,70 1
2-5
6-15
16-35
aantalopleidingenvt_52
36-54
5
Aan het begin van de tunnel
Studenten die uitvallen, stoppen vaak al snel in het studiejaar met een opleiding. De groep die na een half jaar nog studeert gaat een band aan met de opleiding en ontwikkelt loyaliteit aan de instelling. Aan het eind van de opleiding ontstaat het besef dat men niet voor altijd zal blijven en er ontstaat ruimte voor kritiek. In het Hbo zien we dat opleidingen waar veel eerstejaars zijn geïnterviewd een hogere tevredenheid vertonen dan opleidingen met een klein aandeel eerstejaars; in het Wo is er nauwelijks een verschil. (Grafiek 8)
Grafiek 8: Gemiddelde totaalscore Studentenoordeel naar Percentage Eerstejaars in de steekproef voor HBO en WO (bron:CHOICE, 2005; eigen bewerking SCO)
studentenoordeel (overall-oordeel) naar % 1e jaars respondenten; hbo-wo wo
7,20
hbo wo
Gemiddeld overall-oordeel
7,10
7,00
6,90
6,80
6,70 0-20%
21-40%
41-60%
Eerstejaars_5
61-80%
>80%
6
Betere studenten zijn tevredener
Uit onderzoek op individueel niveau bleek dat studenten die betere resultaten halen op een later moment meer tevreden zijn over hun opleiding. Als we deze uitkomst transformeren naar het niveau van de opleiding is het moeilijker een oorzaak-gevolg relatie te poneren, maar wel is het mogelijk de veronderstelling te onderzoeken dat opleidingen met een hoog percentage geslaagden na 5 jaar (HBO) of na 8 jaar (WO) gemiddeld een hogere tevredenheid scoren dan opleidingen met een klein aandeel geslaagden. In grafiek 9 is te zien dat deze veronderstelling niet opgaat in het WO, maar in het HBO wel. Opleidingen met een laag percentage geslaagden na 5 jaar blijven achter qua gemiddelde tevredenheid. Grafiek 9: Gemiddelde totaalscore Studentenoordeel naar Percentage geslaagden na 5 jaar voor HBO en na 8 jaar voor WO (bron:CHOICE, 2005; eigen bewerking SCO)
studentenoordeel (overall-oordeel) naar % geslaagden na 5 (hbo) of 8 (wo) jaar; hbo-wo wo
7,30
hbo wo
Gemiddeld overall-oordeel
7,20
7,10
7,00
6,90
6,80
6,70
6,60
6,50 5% 20%
21% 30%
31% 40%
41% 50%
51% 60%
pcgeslaagden
61% 70%
71% 95%
7
Vrouwen maken kwaliteit
Al vele jaren blijken vrouwen de betere studenten te zijn als het gaat om studietempo en slaagpercentages. Dit zou kunnen resulteren in een grotere tevredenheid bij opleidingen met een hoog percentage vrouwelijke studenten, want niet alleen vrouwen zien dat het goed gaat ook de mannelijke studenten profiteren van de goede uitstraling. Uit deze analyse blijkt dat in het HBO opleidingen met veel vrouwen iets tevredener studenten hebben, maar in opleidingen met (bijna) alleen maar mannen oordeelt men ook positief. In het WO is het verband omgekeerd: hoe groter het aandeel vrouwen in de studentenpopulatie hoe kleiner de tevredenheid.
Grafiek 10: Gemiddelde totaalscore Studentenoordeel naar Percentage vrouwen in de instroom voor HBO en WO (bron:CHOICE, 2005; eigen bewerking SCO)
studentenoordeel (overall-oordeel) naar % vrouwen in de voltijd instroom 2003; hbo-wo wo
7,20
Gemiddeld overall-oordeel
hbo wo
7,10
7,00
6,90
6,80
6,70 0%
1-15%
16-50%
%vrouw
51-80%
81-100%
8
De dwaallichtjes
Sommige opleidingen trekken bovenproportioneel veel studenten die al eens elders hun geluk hebben gezocht en het niet hebben gevonden, de zogenaamde dwaallichtjes. Het effect van een grotere groep dwaallichtjes zou kunnen zijn dat zij nog steeds geen zekerheid hebben over hun toekomstwensen en dit omzetten in een grotere onvrede met hun studieomgeving. Uit onze analyse is evenwel niet gebleken dat percentage studenten dat al eerder ingeschreven is geweest in het hoger onderwijs een effect heeft op de studenttevredenheid. Grafiek 11: Gemiddelde totaalscore Studentenoordeel naar Percentage studenten die tussentijds van instelling zijn veranderd voor HBO en WO (bron:CHOICE, 2005; eigen bewerking SCO)
studentenoordeel (overall-oordeel) naar % studenten die tussentijds van instelling zijn veranderd; hbo-wo wo hbo wo
Gemiddeld overall-oordeel
7,10
7,00
6,90
6,80
6,70 0-30%
31-50%
51-90%
Percentage studenten tussentijds van instelling veranderd
9
Choice doet zijn best
Het zou niet goed zijn als er geen ontwikkeling in de vraagstelling van de NSE zou zitten. Niettemin is dit altijd een heikele onderneming. In 2005 heeft CHOICE een deel van de vragenlijst aangepast en zo goed mogelijk de vergelijkbaarheid tussen de jaren geprobeerd te handhaven. In de database van 2005 zitten opleidingsresultaten verzameld in 2003, 2004 en 2005. Een enkele opleiding (3 HBO en 2 WO) heeft de oude resultaten uit 2002 gehouden, omdat er iets is misgegaan met de enquêtering. Als we de resultaten van de totaalscores uit de vier jaren naast elkaar zetten dan zien we een opmerkelijk verschil tussen HBO en WO. In 2005 is de gemiddelde Totaalscore in het Hbo veel lager dan in het WO. In de beschrijving van CHOICE lezen we dat er in 2005 een correctiefactor voor het WO is toegepast. Hoe zit dit nu precies? Is dit toch iets te royaal geweest? (Grafiek 12) Nader onderzoek hierna lijkt gewenst, want een andere verklaring kan zitten in de gebeurtenis-factor. Zijn er bepaalde gebeurtenissen in een bepaald jaar voorgevallen die van invloed kunnen zijn op de gemiddelde score in dat jaar. Hier gaan we verder op door in de volgende paragraaf. Grafiek 12: Gemiddelde totaalscore Studentenoordeel naar Jaar waarin geënquêteerd is; voor HBO en WO (bron:CHOICE, 2005; eigen bewerking SCO)
studentenoordeel (overall-oordeel) naar jaar enquete en hbowo wo
7,20
hbo
Mean Gemiddeld overall-oordeel
wo
7,10
7,00
6,90
6,80
2002
2003
2004
Jaar van enqueteren
2005
10
Stilzitten als je geschoren wordt
Een instelling kan in een bepaald jaar opeens overladen worden met negatieve publiciteit. Dit kan tot gevolg hebben dat studenten dit laten meewegen in hun oordeel over het onderwijs. Uitgangspunt is dat curriculum en voorzieningen van opleidingen van een instelling niet in één jaar heel erg veel kunnen veranderen. Indien blijkt dat er wel significante verschillen zijn tussen twee opeenvolgende jaren dan is er sprake van een media-effect. Het blijkt dat één instelling die afgelopen jaar veel negatieve publiciteit heeft gehad er een significant verschil is tussen de scores van opleidingen die in 2004 en in 2005 zijn geënquêteerd. Studenten lijken te worden beïnvloed door publiciteit in de media, waardoor het maar de vraag is of stilzitten nog wel de beste strategie is voor een instelling. In grafiek 13 zijn bovenin de grafiek de uitkomsten van instelling 23 weergeven en daaronder de scores van rest van de hbo-opleidingen (scores min 2, dus een score 7 staat afgebeeld als 5). Grafiek 13: Gemiddelde Scores Studentenoordeel naar Jaar waarin geënquêteerd is(2004 en 2005); voor instelling 23 en rest HBO (bron:CHOICE, 2005; eigen bewerking SCO) verschil 2004 en 2005 hbo instelling 23 en rest hbo 7.0
6.0
5.0
4.0
3.0
no or de el
Le
ud en te
sr u
im
te s
en s
or e
oo st 2004 hbo-rest
To ta al
2005
sc
R 2004
St
er sE
nT e
D
nt am
oc en
te n
n en ke nD er e Ze lfL
Sa
m
en ha ng
2.0
2005 hbo-rest
Tot Slot De CHOICE-database is uitgegroeid tot een set informatieve bestanden waarin een schat aan gegevens bijeen is gebracht. In deze verkenning van de CHOICE-database zijn alleen geaggregeerde gegevens opgenomen. Hierdoor is het onmogelijk een adequate analyse uit te voeren waarin naar het niveau van het kenmerk een bijpassende statistische toets wordt uitgevoerd. Dat wil zeggen dat veronderstellingen over invloeden van individuele kenmerken worden getoetst op individueel niveau en dat bij kenmerken van de omgeving rekening wordt gehouden met verschillen tussen de individuen binnen die omgeving. Wijzelf hebben in deze analyse ook
geen rekening gehouden met de clustering van opleidingen binnen vestigingen die bepaalde kenmerken gemeenschappelijk hebben en die weer de invloeden van kenmerken op een hoger niveau ongedaan kunnen maken. Wel laat deze beperkte analyse zien dat als wie meent dat de tevredenheid van studenten een belangrijk kenmerk is van onderwijskwaliteit niet zelf tevreden kan zijn met een oppervlakkige weergave van gemiddelde studentenoordelen per opleiding. De data zijn er! De Toekomst Het is niet mogelijk zonder onderzoeksgelden een uitgebreidere analyse te maken. In deze verkenning is alleen gerapporteerd over het totaaloordeel van studenten. Er kon zoals gezegd geen gebruik worden gemaakt van het oorspronkelijke databestand waarin de individuele antwoorden zijn opgeslagen. Het verdient nader onderzoek te kijken in hoeverre de gegevensverzameling voor de Studentenmonitor voor het Ministerie van OCW niet gecombineerd kan worden met de Nederlandse Studenten Enquête. Nu levert de Studentenmonitor ook voornamelijk rechte tellingen op en simpele bivariate samenhangen zonder enige probleemstelling. Het is zonde dat er in Nederland zoveel geld gestopt wordt in dataverzameling en zo weinig in het gebruik van de data om inzicht te krijgen in processen en veranderingen. De indeling die binnen de CHOICE-database wordt gemaakt in sectoren en clusters is veel informatiever en dichter op de werkelijkheid dan de oude Hoop-indeling.
