Kwaliteit betekent nog geen kwantiteit
Onderzoek naar de relatie tussen kwaliteitsoordeel en instroom bij universitaire bacheloropleidingen
Eva de Haan, BSc Drs. José van Zwieten
Maart 2013
© Bijcollege Rotterdam
010-7200222 I
[email protected] I www.bijcollege.nl
1. Inleiding Bijcollege wil via het doen van onderzoek een bijdrage leveren aan lerend Nederland. Het voorliggende onderzoek richt zich op studiekeuze. Internationaal worden rankings gepubliceerd van alle universiteiten, zoals de Times Higher Education World Ranking. Het doel van dit soort rankings is het objectiveren en communiceren van de kwaliteit van universiteiten. De Times Higher Education World Ranking geeft een algemene score voor een universiteit, maar laat geen verschillen tussen opleidingen binnen een universiteit zien. In Nederland worden ook ranglijsten van universiteiten gepubliceerd. Deze geven niet alleen een algemeen oordeel per universiteit, maar ook een oordeel per opleiding. Hierdoor is het mogelijk om als aanstaand student te zien aan welke universiteit de opleiding van je keuze het best wordt gewaardeerd. Voorbeelden van dit soort ranglijsten zijn de Keuzegids Hoger Onderwijs en de ranglijsten van weekblad Elsevier. Zij brengen beiden jaarlijks een ranglijst uit van opleidingen in het hoger onderwijs. De Keuzegids baseert zich onder andere op gegevens van de Nationale Studenten Enquête (NSE). In het meest recente NSE onderzoek deden meer dan een half miljoen respondenten mee. De doelstelling van het door Bijcollege uitgevoerde onderzoek is te onderzoeken of het kwaliteitsoordeel over een opleiding van invloed is op de instroom van nieuwe studenten. Kijken naar de feitelijke instroom is een objectieve manier van vaststellen of het kwaliteitsoordeel een bepalende factor bij de studiekeuze van studenten is, en of wat studenten zeggen (on)belangrijk te vinden strookt met het cijfermatige bewijs. In voorliggend onderzoek is middels bestaande datasets van het CROHO en de NSE geanalyseerd wat het verband is tussen het gepubliceerde (NSE) oordeel over een opleiding en de instroom bij deze opleiding in het opvolgende jaar. Hieruit blijkt dat er een zeer kleine relatie bestaat tussen het studentoordeel en een verandering in instroom. Ook is de relatie tussen het NSE oordeel en de groei van opleidingen onderzocht. Deze tweede analyse dient als een extra controle op de eerste analyse. Deze rapportage is een beknopte weergave van het onderzoek, de onderzoeksmethodiek, resultaten en conclusies.
2
2. Achtergrond en hypothese Over studiekeuze is veel geschreven. Het thema krijgt de laatste tijd extra aandacht door aanpassingen in de studiekostenregelingen. Studeren wordt aanzienlijk duurder voor studenten door het vervallen van de basisbeurs. Ook voor hoger onderwijsinstellingen is uitval van studenten onwenselijk: dit is niet goed voor hun resultaten en levert minder bekostiging op. Switchen is voor alle betrokken partijen ongunstig. De kosten van studieswitchen zijn in 2007 door de Nationale DenkTank1 ingeschat op € 7 miljard euro. Switchen ook heeft negatieve invloed op rendementscijfers van onderwijsinstellingen en doet afbreuk aan het zelfvertrouwen van de student. Over studieswitchen zijn verschillende cijfers voorhanden. Volgens de Startmonitor, uitgevoerd door ResearchNed (2009), studeert 24% van de studenten in het hbo en wo na 1 jaar niet meer aan de eerst gekozen opleiding. Kennis in Kaart (2009), een onderzoek van het ministerie van OCW, laat vergelijkbare cijfers zien. Naast de redenen voor het verkeerd kiezen van een opleiding, kan uitval ook veroorzaakt worden door het verkeerd kiezen van een instelling. Het kiezen van de juiste opleiding aan de juiste instelling is dus van groot belang voor aankomend studenten. Over het kiezen van de juiste studie, en in het bijzonder keuze voor een instelling, zijn verschillende onderzoeken beschikbaar. Zo blijkt uit een onderzoek van ResearchNed (2009) dat er door studenten veel belang gehecht wordt aan reputatie, reisafstand en sfeer op een instelling. Aan ranglijsten wordt weinig belang gehecht. Dit is opmerkelijk, aangezien ranglijsten objectieve informatie geven over de kwaliteit en studeerbaarheid van een opleiding. Bijcollege wil onderzoeken of het klopt dat studenten weinig belang hechten aan ranglijsten, door te onderzoeken of de eerdere resultaten van ResearchNed (2009) cijfermatig te staven zijn. De gestelde onderzoeksvraag is: ‘In welke mate heeft een kwaliteitsoordeel over universiteiten invloed op de studiekeuze van studenten?’ De hypothese die wij stellen is dat ranglijsten beperkt invloed hebben op de studiekeuze van studenten. Uit eerder onderzoek van ResearchNed (2009) is namelijk gebleken dat studenten ranglijsten als minst belangrijke factor in het maken van een instellingskeuze waarderen.
3
3. Methode Dit onderzoek heeft het verband onderzocht tussen studentenoordelen in de Nationale Studenten Enquête en de instroom bij bacheloropleidingen aan universiteiten. De onderzoeksgegevens zijn verkregen via de database van de NSE (studentoordelen) en het CROHO register (instroomgegevens). De gegevens van de NSE zijn uit 2010. De instroomgegevens van zowel 2010 als 2011 zijn opgenomen in de database. Dit is gedaan zodat het mogelijk is om groeicijfers te berekenen. In de database zijn 269 bacheloropleidingen opgenomen. Bacheloropleidingen met een instroom kleiner dan 5 studenten in 2011 zijn uit de analyse verwijderd. Dit is gedaan omdat de betrouwbaarheid van deze gegevens, bijvoorbeeld bij het berekenen van groei, te klein is. Onmogelijke waardes van 0 of 1 zijn ook niet in de berekening meegenomen. Ook zijn alle opleidingen die maar aan 1 universiteit worden gegeven verwijderd. In totaal zijn 252 bacheloropleidingen in dit onderzoek meegenomen. Als kwaliteitsoordeel is het gemiddelde algemene cijfer dat studenten aan hun opleiding toekennen in de NSE gebruikt. Dit kwaliteitsoordeel geven studenten op de vraag ‘'wat vind je van je studie in het algemeen?'. Aan de hand van deze oordelen is een rangorde binnen opleidingen opgesteld. Deze rangorde is gemaakt omdat de absolute verschillen tussen de NSE oordelen klein zijn, en het moeilijk is om hier een resultaat of patroon in te vinden. Dit wordt betrouwbaarder gemaakt door het gebruik van rangen, waarbij duidelijk gezien kan worden welke opleiding het beste wordt gewaardeerd, en welke het slechtst. Dit is ook de wijze waarop de oordelen gebruikt zullen worden door (aanstaande) studenten: zij kijken hoe hoog een universiteit in de lijst staat. Ten behoeve van de methodologie is er voor gekozen om ook de instroomcijfers in rangen om te zetten. Dit betekent dat bijvoorbeeld bij de opleiding Psychologie de grootste opleiding een 1 krijg en de kleinste opleiding 7 krijgt, omdat er in totaal zeven psychologieopleidingen zijn. Dit houdt in dat de Rijksuniversiteit Groningen een 1 krijgt dn de Universiteit Twente een 7 krijgt. Er is een analyse gedaan met de volgende variabelen: Opleidingsnaam, CROHO nummer, absolute instroom 2010, absolute instroom 2011, absoluut NSE oordeel, groei instroom 2010 – 2011, rang NSE, rang instroom, rang groei instroom. De eerste twee variabelen, naam en CROHO nummer, dienen als identificatie in de dataset. De instroomvariabelen dienen voor het berekenen van de instroomgroei en het bepalen van de rangen. Er is een correlatie berekend tussen de rangscores van de instroom en de rangscores van de NSE oordelen. Dit is gedaan met Kendall’s tau. Dit is de meest conservatieve techniek bij het gebruik van rangen, en ook geschikter voor tied ranks dan andere correlatietechnieken. Om deze twee redenen is het gebruik van Kendall’s tau het meest passend bij de huidige onderzoeksvraag. Als follow up is een analyse gedaan van de groei van de opleiding. Dit is gedaan omdat er op de instroom in een opleiding ook andere factoren van invloed zijn, zoals ligging van de universiteit en reputatie van de studentenstad. De groei van de opleiding ten opzichte van het voorgaande jaar geeft dan een beter beeld. Deze analyse laat zien of het oordeel een aanzuigend of afstotend effect heeft op de instroom. De gepubliceerde cijfers van het NSE kunnen een verandering teweeg brengen in het keuzegedrag van studenten. Deze is zichtbaar in de verandering ten opzichte van het voorgaande jaar.
4
4. Resultaten De volgende variabelen zijn opgenomen in de analyse:
CROHO cijfer (kwantitatief, nominaal) Naam instelling/opleiding (kwalitatief) Instroom 2010 (afhankelijk, kwantitatief, ratio) Instroom 2011 (afhankelijk, kwantitatief, ratio) Rang instroom (afhankelijk, kwantitatief, nominaal) Studentenoordeel NSE (onafhankelijk, kwantitatief, nominaal) Rang oordeel (onafhankelijk kwantitatief, nominaal)
Uit de analyse blijkt dat er een correlatie is van 0.155 tussen het NSE oordeel en de instroom. Deze is significant, zie tabel 1. Deze significantie wordt vooral veroorzaakt door de grote steekproef van 252 opleidingen. Tabel 1. Correlatie NSE en instroom Correlatie Coefficient NSE <-> rang instroom
0.155
Sig. (2-zijdig)
0.003
N
252
Aangezien de onderzoeksgegevens afkomstig zijn uit een bestaand bestand van instroomcijfers van alle bacheloropleidingen, kan er gesproken worden van representativiteit van het sample. Ook de NSE cijfers zijn gepubliceerd voor alle opleidingen, dus ook hier is sprake van representativiteit. Aangezien het sample alle bacheloropleidingen bevat is generalisatie niet nodig, die steekproef is immers gelijk aan de populatie. Er is dus sprake van een betrouwbaar resultaat. Wel moet opgemerkt worden dat de gebruikte analysetechniek, een correlatie, geen oorzakelijk verband aangeeft. Er kan dus niet causaal vastgesteld worden of de oordelen leiden tot een verandering in instroom.
In de groei analyse is er eerst berekend wat de groei of krimp is van het aantal studenten dat zich in 2011 bij een opleiding heeft ingeschreven ten opzichte van het aantal studenten in 2010. Vervolgens zijn deze cijfers omgezet in rangscores, waarbij een score van 1 betekent dat de opleiding het meest gegroeid is in 2011 ten opzichte van gelijke opleidingen aan andere instellingen. Ook hier is een correlatie berekend, namelijk tussen het NSE oordeel en de groei van instroom. Het resultaat wordt hieronder weergegeven in tabel 2. Tabel 2. Correlatie NSE en groei van instroom Correlatie Coefficient NSE <->rang groei instroom
0.111
Sig. (2-zijdig)
0.034
N
252
5
5. Conclusie en discussie
Uit de resultaten valt op te maken dat er een correlatie van 0.155 gevonden is tussen het NSE oordeel en instroomcijfers. Deze correlatie mag als klein bestempeld worden. De verklaarde variantie is slechts 2.4%. Dit betekent dat de verschillen in instroom tussen universiteiten voor 2.4% verklaard kunnen worden door het NSE oordeel. Dit is zeer weinig verklaarde variantie. Deze kleine variantie betekent dat de keuze van een universiteit voor een verwaarloosbaar deel verklaard wordt door het oordeel van de NSE. Dit gegeven laat zien dat de statistische significantie waarschijnlijk door de grote N van 252 verklaard wordt, in plaats van door een effect van NSE oordeel op instroom. Wanneer de relatie tussen het NSE oordeel en de groei van een opleiding wordt bekeken, is deze correlatie nog kleiner, namelijk 0.111. Dit leidt tot een verklaarde variantie van 1.2%.Het berekenen van de groei is een eerlijkere meting dan alleen instroom, omdat er externe factoren van invloed zijn op de instroom zoals de ligging van de universiteit. Er valt te concluderen dat de relatie tussen het NSE oordeel en de groei in instroom van studenten zeer beperkt is. Dit leidt tot de stelling dat eerder onderzoek, waaruit bleek dat studenten de ranglijsten niet belangrijk vonden bij hun studiekeuze, inderdaad ondersteund wordt door de instroomcijfers. Andere factoren zijn van grotere invloed bij de keuze voor een bepaalde universiteit. Uit het onderzoek van Researchned (2009) naar studiekeuze bleek dat studenten vooral reputatie (van horen zeggen), reisafstand en sfeer als belangrijke factoren bij instellingskeuze waarderen. Of deze door studenten aangegeven motieven kloppen met (groei van) instroom zou in vervolgonderzoek onderzocht kunnen worden. Deze conclusie betekent niet dat het publiceren van de studentoordelen en het maken van ranglijsten nutteloos is. Ranglijsten hebben naast het informeren van studenten namelijk nog een functie; het scherp houden van onderwijsinstellingen. Besturen van onderwijsinstellingen hechten veel waarde aan de reputatie en marktpositie van hun instelling. Wanneer een opleiding bijvoorbeeld wordt beoordeeld als ‘Topopleiding’ door de Keuzegids, wordt daar veel waarde aan gehecht door de universiteit. Dit zorgt ervoor dat andere universiteiten deze status ook nastreven, wat een gezonde competitie tussen instellingen teweeg brengt. Universiteiten willen niet te boek staan als de slechtste instelling waaraan een bepaalde studie gevolgd kan worden. Dit motiveert instellingen tot kwaliteitsbewaking en -verbetering.
6
Over Bijcollege Bijcollege ondersteunt scholen in hun ambities om vernieuwend onderwijs aan te bieden. Naast studiekeuze organiseert Bijcollege ook projecten op andere thema’s zoals onderwijskwaliteit, ondernemerschap of persoonlijke effectiviteit. Doel is daarbij altijd om leerlingen een stap verder te helpen met het ontwikkelen van talenten. Bijcollege is voor verschillende universiteiten actief op het gebied van studiekeuzebegeleiding. Ook wordt door Bijcollege momenteel het Studiestartlicht ontwikkelt. Dit is een online tool die studiekiezers advies geeft over hun geschiktheid voor een bepaalde opleiding. Bijcollege B.V. Struisenburgstraat 42 3063 BR Rotterdam T: 010 72 00 222 E:
[email protected] I: www.bijcollege.nl
7
Bronnen CROHO register: www.duo.nl De Nationale DenkTank (2007). Succes op school!. Amsterdam: Stichting De Nationale DenkTank. Ministerie van OC&W (2009). Kennis in Kaart. Den Haag: Ministerie van Onderwijs, Cultuur en Wetenschap. Nationale Studenten Enquête http://www.nse.nl/ ResearchNed (2009). Studiekeuze en studiesucces. Nijmegen: ResearchNed. Qompas (2011). Qompas studiekeuze 2010-2011, Effectiviteitrapportage. Leiden: Qompas BV. www.studiekeuze123.nl Times Higher Education World Ranking: http://www.timeshighereducation.co.uk/world-universityrankings/
8
