Proces- en resultaatevaluatie programma ‘Studiekeuzegesprekken: het werkt.’ – SKG 3 Wij weten het zeker, Radboud Universiteit Nijmegen OW 11.0415
Algemene beschrijving Doel: inzicht geven in de context en de opzet van de studiekeuzegesprekken Korte beschrijving project Doelgroepen De Radboud Universiteit heeft met specifieke doelgroepen studiekeuzegesprekken gevoerd: vwo-scholieren die blijkens een digitaal assessment, als risicostudent in termen van studiesucces kunnen worden aangemerkt; studenten met als vooropleiding een HBO-propedeuse voorafgegaan door HAVO of MBO vooraanmelders (met vooropleiding vwo of HBO-propedeuse voorafgegaan door HAVO of MBO) die zich na 1 juli 2010 hebben aangemeld. Arrangement Het arrangement bestaat uit vier onderdelen: een digitaal assessment een studiekeuzegesprek indien nodig extra studiekeuzebegeleiding indien nodig doorverwijzing 1. Digitaal assessment Op basis van het ontwikkelde materiaal van de eerste tranche projecten studiekeuzegesprekken en de resultaten van het onderzoek van Researchned is een digitaal assessment ontwikkeld. Op is van dit assessment wordt bepaald of een student tot een risicocategorie behoort en dus voor een gesprek kan worden uitgenodigd. 2. Studiekeuzegesprek Aanstaande studenten die behoren tot de doelgroep werden in de zomer van 2010 uitgenodigd voor een studiekeuzegesprek. Met de aanstaande studenten werd in de periode juni tot en met augustus een studiekeuzegesprek van 30-45 minuten gevoerd. Het gesprek werd gevoerd op basis van een van tevoren (digitaal) ingevulde assessment en met behulp van het in de pilot 2009 ontwikkelde gespreksformat. De gesprekken werden gevoerd door de studieadviseur van de betreffende opleiding of door, daarvoor speciaal getrainde, masterstudenten. De aanstaande studenten vulden na afloop van het gesprek een evaluatieformulier in. De gesprekken vonden plaats in juni/juli en eind augustus met de late aanmelders. 3. Indien nodig extra begeleiding Als de aanstaande student tijdens, of na dit gesprek twijfelde aan zijn studiekeuze, werd hij/zij verwezen naar het Informatiecentrum Bachelor/ Master van de Radboud Universiteit voor een studiekeuzetest met een nabespreking. Ook kon de student worden doorverwezen om zich, onder begeleiding, met behulp van studie- en beroepskeuze activiteiten van de instelling, verder te oriënteren. 4. Indien nodig doorverwijzing Tijdens het studiekeuzegesprek of na de extra geboden begeleiding kon het zijn dat een andere opleiding beter bij de student past. In dat geval, indien het een opleiding van de Radboud Universiteit betreft, was een gesprek met de studieadviseur van de betreffende opleiding mogelijk. Ook kon worden doorverwezen naar een hbo-instelling.
1
Op basis van het ontwikkelde materiaal van de eerste tranche projecten studiekeuzegesprekken en de resultaten van het onderzoek van Researchned is een digitaal assessment worden ontwikkeld. Op basis van dit assessment kon worden bepaald of een student tot een risicocategorie behoort en dus voor een gesprek kan worden uitgenodigd. Deelnemende opleidingen In het project werden bij 11 Bachelopleidingen studiekeuzegesprekken gevoerd Religiestudies Communicatie- en Informatiewetenschappen Romaanse talen en culturen Wiskunde Natuur- en Sterrenkunde Rechtsgeleerdheid Internationaal en Europees Recht Notarieel Recht Wijsbegeerte Bedrijfskunde Psychologie De resultaatbeschrijvingen in deze resultaat- en procesevaluatie hebben betrekking op de Bachelor Bedrijfskunde. Deze opleiding is geselecteerd in het kader van de cross-case analyse die door het Kohnstamm instituut wordt uitgevoerd. Controle groep en experimentele groep In het project is gewerkt met een controlegroep en een experimentele groep. De experimentele groep betreft de studenten die in 2010 op basis van het digitaal assessment als risicostudent werden aangemerkt en een studiekeuzegesprek hebben gehad. De controle groep betreft de studenten die in 2010 op basis van het digitaal assessment als risicostudent werden aangemerkt en geen studiekeuzegesprek hebben gehad 1. Projectnaam en onderwijsinstelling:
Wij weten het zeker, Radboud Universiteit Nijmegen 2. Op welke opleiding1 heeft deze vragenlijst betrekking:
Bachelor Bedrijfskunde 3. Is deze opleiding: 0 een hbo-opleiding
X een wo-opleiding 4. Zijn er specifieke toelatingseisen voor deze opleiding (bijvoorbeeld bepaalde profielen in het vo, of selectie van kandidaten door de opleiding)? 0 nee X ja, nl.: Alle profielen. Bij profiel Cultuur & Maatschappij moet daar Wiskunde A of B bij zitten 5. Welke outcomes2 wenst de opleiding te bereiken met dit arrangement? uitval na het eerste jaar van de onderzoeksgroep ten opzichte van de controlegroep is 5 procentpunten lager gemiddeld aantal EC-punten in het eerste jaar van de onderzoeksgroep ten opzichte van de controlegroep ligt 6 EC-punten hoger % dat na één jaar de propedeuse heeft behaald van de onderzoeksgroep ten opzichte van de controlegroep is 5 procentpunten hoger 1
Als aan het project meerdere opleidingen deelnemen, overleg dan met SURF welke opleiding voor de crosscase analyse is geselecteerd. 2 Een outcome is een bepaalde toestand of staat die u wilt bereiken.
2
-
% studenten met een negatief studieadvies in de onderzoeksgroep is lager dan in de controlegroep
6. Welke van de volgende onderdelen bevat het arrangement3, naast het studiekeuzegesprek zelf, nog meer (meerdere antwoorden mogelijk)? X uitnodiging aan kandidaat voor deelname aan studiekeuzegesprek (bv. brief, reminder) 0 vooraf schriftelijke informatie geven aan kandidaat (bv. over de opleiding) X feitelijke gegevens verzamelen over kandidaat (bv. aanmeldings- intakeformulier, cv) X informatie verzamelen over motivatie van kandidaat (bv. vragenlijst, eigen brief) X informatie verzamelen over capaciteiten kandidaat (bv. beroepskeuzetest) 0 intensieve kennismaking met onderwijs, sfeer en organisatie van opleiding (bv. meeloopdag, contact ouderejaars) 0 studieadvies geven aan kandidaat 0 waar nodig bijscholingsadvies geven aan kandidaat 0 aanbieden summercourse, bijscholing 0 follow up gesprek met kandidaat (vóór de poort) 0 festiviteiten X overige onderdelen nl.: Aanbod van studiekeuze- en loopbaanbegeleiding na het studiekeuzegesprek 7. Wie worden uitgenodigd voor een studiekeuzegesprek? 0 alle kandidaten 0 een aselecte steekproef onder alle kandidaten X een selecte steekproef bestaande uit kandidaten die een risicoprofiel hebben 8. Komen mogelijke deficiënties van de kandidaat aan bod in het studiekeuzegesprek? X nee 0 ja 9. In welke vorm wordt het studiekeuzegesprek gehouden (meerdere antwoorden mogelijk)? X individueel gesprek 0 groepsgesprek 0 driehoeksgesprek 0 anders, namelijk... 10. Door wie wordt het studiekeuzegesprek gevoerd vanuit de opleiding (meerdere antwoorden mogelijk)? 0 docenten X studieloopbaanadviseurs X ouderejaars studenten of alumni 0 anders, namelijk....
11. Hoe lang duurt een studiekeuzegesprek gemiddeld? 45 minuten 12. Worden rondom het tijdstip dat het studiekeuzegesprek plaatsvindt nog andere activiteiten georganiseerd voor de kandidaten die naar een gesprek komen, bv. kennismaking met onderwijs of een feest? X nee 0 ja
3
Met ‘arrangement’ bedoelen wij het geheel van activiteiten waaraan een kandidaat wordt onderworpen, gericht op het optimaliseren van de studiekeuze van de kandidaat.
3
Resultaatevaluatie Doel: inzicht geven in de effecten van het gekozen arrangement.
1.
Effectmeting: resultaten hebben alleen betrekking op Bedrijfskunde
Conform het Controlling Document worden per 1 maart 2011 geen resultaten opgeleverd over:
-
Gemiddeld aantal behaalde studiepunten (EC’s) Percentage uitvallers en omzwaaiers afgegeven preadviezen en/of BSA’s Variabele
Operationalisatie Indicatoren die worden gebruikt om de variabele meetbaar te maken
Effect van studiekeuzegesprekke n op studiesucces.
•
•
2.
Oordeel
Uitkomst Gemeten waarde van de indicator •
experimentele groep betreft de studenten die in 2010 op basis van het digitaal assessment als risicostudent werden aangemerkt en een studiekeuzegesprek hebben gehad.
--/+ + ++
Minimaal 1 maar liefst zoveel mogelijk van de drie volgende indicatoren: •
Effect van studiekeuzegesprekken op de instroom.
Benchmark • De controle groep betreft de studenten die in 2010 op basis van het digitaal assessment als risicostudent werden aangemerkt en geen studiekeuzegesprek hebben gehad
•
Gemiddeld aantal behaalde studiepunten (EC’s) Percentage afgegeven preadviezen en/of BSA’s Percentage uitvallers en omzwaaiers Percentage niet starters (=kandidaten die een studiekeuzege sprek gevoerd hebben maar die uiteindelijk afzien van de opleiding)
Controlegroep studenten die in juni 2009/2010 een kennismakingsgesprek hadden en na dit gesprek niet aan de opleiding zijn begonnen waarmee zij een gesprek hadden: 18,5%
Experimentele groep studenten die in juni 2010/2011 een kennismakingsgesprek hadden en na dit gesprek niet aan de opleiding zijn begonnen waarmee zij een gesprek hadden: 7,7 %
Oordeel: Dit was niet verwacht. Verschil kan komen door andere wijze van samenstellen doelgroep in 2009 en 2010.
Oordeel van deelnemers over nut
Studenten die een studiekeuzegesprek hebben gehad, vulden direct na afloop van het gesprek een evaluatieformulier in. Er hebben 34 studenten bij Bedrijfskunde een gesprek gehad: 30 studenten
4
vulden het evaluatieformulier in. De respons was dus 88,2%. De resultaten van deze evaluatie zijn voor de opleiding Bedrijfskunde als volgt: 97% van de studenten met een gesprek vond het gesprek zinvol 97% van de studenten met een gesprek vond het een goed idee dat de universiteit dit gesprek voerde 80% van de studenten met een gesprek heeft door het gesprek een beter beeld gekregen van de opleiding 90% van de studenten met een gesprek zegt dat de verwachtingen die zij ten aanzien van de opleiding hadden, klopten 97% van de studenten met een gesprek is, nu het gesprek geweest is, van plan om de opleiding te volgen
3.
Oordeel van gespreksvoerders over nut
Gespreksvoerders waren de studieadviseurs en zij ervaren de gesprekken als nuttig. Dit bleek tijdens de evaluatievergadering die in november 2010 is gehouden. Belangrijkste redenen voor het positieve oordeel zijn: persoonlijke aandacht leidt tot meer binding met de opleiding de opleiding heeft veel meer informatie over de aanstaande studenten door het digitaal assessment én het gesprek de opleiding heeft de mogelijkheid studenten op potentiële valkuilen in het eerste jaar te wijzen de opleiding heeft de potentiële risicostudenten beter in beeld
5
Procesevaluatie Doel: inzicht geven in hoe het arrangement heeft gefunctioneerd, wat goed is bevallen, wat verbeterd kan worden, alsmede de lessons learned en do’s & don’ts van het uitgevoerde arrangement.
Reflectie terug Gerealiseerd ontwerp
Het project is conform het ontwerp verlopen. Dit komt vooral door de zeer gedetailleerde projectbeschrijving in fasen met per fase de op te leveren resultaten.
Uitvoeringsproblemen
1.
De ontwikkeling van het digitaal assessment kon pas later gestart worden dan gepland in verband met de keuze voor het onderzoeksbureau. Ook de ontwikkeling bleek meer tijd te vergen. Dit heeft vooral tot een tijdelijke piekbelasting van de medewerkers bij de Dienst Studentenzaken geleid.
2.
Het uitnodigen en voeren van gesprekken met late aanmelders in augustus/ begin september is moeilijk in te plannen voor zowel de opleiding als studenten. Deze gesprekken zijn wel gevoerd.
Uitvoeringssuccessen
Risicoprofielen
Bijeffecten
Successen zijn (cijfers alleen Ba Bedrijfskunde): -
zeer hoge respons op het digitaal assessment (72,3%)
-
hoge opkomst bij de gesprekken (84,1%)
1.
De tevredenheid over het digitale assessment is groot. Het risicoprofiel kan nog beter worden ingeschat. Daarvoor geven studieadviseurs input. Bij de effectmeting na één jaar zal worden gekeken welke risicofactoren daadwerkelijk een goede voorspeller blijken te zijn.
2.
Opleidingen hebben de behoefte om in het assessment de risicofactoren per opleiding verschillend te laten wegen. Dit kan echter niet vanwege de experimentele onderzoeksopzet van het project
3.
Opleidingen geven aan dat naast het digitale assessment ook de inschatting van de studieadviseur een rol moet blijven spelen bij het bepalen of een student risicostudent is en dus moet worden uitgenodigd
Neveneffecten (pos.): -
antwoorden op digitaal assessment (van alle studenten) kunnen in de eerstejaars begeleiding gebruikt worden
-
enthousiasme voor het digitaal assessment om daarmee potentiële risicostudenten in de instroom op te sporen is groot
Neveneffecten (neg.) -
de druk op studieadviseurs met dit project erbij wordt erg groot. Dit is een bedreiging voor het draagvlak om het project structureel in te voeren.
Eindoordeel De Radboud Universiteit is tevreden over de tot nu toe behaalde resultaten. Een definitief oordeel kan pas na één jaar geveld worden, als de resultaten van de effectmeting na één jaar bekend zijn.
6
Reflectie vooruit Lessons learned
Verbeteringen
-
de aandacht voor formuleringen in de uitnodigingen, betaalt zich uit in een hoge respons en opkomst
-
gesprekken zo mogelijk eerder dan in juni/juli: veel studenten zullen in juni/juli hun studiekeuze niet zo snel heroverwegen
-
gesprekken in juni/juli en eind augustus vallen samen met de piekbelasting van studieadviseurs
-
schooldecanen moeten eerder al studenten voor een gesprek kunnen aanmelden. In juni/juli zien zij hun leerlingen vaak niet meer
-
onderschat de overheadkosten voor opleidingen niet (uitnodigingen versturen, afspraken maken etc.)
-
gesprekken kunnen, mits onder supervisie van een studieadviseur, ook door ouderejaars studenten gevoerd worden
-
digitaal assessment: meer per opleiding risicofactoren laten wegen
-
Do’s
Don’ts
studenten na het invullen van het assessment ook een terugkoppeling geven op het ingevulde assessment (dit gebeurde in het project nog niet)
-
gesprekken in de periode maart tot juni
-
gesprekken met late aanmelders na de poort in oktober
-
betrek studieadviseurs of studieloopbaanbegeleiders vanaf het begin in het project en formeer een projectgroep waarin zij participeren
-
betrek schooldecanen in de projectgroep of stuurgroep
-
besteed veel aandacht aan het uitnodigingenbeleid en de formuleringen, maak het relevant voor de aanstaande student
-
geen top-down benadering: als het instrument niet door de opleidingen gedragen wordt, heeft het geen zin dit van bovenaf in te voeren
Nog verder Schaalbaarheid
Hoe is het onderdeel te maken van de staande organisatie? Heeft u concrete plannen? Studiekeuzegesprekken kunnen in de staande organisatie opgenomen worden. Er is voldoende materiaal ontwikkeld. Het digitaal assessment wordt verbeterd. De piekbelasting voor studieadviseurs is een groot knelpunt. De Radboud Universiteit maakt nu plannen om studiekeuzegesprekken universiteitsbreed in te voeren. Daarbij zal er, uit oogpunt van uitvoerbaarheid, een focus liggen op risicostudenten. Besluitvorming over dit plan is voorzien in maart 2011. In hoeverre leeft het c.q. is er steun voor studiekeuzegesprekken binnen de organisatie? Is dit toe- of afgenomen door het project? Het onderwerp leeft erg binnen de organisatie. Door opleidingen intensief te betrekken is er draagvlak voor het instrument. Ook is er veel bestuurlijke aandacht en commitment. Het instrument en de aanpak worden als vernieuwend ervaren, waardoor betrokkenen bereid zijn om zich voor dit project extra in te zetten. De steun is gedurende de looptijd van de projecten (1e en 3e tender) duidelijk toegenomen. Wel is de zorg over de uitvoerbaarheid bij opleidingen groter geworden, nu duidelijk wordt dat de instelling dit breed wil invoeren. De steun komt ook door de grote investeringen in tijd die opleidingen er tot nu toe in hebben gestoken.
Overdraagbaarheid
Zou dit arrangement ook door andere instellingen kunnen worden gebruikt? Welke elementen zijn moeilijk overdraagbaar omdat ze specifiek zijn voor uw instelling en waarom?
7
Het arrangement is goed overdraagbaar. Tevens kunnen andere instellingen ook alleen enkele elementen uit het arrangement overnemen die beter bij die instellingen passen. Voor opleidingen met een decentrale selectie is het arrangement niet geschikt. Om die reden zal de Radboud Universiteit het arrangement niet invoeren bij opleidingen met een decentrale selectie.
8
Bijlage 1: Kostenoverzicht NB: gebaseerd op 219 studenten waarmee een gesprek is gevoerd bij elf opleidingen met vijf faculteiten. Bij variabele kosten is er gerekend dat de helft van de gesprekken door getrainde ouderejaaes studenten wordt gedaan en de helft door studieadviseurs. Kostensoort Eenmalige kosten
Uren
€
350 uur
€23.205,00
Eenmalige kosten voor de ontwikkeling van SKG Uren
Ontwikkelen aanpak en materialen
Aantal uren dat is besteed voor het maken van vragenlijsten, draaiboeken, protocollen etc.
Out-ofpocket
Aanschaf van ICT en tools
Kosten van aanschaf van software, assessments etc.
Vaste kosten
€12.500,00
Jaarlijkse kosten die niet afhankelijk zijn van het aantal gesprekken of kandidaten Uren
Organisatie
Uren voor projectmanagement, overleg, administratieve ondersteuning, management rapportages etc.
Out-ofpocket
Kantoorkosten e.d.
Huur van ruimtes, apparatuur e.d.
Variabele kosten Uren
Out-ofpocket
4
Toelichting
440 uur
€29.172,00 €1.000,00
Kosten die wel afhankelijk zijn van het aantal gesprekken of kandidaten
Totaal aantal uren
Uren per kandidaat4
Totale €
€ per kandidaat
Trainen gespreksvoerders
Aantal uren dat besteed is voor het trainen van docenten,SLB-ers, studenten, alumni en andere gespreksvoerders
4 uur
0,02 uur
€231,20
€1,06
Voorbereiding per gesprek/kandidaat
Tijd voor inplannen, opbellen, invoeren gegevens, voorbereiden
54,75 uur
0,25 uur
€2644,43
€12,08
Gesprek zelf
Tijd voor gesprek
164,25 uur
0,75 uur
€7.933.28
€36,23
Afronding
Tijd voor invoeren gegevens en nabereiding
54,75 uur
0,25 uur
€2.644,43
€12,08
Totaal
Totale tijd besteed aan gesprekken
277,75 uur
1,27 uur
€13.222,14
€60,38
Licentiekosten en catering
Kosten per kandidaat voor licenties/ catering etc.
€350,40
€1,60
bij groepsgesprekken dus delen door het # deelnemers
9
De inschatting van de Radboud Univerisiteit is dat de totale jaarlijkse structurele kosten bij universiteitsbrede invoering (50 Bacheloropleidingen) ongeveer €135.000,- bedragen. Hierbij is uitgegaan van ca. 5000 vooraanmelders, waarvan 80% op het assessment zal reageren en waarvan ca. 25% een potentiële risicostudent is. Er zullen naar verwachting ongeveer 1.000 gesprekken gevoerd gaan worden. De aanname van een respons van 80% is gebaseerd op de resultaten van het digitale assessment. Dit geldt ook voor de aanname dat 25% van de vooraanmelders een potentiële risicostudent is. Uit de resultaten van het digitale assessment 2010 bleek dat ongeveer 25% van de vooraanmelders een potentiële risicostudent. Gesprekstijd per student is maximaal een half uur. Daarnaast een half uur per student voor voorbereiding en verslaglegging van het gesprek. Kosten hosting digitaal assessment jaarlijkse kosten voor bijstelling verzending rapportages rapportages assessment/ effectmetingen projectcoördinatie DSZ screening kandidaten faculteiten
Bedrag toelichting € 2.000 0,40 per student, 5000 vooraanmelders € 2.000 € 6.000 € 9.300 € 7.500 € 20.000
coördinatie faculteiten administratieve handelingen faculteiten
jaarlijks evalueren en evt. bijstellen digitaal assessment kosten voor dagelijkse terugkoppeling rapportages aan opleidingen evaluatierapport, rapportage en analyse assessment, effectmeting 0,1 fte studieadviseurs: 40 uur per faculteit = 320 uur op schaal 10 werven/ instrueren gespreksvoerders + fac. coördinatie 20 uur per fac = 160 uur op € 10.000 schaal 10 € 17.000 50 uur per faculteit
gesprekken faculteiten
1100 uur (incl. voorbereiding en verslaglegging). Helft studenten, helft studieadviseurs/ € 54.000 mentoren
onvoorzien (5%)
€ 6.390
totaal faculteiten
€ 101.000
totale kosten
€ 134.190
10
Bijlage 2: Definities van gehanteerde begrippen Arrangement Kandidaat Student De poort Niet starter Switcher6 Niet herinschrijver7
Doorstromer
Het geheel van activiteiten waaraan een kandidaat wordt onderworpen, gericht op het optimaliseren van de studiekeuze van de kandidaat Potentiële student: dit kan zijn iemand met belangstelling, bezoeker open dag, inschrijver bij Studielink Ingeschreven en toegelaten bij de instelling, heeft voldaan aan alle verplichtingen en start daadwerkelijk in de week van 1 september met de studie De week van 1 september5 waarin de studie start Student die wel is ingeschreven/toegelaten bij de instelling maar niet deelneemt aan onderwijs en tentamens, dus feitelijk niet start bij de opleiding Een student die wisselt van opleiding (kan zijn binnen/buiten de instelling; binnen/buiten HBO of WO Een student die in het studiejaar (t-1) nog wel was ingeschreven bij de opleiding, maar op de peildatum in het studiejaar (t) niet meer. Kan zijn: • Tijdelijk of permanent • Gedwongen (BSA) of eigen initiatief (al dan niet na negatief pre-advies) Niet her-inschrijver kan zijn: • Switcher: vervolgt andere opleiding, binnen of buiten de instelling • Afstromer vervolgt opleiding (of andere opleiding, dan ook switcher) op lager niveau: WO -> HBO, HBO -> MBO; kan zijn vertraagd of niet vertraagd • Opstromer: vervolgt opleiding (of andere opleiding, dan ook switcher) op hoger niveau: HBO -> WO; kan zijn vertraagd of niet vertraagd. • Uitstromer Student vervolgt dezelfde opleiding. Kan zijn: • Direct, onvertraagd • Direct en vertraagd • Indirect na tijdelijk studiestaken
Literatuur Zie ook https://www.surfgroepen.nl/sites/programmastudiekeuzegesprekken/Documentatie%20onderzoeksmodel%20ed/Forms/AllItems.aspx
Denyer, D., Tranfield, D., & Van Aken, J. E. (2008). Developing Design Propositions through Research Synthesis. Organization Studies, 29, 393-413. Pawson, R. & Tilley, N. (1994). What works in evaluation research? British Journal of Management, 34, 291-306.
5
Voor februari instroom lees: 1 februari Of omzwaaier, wisselaar 7 Uitstroom 6
11
