Proces- en resultaatevaluatie “Wikken, Wegen en Verbinden”, Technische Universiteit Eindhoven
Algemene beschrijving Doel: inzicht geven in de context en de opzet van de studiekeuzegesprekken Het project “Wikken, Wegen en Verbinden” is uitgevoerd in samenwerking met 15 scholen voor voortgezet onderwijs. Het bestond uit drie delen: -Een vragenlijst voor alle leerlingen met een NT- en/of NG-profiel uit 6 VWO ter ondersteuning van het keuzeproces. De leerlingen vulden in hoe ze met hun keuze bezig waren, welke studie zij overwogen en waarom deze studie zo geschikt voor hen was. -Een motivatiebrief met CV, studiekeuzegesprek en advies voor leerlingen die een studie aan de TU/e ambieerden. -Het volgen van een groep van 21 studenten die in 2009-2010 een studiekeuzegesprek hadden gehad en in 2010-2011 aan de TU/e gingen studeren. Doel was de leerlingen bewuster te laten worden van de eigen mogelijkheden en motivatie om voor een bepaalde opleiding te kiezen. De verwachting was dat leerlingen die meegedaan hebben aan “Wikken, Wegen en Verbinden” bewuster kiezen en daardoor als student betere resultaten behalen en minder snel uitvallen dat de studenten die niet aan het project hebben deelgenomen.
1. Projectnaam en onderwijsinstelling: “Wikken, Wegen en Verbinden”, Technische Universiteit Eindhoven 2. Op welke opleiding1 heeft deze vragenlijst betrekking: Alle TU/e opleidingen 3. Is deze opleiding: Een wo-opleiding 4. Zijn er specifieke toelatingseisen voor deze opleiding? Ja, nl. profielen NG en NT met Wiskunde B en Natuurkunde 5. Welke outcomes2 wenst de opleiding te bereiken met dit arrangement? Vergroting studiesucces, vermindering uitval. Op korte termijn werd het project als succesvol gedefinieerd als de aanvragen voor deelname van scholen zou toenemen (was in 2009-2010: 7 scholen). Op lange termijn noemden we het succesvol als de uitvalpercentages van studenten die deelgenomen hebben aan het project, lager zijn dan 10%. 6. Welke van de volgende onderdelen bevat het arrangement3, naast het studiekeuzegesprek zelf, nog meer (meerdere antwoorden mogelijk)? - Uitnodiging aan kandidaat voor deelname aan studiekeuzegesprek (bv. brief, reminder) - Vooraf schriftelijke informatie geven aan kandidaat (bv. over de opleiding) - Feitelijke gegevens verzamelen over kandidaat (bv. aanmeldings- intakeformulier, cv) - Informatie verzamelen over motivatie van kandidaat (bv. vragenlijst, eigen brief) 1
Als aan het project meerdere opleidingen deelnemen, overleg dan met SURF welke opleiding voor de crosscase analyse is geselecteerd. 2 Een outcome is een bepaalde toestand of staat die u wilt bereiken. 3
Met ‘arrangement’ bedoelen wij het geheel van activiteiten waaraan een kandidaat wordt onderworpen, gericht op het optimaliseren van de studiekeuze van de kandidaat.
1
- Studieadvies geven aan kandidaat - Waar nodig bijscholingsadvies geven aan kandidaat 7. Wie worden uitgenodigd voor een studiekeuzegesprek? Alle kandidaten 8. Komen mogelijke deficiënties van de kandidaat aan bod in het studiekeuzegesprek? Ja 9. In welke vorm wordt het studiekeuzegesprek gehouden (meerdere antwoorden mogelijk)? Individueel gesprek 10. Door wie wordt het studiekeuzegesprek gevoerd vanuit de opleiding (meerdere antwoorden mogelijk)? Anders, namelijk studiekeuze adviseurs 11. Hoe lang duurt een studiekeuzegesprek gemiddeld? 45 minuten 12. Worden rondom het tijdstip dat het studiekeuzegesprek plaatsvindt nog andere activiteiten georganiseerd voor de kandidaten die naar een gesprek komen, bv. kennismaking met onderwijs of een feest? Nee
2
Resultaatevaluatie Doel: inzicht geven in de effecten van het gekozen arrangement. 1. Effectmeting De effecten van de studiekeuzegesprekken worden gemeten door de resultaten van de experimentele groep (dat zijn de leerlingen die in het schooljaar 2009 – 2010 een studiekeuzegesprek hebben gehad en in het studiejaar 2010 – 2011 aan de TU/e zijn gaan studeren) te vergelijken met de resultaten van de totale eerstejaars bachelor instroom 2010 2011. Er worden 21 studenten vergeleken met 1181 studenten. Het gaat om de volgende drie indicatoren: Het percentage studenten dat met de studie gestopt is en zich ook als zodanig heeft laten registreren (niet elke student doet dat: er zijn meer studenten gestopt dan uit de cijfers af te lezen is). Het percentage studenten met een positief of negatief voorlopig bindend studieadvies (na het eerste semester). Omdat een aantal studenten zich om verschillende redenen niet uitschrijven, maar toch ook niet meer actief in hun studie zijn, kijken we tevens naar het totaal van uitgeschreven studenten plús degenen die een negatief advies hebben gekregen. Variabele
Operationalisatie
Benchmark Totale cohort instromers
Effect van studiekeuzegesprekken op studiesucces.
Uitkomst Experimentele groep
Percentages uitvallers
15% gestopt en zich ook als zodanig laten registreren
33% gestopt
Percentage positieve en negatieve BSA’s
Positief: 71,5% Negatief: 28,5%
Positief: 86% Negatief: 14%
Percentage uitgeschrevenen + negatief advies
Oordeel
39%
--
++
43%
-
Samengevat: de studenten met wie een studiekeuzegesprek gevoerd is, zijn vaker geregistreerd als “gestopt met de studie” in vergelijking met de totale groep. De studenten die doorgaan met hun studie krijgen vaker een positief advies dan de totale groep.
2.1
Oordeel van deelnemer over nut
De leerlingen met wie in het schooljaar 2010 – 2011 een studiekeuzegesprek gevoerd is hebben een digitale vragenlijst ontvangen over de inhoud van de gesprekken en het nut daarvan. Er zijn met 48 leerlingen studiekeuzegesprekken gevoerd, 32 leerlingen hebben de vragenlijst ingevuld (67%). Onderstaande vragen zijn gesteld; de vijf antwoordmogelijkheden lopen van ’helemaal niet’ (--) tot ‘zeer zeker’ (++).
1. Ter voorbereiding op het gesprek heb je een brief en een CV gemaakt. Vond je dat een goede manier om je voor te bereiden op het gesprek?
--
-
+/-
+
++
0%
6%
28%
47%
19%
3
2.Voelde je je op je gemak tijdens het gesprek?
0%
0%
0%
34%
66%
3. Had je het gevoel dat je eerlijk en open kon zijn tijdens het gesprek?
0%
0%
0%
28%
72%
4. Kreeg je voldoende kans zelf wat in te brengen tijdens het gesprek?
0%
0%
0%
38%
62%
5. Had degene met wie je het gesprek voerde kennis van zaken?
0%
0%
13%
59%
28%
6. Heb je nieuwe inzichten gekregen die van invloed zijn op je studiekeuze?
0%
19%
22%
28%
25%
7. Vond je het gesprek nuttig?
0%
0%
19%
47%
34%
8. Denk je dat dit gesprek ook nuttig zou zijn voor je klasgenoten?
0%
6%
25%
41%
28%
9. Is je studiekeuze door het gesprek veranderd?
56%
31%
9%
3%
0%
10. In hoeverre ben je het eens met de tips en adviezen?
0%
0%
23%
52%
26%
11. Vind je het een goede idee dat de TU/e dit gesprek met je voerde?
0%
0%
3%
44%
53%
12. Heb je een beter idee gekregen of de TU/e voor jou een goede keuze is?
0%
4%
22%
41%
33%
13. Heb je concrete actie ondernomen naar aanleiding van het gesprek?
Ja: 67% Nee: 33%
Samengevat kunnen we zeggen dat de leerlingen vinden dat de gesprekken in een prettige sfeer zijn verlopen. Niet alle leerlingen hebben nieuwe inzichten gekregen. Toch vinden ze de gesprekken veelal nuttig voor zichzelf; voor hun klasgenoten vinden ze het minder nuttig dan voor zichzelf, maar nog steeds heel nuttig. De voorgenomen studiekeuze wijzigt meestal niet door het gesprek, maar de leerlingen hebben naar hun mening wel een beter idee gekregen of de TU/e wat voor hen is. Tweederde van de leerlingen onderneemt ook concreet actie naar aanleiding van het gesprek.
2.2
Oordeel van decanen en docenten voortgezet onderwijs
De contactpersonen van de deelnemende scholen (decanen, mentoren) zijn bevraagd over het gebruik van de materialen, de deelnemende leerlingen en de bijdrage die het project “Wikken, Wegen en Verbinden” aan het keuzeproces van de leerlingen kan leveren. Deze contactpersonen hebben zelf gekozen voor deelname aan het project en staan daarom bijna per definitie positief tegenover het idee. Ze zijn zonder uitzondering positief over de uitvoering en de uitstraling van de materialen. Ze hebben in de uitvoering van het project op hun eigen school echter veelal niet alle materialen gebruikt. Vrijwel alle contactpersonen denken dat de studiekeuzegesprekken een positieve bijdrage leveren aan het keuzeproces van de leerlingen: de leerlingen worden gewezen op de omissies in hun keuzeproces en ze krijgen een meer realistisch beeld van de opleiding van hun keuze. Daarnaast worden ze geconfronteerd met hun (soms te hoge) verwachtingen, ze gaan bewuster nadenken over hun motivatie en moeten die ook verwoorden. Een aantal leerlingen zoekt bevestiging voor hun keuze.
4
De meeste contactpersonen zouden willen dat meer leerlingen met een bèta profiel deel zouden nemen aan het project. Daarnaast zouden ze de studiekeuzegesprekken breder willen inzetten, dus ook voor de leerlingen met andere profielen. Ze kennen echter geen andere universiteit of hogeschool in de regio die deze vorm van studiekeuzegesprekken aanbiedt.
3.
Oordeel van gespreksvoerders over nut
Het uitgangspunt van de studiekeuzeadviseurs, die de gesprekken met de leerlingen voerden, is “de juiste student op de juiste plaats”. Over het nut van de gesprekken op TU/e niveau kunnen zij geen uitspraak doen: ze hebben geen inzicht in de daadwerkelijke invloed die de studiekeuzegesprekken hebben op vergroting van het studiesucces van de studenten en vermindering van de uitval. Op leerling niveau is het doel om leerlingen bewuster te laten worden van de eigen mogelijkheden en motivatie om voor een bepaalde opleiding te kiezen. Hierop beoordelen de gespreksvoerders het project succesvol en nuttig. Men spreekt over goede en leuke gesprekken, uitgevoerd door studiekeuzeadviseurs die ervaring hebben met knelpunten zoals die door beginnende studenten ervaren worden. Er zijn leerlingen die nauwelijks verbeterd of geadviseerd hoeven worden in hun keuzeproces: zij pakken het zo serieus en voorbeeldig aan dat dat nauwelijks tot geen verandering behoeft. Maar dat is slechts een enkeling. De overige leerlingen kunnen nog behoorlijk wat verbeterslagen op hun keuzeproces maken: voor hen is een gesprek zeker nuttig. Veel adviezen en tips gaan dan ook over acties waarmee de leerling meer inzicht krijgt in de inhoud en het programma van de studie en over het met elkaar vergelijken van verschillende studies. Daarmee kan de keuze meer op feiten dan op gevoel worden gebaseerd.
5
Procesevaluatie Doel: inzicht geven in hoe het arrangement heeft gefunctioneerd, wat goed is bevallen, wat verbeterd kan worden, alsmede de lessons learned en do’s & don’ts van het uitgevoerde arrangement.
Reflectie terug Gerealiseerd ontwerp
Er hebben geen tussentijdse aanpassingen plaats gevonden, het project is gelopen zoals gepland.
Uitvoeringsproblemen
1.De vragenlijst die bedoeld was voor alle leerlingen met een N-profiel ter ondersteuning van hun studiekeuze is op een beperkt aantal scholen afgenomen en dan nog alleen bij leerlingen die ook een studiekeuzegesprek hadden. Dit onderdeel van het project is hiermee niet uit de verf gekomen. 2.Voor het project “Wikken, Wegen en Verbinden” is de medewerking van de scholen voor voortgezet onderwijs cruciaal. Het is lastig om regie te voeren op deze medewerking: wanneer scholen hebben aangegeven deel te willen nemen aan het project bepalen ze vervolgens zelf wanneer en wat en hoe de werving van de leerlingen plaats vindt. Hoewel de vertegenwoordigers van de scholen aan het project een toegevoegde waarde voor het totale studiekeuzeproces toekennen, zetten ze weinig druk op de leerlingen om ook daadwerkelijk mee te doen. Ook wanneer leerlingen eerder zeggen wel deel te willen nemen en later op dat besluit terugkomen wordt er, voor zover wij dat kunnen nagaan, weinig druk gezet om dit te veranderen. Een gering aantal leerlingen lijkt zelf te beseffen wat het belang van een studiekeuzegesprek is.
Uitvoeringssuccessen
De leerlingen die deelnamen waren over het algemeen open en enthousiast, de gesprekken werden in een goede sfeer gevoerd. Vrijwel alle leerlingen hadden zich goed voorbereid op het gesprek. Ook de deelnemende mentoren en decanen waren enthousiast, zowel over het basisidee van het project als over de bijdrage die het levert aan het keuzeproces van de leerlingen. Ook waren ze zonder uitzondering tevreden over de aard en de inhoud van de tips en adviezen aan de leerlingen.
Risicoprofielen
Niet van toepassing
Bijeffecten
Een onverwacht voordeel van het project “Wikken, Wegen en Verbinden” was dat, doordat de studiekeuzegesprekken op de scholen gevoerd werden, er spontane laagdrempelige kennisuitwisseling mogelijk was. Andere onderwerpen op het gebied van onderwijs en aansluiting konden door de TU/e getoetst worden bij de docenten in het voortgezet onderwijs en door de docenten bij de TU/e. We hebben geen onverwachte nadelen geconstateerd.
Eindoordeel Over de resultaten van het project “Wikken, Wegen en Verbinden” zijn nog enkele opmerkingen te maken: Het basisidee over vorm (een brief met gesprek) en tijdstip (6 VWO) van de studiekeuzegesprekken blijft overeind. Leerlingen uit 6 VWO laten reflecteren op hun voorgenomen keuze via een motivatiebrief, cv en gesprek werkt heel goed.
6
-
Er hebben te weinig leerlingen deel genomen om een effect te kunnen zien op studiesucces en rendementen van de gehele universiteit. Daarnaast zijn de resultaten van het voorgaande jaar (het ging weliswaar om slechts 21 studenten) niet hoopgevend in termen van effect op studiesucces en studierendementen. Het hele proces van werving, voorbereiding, gespreksvoering en nazorg is erg arbeidsintensief en daardoor financieel onaantrekkelijk.
Reflectie vooruit Lessons learned
Het is de vraag of studiekeuzegesprekken met leerlingen in 6 VWO bijdragen aan studiesucces in het hoger onderwijs.
Verbeteringen
Voer de studiekeuzegesprekken direct voorafgaand aan de voorlichtingsdagen van de hoger onderwijs instellingen, zodat de leerlingen de ontbrekende informatie meteen op kunnen zoeken.
Do’s
Bedenk eerst wat je doelstelling met betrekking tot intake- of studiekeuzegesprekken is, en bepaal daarna de vorm die daarbij past.
Don’ts
Het werven van leerlingen voor studiekeuzegesprekken niet alleen aan de decaan/ de scholen overlaten, maar meer in eigen hand houden.
Nog verder Schaalbaarheid
Studiekeuzegesprekken voor middelbare scholieren worden vanaf komend studiejaar standaard opgenomen in het aanbod voor keuzebegeleiding van de TU/e. Voor grotere groepen kunnen de gesprekken op de school zelf plaats vinden, voor kleinere groepen of individuen op de TU/e. Er zullen geen grootse wervingsacties opgezet worden. De TU/e ziet studiekeuzegesprekken voor vwo leerlingen als een interessante aanvulling op andere vormen van intake gesprekken die ingevoerd gaan worden.
Overdraagbaarheid
Het project “Wikken, Wegen en Verbinden” is zeker overdraagbaar naar andere instellingen: met het uitgangspunt ‘de juiste student op de juiste plaats’ is het zowel waardevol voor de leerlingen als voor de instelling om studiekeuzegesprekken te voeren. Het is echter wel tijdrovend en, indien op kleine schaal uitgevoerd, de vraag of het in termen van direct rendement resultaat heeft.
7
Bijlage 1: Kostenoverzicht Kostensoort Eenmalige kosten
Uren
€
Eenmalige kosten voor de ontwikkeling van SKG Uren
Ontwikkelen aanpak en materialen
Aantal uren dat is besteed voor het maken van vragenlijsten, draaiboeken, protocollen etc.
Out-ofpocket
Aanschaf van ICT en tools
Kosten van aanschaf van software, assessments etc.
Vaste kosten
150 --
Jaarlijkse kosten die niet afhankelijk zijn van het aantal gesprekken of kandidaten Uren
Organisatie
Uren voor projectmanagement, overleg, administratieve ondersteuning, management rapportages etc.
Out-ofpocket
Kantoorkosten e.d.
Huur van ruimtes, apparatuur e.d.
Variabele kosten Uren
Out-ofpocket
4
Toelichting
200 pm
Kosten die wel afhankelijk zijn van het aantal gesprekken of kandidaten
Totaal aantal uren
Uren per kandidaat4
Trainen gespreksvoerders
Aantal uren dat besteed is voor het trainen van docenten,SLB-ers, studenten, alumni en andere gespreksvoerders
10
0,2
Voorbereiding per gesprek/kandidaat
Tijd voor inplannen, opbellen, invoeren gegevens, voorbereiden
48
1,0
Gesprek zelf
Tijd voor gesprek
48
1,0
Afronding
Tijd voor invoeren gegevens en nabereiding
24
0,5
Totaal
Totale tijd besteed aan gesprekken
130
2,7
Licentiekosten en catering
Kosten per kandidaat voor licenties/ catering etc.
Totale €
€ per kandidaat
--
--
bij groepsgesprekken dus delen door het # deelnemers
8
Bijlage 2: Definities van gehanteerde begrippen
Arrangement Kandidaat Student De poort Niet starter Switcher6 Niet herinschrijver7
Doorstromer
Het geheel van activiteiten waaraan een kandidaat wordt onderworpen, gericht op het optimaliseren van de studiekeuze van de kandidaat Potentiële student: dit kan zijn iemand met belangstelling, bezoeker open dag, inschrijver bij Studielink Ingeschreven en toegelaten bij de instelling, heeft voldaan aan alle verplichtingen en start daadwerkelijk in de week van 1 september met de studie De week van 1 september5 waarin de studie start Student die wel is ingeschreven/toegelaten bij de instelling maar niet deelneemt aan onderwijs en tentamens, dus feitelijk niet start bij de opleiding Een student die wisselt van opleiding (kan zijn binnen/buiten de instelling; binnen/buiten HBO of WO Een student die in het studiejaar (t-1) nog wel was ingeschreven bij de opleiding, maar op de peildatum in het studiejaar (t) niet meer. Kan zijn: • Tijdelijk of permanent • Gedwongen (BSA) of eigen initiatief (al dan niet na negatief pre-advies) Niet her-inschrijver kan zijn: • Switcher: vervolgt andere opleiding, binnen of buiten de instelling • Afstromer vervolgt opleiding (of andere opleiding, dan ook switcher) op lager niveau: WO -> HBO, HBO -> MBO; kan zijn vertraagd of niet vertraagd • Opstromer: vervolgt opleiding (of andere opleiding, dan ook switcher) op hoger niveau: HBO -> WO; kan zijn vertraagd of niet vertraagd. • Uitstromer Student vervolgt dezelfde opleiding. Kan zijn: • Direct, onvertraagd • Direct en vertraagd • Indirect na tijdelijk studiestaken
Literatuur Zie ook https://www.surfgroepen.nl/sites/programmastudiekeuzegesprekken/Documentatie%20onderzoeksmodel%20ed/Forms/AllItems.aspx
Denyer, D., Tranfield, D., & Van Aken, J. E. (2008). Developing Design Propositions through Research Synthesis. Organization Studies, 29, 393-413. Pawson, R. & Tilley, N. (1994). What works in evaluation research? British Journal of Management, 34, 291-306.
5
Voor februari instroom lees: 1 februari Of omzwaaier, wisselaar 7 Uitstroom 6
9
