Proces- en resultaatevaluatie Studiestartgesprekken: het werkt! “Een succesvolle HBO-carrière”
Penvoerende instelling: Hogeschool van Arnhem en Nijmegen Faculteit Economie en Management OW 11.0401
Datum: februari 2011 Dit project is tot stand gekomen met steun van SURF, de organisatie die ICT vernieuwingen in het hoger onderwijs en onderzoek initieert, regisseert en stimuleert door onder meer het financieren van projecten. Meer informatie over SURF is te vinden op de website (www.surf.nl)
Inhoudsopgave Inleiding............................................................................................................................. 3 Samenvatting ..................................................................................................................... 4 1. Algemene beschrijving ..................................................................................................... 5 1.1 Opzet ........................................................................................................................ 5 1.2 Doel .......................................................................................................................... 5 1.3 De te behalen resultaten.............................................................................................. 6 1.3.1 Belangrijkste te behalen resultaten ......................................................................... 6 1.3.2 Resultaten die gemeten worden gedurende en na afloop van de projectperiode ........... 6 1.3.3 Nevenresultaat ..................................................................................................... 6 1.3.4 Beoogd effect en eindresultaat ............................................................................... 6 2. Match bestaande Studiestartgesprek-methode .................................................................... 7 3. Resultaatevaluatie .......................................................................................................... 10 3.1 Effectmeting ............................................................................................................. 11 3.1.1 Effect op gemiddeld aantal behaalde studiepunten ................................................... 15 3.1.2 Preadviezen na een half jaar ................................................................................. 18 3.1.3 Effect op percentage uitvallers en omzwaaiers ......................................................... 19 3.1.4 Effect op percentage niet starters .......................................................................... 21 3.2 Oordeel van deelnemer over nut .................................................................................. 22 3.3 Oordeel van gespreksvoerders over het nut van de gekozen aanpak ................................ 25 4. Procesevaluatie .............................................................................................................. 27 4.1 Reflectie terug ........................................................................................................... 27 4.1.1 Eindoordeel ......................................................................................................... 28 4.2 Reflectie vooruit ........................................................................................................ 28 4.3 Nog verder................................................................................................................ 29 5. Cross-Case Analyse. ....................................................................................................... 31 Bijlage 1: Kostenoverzicht ................................................................................................... 33
2
Inleiding Project Studiestartgesprekken: het werkt! Een succesvolle hbo-carrière! De faculteit Economie en Management (FEM) van de Hogeschool van Arnhem en Nijmegen (HAN) heeft in het kader van het onderzoek studiestartgesprekken: het werkt! “Een succesvolle hbocarrière” met 98 aanmelders van 3 economische opleidingen individuele studiestartgesprekken gevoerd. De resultaten, het proces en de evaluatie naar het effect van studiestartgesprekken ‘voor de poort’ staan in deze proces- en resultaatevaluatie beschreven.
3
Samenvatting De Faculteit Economie en Management (FEM) van de Hogeschool van Arnhem en Nijmegen (HAN) heeft de afgelopen twee jaar op bescheiden schaal ervaring opgedaan met studiestartgesprekken ‘voor de poort’. Om te beoordelen of deze gesprekken effectief zijn hebben we vanaf maart 2010, 98 individuele studiestartgesprekken gevoerd met specifiek geselecteerde aanmelders. Opzet Tijdens een individueel studiestartgesprek richten we ons op de leerling of student die naar het hbo wil. We informeren en bereiden de potentiële student voor op de opleiding, in het bijzonder op het propedeusejaar en het studeren aan het hbo in het algemeen. Nadruk wordt gelegd op: wat de student kan verwachten tijdens het propedeusejaar, welke studievaardigheden van belang zijn en wat de succesfactoren zijn voor het behalen van het (propedeuse)diploma. In totaal maken 623 personen deel uit van het onderzoek. Het gaat om aanmelders voor een van de volgende opleidingen: Communicatie (CO), Commerciële Economie (CE) of Management Economie en Recht (MER). De aanmelders zijn onderverdeeld in drie groepen: twee experimentele groepen en één controlegroep. Voor de zomervakantie 2010 zijn 206 aanmelders uitgenodigd voor een studiestartgesprek. Van deze personen zijn er 98 op gesprek geweest. Dit is de experimentele groep 1. Van deze personen zijn 108 personen niet op de uitnodiging ingegaan, dit is de experimentele groep 2. Groep 3 is de controlegroep. Dit zijn aanmelders die in september 2010 zijn gestart als student aan een van bovengenoemde opleidingen en niet zijn uitgenodigd voor een studiestartgesprek. Controlegroep 3 bestaat uit 417 personen. Belangrijkste te behalen resultaten Met de gekozen opzet streven we ernaar dat door middel van studiestartgesprekken voor de poort, het percentage uitvallers tijdens het propedeusejaar vanwege verwachtingsproblemen minder wordt. Studenten die een studiestartgesprek hebben gehad, zijn goed geïnformeerd over de inhoud en opzet van het 1e semester van het propedeusejaar en weten welke studievaardigheden daarbij van belang zijn. Tevens weten ze welke studievaardigheden voor hen persoonlijk verder aandacht nodig hebben. Er is hen door de studieadviseur geadviseerd welke sterke en (verder) te ontwikkelen studievaardigheden meegenomen kunnen worden in de studieloopbaanbegeleiding. Beoogd effect en eindresultaat Het rendement van de propedeuse van de experimentele groep 1 neemt toe in vergelijking met de experimentele groep 2 en de controlegroep. Het uiteindelijke rendement kan pas worden gemeten na twee jaar. Belangrijkste conclusies van de resultaten Aantal behaalde studiepunten De studenten die op studiestartgesprek zijn geweest scoren wat studiepunten betreft duidelijk beter dan de andere twee groepen. Uitval Er zijn verschillen in uitval. De groep die een studiestartgesprek heeft gehad scoort beter dan de twee andere groepen, maar het verschil is niet groot genoeg om significant te zijn. Dus is niet vastgesteld dat de studenten die een studiestartgesprek hebben gehad minder uitval vertonen dan de andere studenten. Pre-advies Als we het studiesucces tijdens het eerste half jaar afmeten aan het type adviesbrief dat elke student krijgt na het eerste semester, dan doen de studenten die op gesprek zijn geweest het 4
duidelijk beter dan de anderen. Van de studenten die op gesprek zijn geweest krijgt 63% een positieve brief. Van de studenten uit de andere twee groepen krijgt maar 40% een positieve brief. Oordeel studenten die een studiestartgesprek hebben gehad Allereerst is duidelijk dat de opzet van de propedeuse helder is geworden voor bijna alle studenten. Voor veel personen heeft een studiestartgesprek zijn waarde wel, maar voor een ruime minderheid van de respondenten heeft het studiestartgesprek onvoldoende meerwaarde gehad. De organisatie en de communicatie t.a.v. studiestartgesprekken zijn als goed beoordeeld door 80 tot 90 % van de respondenten. Oordeel studieadviseurs Het is goed mogelijk dat door de gekozen opzet niet de studenten spreken waarvan we denken dat zij juist een studiestartgesprek kunnen gebruiken: Aanmelders die niet reageren op de mail (en mogelijk minder gemotiveerd zijn) Aanmelders van allochtone afkomst reageerden minder t.o.v. de autochtone aanmelders. Ons vermoeden is dat nu in de meeste gevallen de enthousiaste gemotiveerde aanmelders reageren.
1. Algemene beschrijving 1.1 Opzet Het onderzoek is uitgezet onder nieuwe studenten (aanmelders) bij de FEM. De doelgroep die benaderd is voor de gesprekken ziet er als volgt uit: • Aanmelders met een vooropleiding havo of mbo • Aanmelders voor de voltijd variant van de opleidingen met relatief de meeste instroom en uitval: Communicatie (CO), Commerciële Economie (CE) en Management Economie en Recht (MER). Het geldt voor aanmelders voor de locatie Arnhem en Nijmegen • De studenten hebben het voornemen om te starten in september 2010 Tijdens het onderzoek wordt gewerkt met twee experimentele groepen en één controlegroep. De experimentele groepen bestaan uit de aanmelders die zijn uitgenodigd voor een studiestartgesprek en op gesprek komen en een groep die wordt uitgenodigd en daar niet op ingaan. De controlegroep bestaat uit de rest van de aanmelders voor de opleiding CE, CO of MER voltijd. Om conclusies te kunnen trekken over het effect van de aanpak is het van belang om de groep studenten die de nieuwe aanpak ondergaan (experimentele groep 1) te vergelijken met de experimentele groep 2 en de controlegroep, die de aanpak niet ondergaan. In de opzet van het onderzoek is een systematische steekproef benoemd. Deze steekproef wordt gebruikt voor het selecteren van de deelnemers voor de gesprekken. 1.2 Doel De FEM van de HAN heeft de afgelopen twee jaar op bescheiden schaal ervaring opgedaan met studiestartgesprekken ‘voor de poort’. Om te beoordelen of deze gesprekken effectief zijn hebben we vanaf maart 2010, 98 studiestartgesprekken gevoerd met specifiek geselecteerde aanmelders (experimentele groep). Tijdens een individueel studiestartgesprek richten we ons op de leerling die naar het hbo wil. We informeren en bereiden de potentiële student voor op de opleiding, in het bijzonder op het propedeusejaar en het studeren op het HBO in het algemeen. Nadruk wordt gelegd op: wat de student kan verwachten tijdens het propedeusejaar, welke studievaardigheden van belang zijn en wat de succesfactoren zijn voor het behalen van het (propedeuse)diploma. Met de beschreven aanpak denken we de student beter voor te bereiden op de voorgenomen studie aan één van onze opleidingen en in het bijzonder op het propedeusejaar en hopen daarmee studie-uitval in de propedeuse te verminderen. Met het onderzoek willen we het effect van de aanpak meten op het rendement in de propedeuse. 5
1.3 De te behalen resultaten Deze paragraaf bevat een uitwerking met de te behalen resultaten. De uitwerking van deze resultaten is onderverdeeld in verschillende subparagrafen. 1.3.1 Belangrijkste te behalen resultaten Het streven is om met behulp van studiestartgesprekken de verwachtingen over de opleidingen meer realistisch te maken, zodat de uitval vermindert. Daarnaast is het de bedoeling dat deelnemers aan de studiestartgesprekken meer studiepunten behalen en daardoor niet uitvallen. In de ideale situatie zijn studenten die een studiestartgesprek gehad hebben goed geïnformeerd over de inhoud en opzet van het 1e semester van het propedeusejaar en weten zij welke studievaardigheden ingezet moeten worden om goede resultaten te behalen. Verder hebben zij voor zichzelf vastgesteld welke studievaardigheden verder ontwikkeld moeten worden. De studieadviseur vervult hierin een adviserende rol. Naar aanleiding van het gesprek geeft de student bij de eigen studieloopbaanbegeleider aan welke sterke en (verder) te ontwikkelen studievaardigheden hij nog heeft. 1.3.2 Resultaten die gemeten worden gedurende en na afloop van de projectperiode Gedurende de looptijd van het project wordt het volgende gemeten: • Voorlopig rendement na een 0,5 jaar, februari 2011: Hoeveel studenten uit de experimentele groep zijn nog binnen in vergelijking met de controlegroep Vergelijking van het aantal behaalde studiepunten tussen de controlegroep en de experimentele groep • Resultaten van de tentamens, het aantal studiepunten • Aantal pre-adviezen Na afloop van de projectperiode zullen de volgende resultaten gemeten worden: • Aantal deelnemers dat de propedeuse binnen 1 jaar behaald heeft (september 2011) • Aantal deelnemers dat binnen 2 jaar de propedeuse heeft behaald (september 2012) • Het aantal uitvallers en omzwaaiers (na 0.5, 1 en 2 jaar) Bovenstaande resultaten zullen steeds vergeleken worden met de resultaten uit de controlegroep. 1.3.3 Nevenresultaat Naast de cijfermatige uitkomsten hebben we ook de tevredenheid van zowel de studieadviseurs als de deelnemers aan de studiestartgesprekken gemeten. Conclusies die op basis van deze metingen getrokken kunnen worden zijn: • Advies projectleider aan de hand van uitkomsten en conclusies interviews met de studieadviseurs. • Tevredenheid studiestartgesprek meten bij de experimentele groep na de 1e tentamenperiode, omstreeks december 2010. Extra bijgekomen: • Analyse van de registratieformulieren. De registratieformulieren vermelden gegevens van de afspraken met de aanmelders die zijn uitgenodigd voor een studiestartgesprek. 1.3.4 Beoogd effect en eindresultaat Het rendement in de propedeuse van de experimentele groep neemt toe in vergelijking met de controlegroep. Het rendement van de propedeuse meten we via: • het aantal studenten dat na 0.5 jaar nog studeert aan de opleidingen die deel hebben genomen aan het onderzoek • het aantal behaalde studiepunten Gedurende de looptijd van dit project kunnen we alleen uitspraken doen over het rendement na 0.5 jaar. Het echte rendement wordt pas zichtbaar naar twee jaar en zal gemeten worden, maar valt buiten de looptijd van het project.
6
Een overzicht van het totaal aantal metingen ziet er als volgt uit: Van februari 2010 – februari 2011 • Meting tussentijds rendement na 0,5 jaar (februari 2011). Onderstaande looptijd valt buiten de officiële projectperiode van SURF Van februari 2011 – september 2012: • Meting tussentijds rendement na 1 jaar (september 2011). • Meting uiteindelijke rendement propedeuse binnen 2 jaar gehaald (september 2012).
2. Match bestaande Studiestartgesprek-methode Met de opzet zoals beschreven in het startdocument sluiten we aan bij de aanpak van het project ‘Boeien en Binden!’ van de Fontys Hogescholen. Wij hebben zowel een aantal doelen als delen van de aanpak overgenomen: • Ook wij zien als belangrijke oorzaak van vroegtijdige uitval verkeerde verwachtingen en een verkeerd beeld van de opleiding en willen dit tijdig rechtzetten door de student in individuele gesprekken preventief aandacht te geven en juiste informatie te verschaffen voor de poort • Wij hebben net als Boeien en Binden gekozen voor een persoonlijk gesprek waardoor we kunnen voorzien van informatie op maat en kan worden ingegaan op specifieke, individuele vragen • De focus ligt vooral op het verminderen van studie-uitval in het eerste jaar en aldus het verhogen van het rendement in de propedeuse Naast bovenstaande argumenten hebben we de volgende overeenkomsten: • Verkeerde verwachtingen en beeld van een studie in een vroeg stadium vaststellen en wegnemen • Structuur van het gesprek: Er is een gespreksprotocol beschikbaar • Nadruk ligt op een open communicatieve houding: “welkom bij onze opleiding” • Bevestigen van de studiekeuze • Sociale binding door persoonlijk gesprek Verschillen in aanpak • Het onderzoek ‘Een succesvolle hbo carrière’ is uitgevoerd door studieadviseurs en bewust niet door slb-ers. Voordeel hiervan, de studieadviseurs zijn gemotiveerd en ervaren in het voeren van deze gesprekken • Bij het onderzoek ‘Een succesvolle hbo carrière’ laten we in het intakeformulier voorafgaand aan het gesprek de aanmelder zijn/haar eigen studievaardigheden beoordelen • Naast het centrale gesprek met de slb-er werden er door ‘Boeien en Binden’ driehoeksgesprekken georganiseerd, individueel of in een groepje. Overeenkomsten in aanpak • Een vragenlijst in laten vullen door de student met als doel zijn/haar interesses, motieven en verwachtingen die samenhangen met de studiekeuze te verwoorden + sterke en zwakke kanten van de student. • Gekozen voor een persoonlijk gesprek waardoor we kunnen voorzien van informatie op maat en kan worden ingegaan op specifieke, individuele vragen. • Het volgende komt enigszins overeen, maar is iets anders aangepakt: Boeien en Binden gaf aan het eind van het kennismakingsgesprek een TOP en een TIP. Een TOP staat voor een compliment over ‘wat er uit spring’, een sterk punt van de aanmelder. Een TIP staat voor ‘wat vraagt aandacht’, ‘wat is een risicofactor?’ Wij benoemden de sterke kwaliteiten en de minder sterke kanten, risicofactoren van de aanmelder. Er werd geadviseerd deze
7
• • • •
bespreekbaar te maken bij de slb-er, 80% van de geënquêteerde studenten heeft dit ook gedaan. Schriftelijke informatie uitgedeeld. Starten met een persoonlijke benadering Er is niet geselecteerd naar risicoprofiel In het gesprek verwijzen naar de introductieweek, in het bijzonder startdata i.v.m. vakantieplanning.
De projectleider van ‘Een succesvolle hbo-carriere’ heeft contact gehad met de projectleider van het project ‘Boeien en Binden’ om ervaringen uit te wisselen. Er is over de volgende onderwerpen informatie uitgewisseld: Ervaringen met opkomst n.a.v. de uitnodiging voor een individueel gesprek Bij ‘Boeien en binden’ kregen de studenten een persoonlijke uitnodiging en als ze niet reageerden nog een mail. Over het algemeen was de opkomst erg goed. De opleidingen die deelgenomen hebben waren kleine opleidingen waar je kennis opdoet voor een meer specialistisch beroep. Studenten kiezen hier over het algemeen bewuster voor. Studenten voelden zich vereerd om uitgenodigd te worden voor een gesprek. Aan het project ‘Een succesvolle hbo carrière’ deden grote economische opleidingen mee waarbij minder duidelijk is voor welk beroep je wordt opgeleid. De opkomst was ongeveer 50%. Vrijblijvendheid deelname studiestartgesprek De opkomst bij boeien en binden was over het algemeen goed. Studenten konden niet verplicht worden om te komen. Er was sprake van kleine aantallen. Het kwam voor dat studenten niet op kwamen dagen of zich ziek meldden. Dit was lastig voor de betrouwbaarheid van het onderzoek omdat ze kleine aantallen overhielden. Er werd wel een aankondiging gestuurd waarbij de student al kon zich dat hij/zij was ingedeeld. Dit maakte het voor de student wel lastiger om weg te blijven omdat ze konden lezen dat er al gerekend werd op zijn/ haar komst, aldus de projectleider. Bij ‘Een succesvolle hbo carrière’ kreeg de student ook een aankondiging en een uitnodiging en werd vervolgens via mail of telefonisch herinnerd als hij/zij niet reageerde. Resultaten t.a.v. uitval en rendement Bij Boeien en Binden was het lastig om kwantitatief iets te kunnen zeggen over de uitval en het rendement. Dit i.v.m. de kleine aantallen waarbij het onderzoek moest worden uitgevoerd. Hier kon de projectleider geen duidelijke uitspraken over doen. Welk resultaat is het meeste bijgebleven Het resultaat wat de projectleider van Boeien en Binden het meeste bij is gebleven was dat het goed was om gebruik te maken van studieloopbaanbegeleiders en ouderejaars studenten. De studieloopbaanbegeleiders maken in een vroeg stadium kennis met de student en de ouderejaars konden goed vertellen over hun ervaringen t.a.v. de studie. Evaluatie: ‘Boeien en Binden’ heeft gebruik gemaakt van studieloopbaanbegeleiders en ouderejaarsstudenten en driehoeksgesprekken gevoerd. Dit is voor de meer specialistisch gerichte opleidingen die hebben deelgenomen. De TOP en de TIP en het benoemen van kwaliteiten en risicofactoren komt enigszins overeen en willen we voor de toekomst ook deel uit laten maken van het studiestartgesprek. Dit is laagdrempelig en concreet voor de student. Je geeft een positief iets mee en een suggestie. ‘Boeien en Binden’ en ‘Een succesvolle hbo carrière’ hebben beiden niet geselecteerd naar een specifiek risicoprofiel, dit is iets waar in de toekomst veel meer rekening mee gehouden kan worden. Niet elke student hoeft in aanmerking te komen voor een studiestartgesprek.
8
9
3. Resultaatevaluatie Onze doelpopulatie bestaat uit studenten met vooropleiding havo of mbo, die zich hebben aangemeld voor de richtingen CO, CE of MER van de gemeenschappelijke propedeuse (A-cluster). Ons doel is om na te gaan of van de experimentele groep 1 studenten die een studiestartgesprek hebben gehad minder uitvallen dan de studenten uit de andere groepen. En of deze studenten meer studiepunten halen dan studenten uit de andere groepen. Mocht dit het geval blijken te zijn, dan is dat een ondersteuning voor de bewering dat het studiestartgesprek een positieve uitwerking heeft op het studieresultaat van de student. Daarbij zijn we ons er goed van bewust dat een positieve samenhang niet automatisch impliceert dat dit alleen door de studiestartgesprekken veroorzaakt. Andere variabelen die wij niet onder controle kunnen houden kunnen ook een rol spelen. En ook kan er via de uitnodiging tot een gesprek een selectiemechanisme in werking gezet zijn, waarbij vooral de meest gemotiveerde studenten op de uitnodiging zijn ingegaan, en de minder gemotiveerde studenten de uitnodiging hebben afgeslagen. Betere resultaten na een half jaar voor de studenten die op gesprek zijn geweest dan voor de anderen is dus zeker geen sluitend bewijs voor het succes van het startgesprek.
10
3.1 Effectmeting In onderstaande tabel volgt een korte samenvatting van de belangrijkste resultaten en conclusies. Een toelichting met meer details volgt in de paragrafen daarna. Variabele
Operationalisatie
Effect van studiestartgesprekken op studiesucces.
Gemiddeld aantal behaalde studiepunten (EC’s) Gemeten februari 2011
Preadviezen na een half jaar
Benchmark Resultaten Controlegroepen: Groep 2. Studenten die zijn uitgenodigd maar niet zijn gekomen en in februari nog actief zijn (n=49) Groep 3. Studenten die niet zijn uitgenodigd en in september begonnen zijn aan de opleiding en februari nog actief zijn (n=284) Groep 2. 43% 22,5 ec of meer Groep 3. 39% 22,5 ec of meer
Uitkomst onderzoeksgroep Groep 1. Studenten die uitgenodigd zijn voor een gesprek en zijn gekomen en in februari nog actief zijn (n=59)
Oordeel
Groep 1. 63% 22,5 ec of meer
++ De studenten die op studiestartgesprek zijn geweest (groep 1) scoren wat studiepunten betreft duidelijk beter dan de andere twee groepen
Toelichting resultaten vindt u in 3.1.1 Van groep 3. heeft 20% minder dan 7,5 ec
Groep 2. 43% positief Groep 3. 39% positief
Groep 1. 63% positief Toelichting resultaten vindt u in 3.1.2
Percentage uitvallers en omzwaaiers
Groep 2. 35% uitval Groep 3. 31% uitval
Groep 1. 25% uitval Toelichting resultaten vindt u in 3.1.3
11
++ De studenten die op gesprek zijn gekomen krijgen veel vaker een positieve brief dan de andere twee groepen. +
Studenten uit groep 1 vallen wel minder uit (10% minder uitval), maar dit verschil is niet
signifcant te noemen.
Effect van studiestartgesprekken op de instroom.
Percentage niet starters
Groep 2. Studenten die zijn uitgenodigd maar niet zijn gekomen (n=108) Groep 2. 30% niet gestart volgens plan Toelichting resultaten vindt u in 3.1.4
12
Groep 1. Studenten die uitgenodigd zijn voor een gesprek en op gesprek zijn geweest (n=98) Groep 1. 20% niet gestart volgens plan
Eindoordeel: ++ Van de personen die een studiestartgesprek hadden beginnen er beduidend meer ook daadwerkelijk aan de geplande studie dan de experimentele groep 2.
We hebben naast de analyses voor onze totale doelpopulatie een aparte analyse gemaakt voor de Communicatie(CO)-studenten. Het gaat hierbij om aanzienlijk kleinere aantallen studenten die voor een gesprek zijn uitgenodigd. Daardoor geven de onderzoeksresultaten voor deze subgroep veel minder duidelijke verschillen dan we bij het totaalonderzoek vonden. In onderstaande tabel volgt een korte samenvatting van de belangrijkste resultaten en conclusies voor de CO-studenten afzonderlijk. Een toelichting met meer details volgt in de paragrafen daarna. Opleiding Communicatie Variabele
Operationalisatie
Effect van studiestartgesprekken op studiesucces.
Gemiddeld aantal behaalde studiepunten (EC’s) Gemeten februari 2011
Benchmark Resultaten Controlegroepen: Groep 2. Studenten die zijn uitgenodigd maar niet zijn gekomen en in februari nog actief zijn (n=10) Groep 3. Studenten die niet zijn uitgenodigd en in september begonnen zijn aan de opleiding en februari nog actief zijn (n=58) Groep 2. 70% 22,5 ec of meer Groep 3. 33% 22,5 ec of meer
Uitkomst onderzoeksgroep Groep 1. Studenten die uitgenodigd zijn voor een gesprek en zijn gekomen en in februari nog actief zijn (n=19)
Oordeel
Groep 1. 63% 22,5 ec of meer
+ De studenten die voor een studiestartgesprek zijn uitgenodigd (groepen 1 en 2) scoren wat studiepunten betreft beter dan de controlegroep (niet significant door de kleine aantallen)
Toelichting resultaten vindt u in 3.1.1
13
Preadviezen na een half jaar
Groep 2. 70% positief Groep 3. 33% positief
Groep 1. 63% positief Toelichting resultaten vindt u in 3.1.2
Percentage uitvallers en omzwaaiers
Groep 2. 31% uitval Groep 3. 36% uitval
Groep 1. 26% uitval
Groep 2. Studenten die zijn uitgenodigd maar niet zijn gekomen en in september zijn gestart (n=25) Groep 3. Studenten die niet zijn uitgenodigd en in september zijn gestart (n=206)
Effect van studiestartgesprekken op de instroom.
Percentage niet starters
Groep 2. 35% niet gestart volgens plan Groep 2. Studenten die zijn uitgenodigd maar niet zijn gekomen (n=23)
14
Groep 1. Studenten die uitgenodigd zijn voor een gesprek in september zijn gestart (n=32)
+ De studenten die voor een gesprek zijn uitgenodigd krijgen veel vaker een positieve brief dan de controlegroep.
++ Studenten uit groep 1. vallen wel minder uit maar dit verschil is niet signifcant.
Toelichting resultaten vindt u in 3.1.3
Groep 1. 30% niet gestart volgens plan Groep 1. Studenten die uitgenodigd zijn voor een gesprek en op gesprek zijn geweest (n=34) Toelichting resultaten vindt u in 3.1.4
Eindoordeel: + Van de personen die een studiestartgesprek hadden beginnen er meer ook daadwerkelijk aan de geplande studie dan de experimentele groep 2. Door de kleine aantallen is dit verschil niet significant.
3.1.1 Effect op gemiddeld aantal behaalde studiepunten Bij bestudering van het effect van een studiestartgesprek op het aantal behaalde studiepunten, blijven alleen de studenten over die in februari 2011 nog actief zijn als student bij een van de opleidingen uit onze doelpopulatie. Een eerste overzicht geeft: Behaalde studiepunten * Type student binnen het experiment (aantallen)* status februari 2011 status februari 2011
actief
Type student binnen het experiment
controlegroep
is op gesprek gekomen
is niet op uitnodiging ingegaan
Totaal
15
1
1
17
7.5
39
5
2
46
15
119
16
25
160
22.5
59
24
14
97
30
52
13
7
72
284
59
49
392
Behaalde studiepunten 0
Totaal
Voor de volledigheid: het A-cluster van de propedeuse is onderverdeeld in vier studie-eenheden van elk 7,5 credits. Zolang binnen een eenheid niet alles gehaald is, worden er geen studiepunten gegeven. Vandaar dat de tabel maar vijf uitkomsten voor “behaalde studiepunten” laat zien. Verder is het mogelijk om een extra taal te kiezen. Die wordt verspreid over het hele eerste jaar aangeboden. Dus dit blok (van 5 credits) kun je na het eerste semester nog niet afgerond hebben. Dezelfde tabel, nu voor alleen de CO-studenten. Behaalde studiepunten * Type student binnen het experiment (aantallen) status februari 2011
actief
Type student binnen het experiment
controlegroep
is op gesprek gekomen
is niet op uitnodiging ingegaan
Totaal
4
0
0
4
7.5
6
2
0
8
15
29
5
3
37
22.5
14
9
5
28
30
5
3
2
10
58
19
10
87
Behaalde studiepunten 0
Totaal
15
Behaalde studiepunten * Type student binnen het experiment (percentages) Type student binnen het experiment
controlegroep
is op gesprek gekomen
is niet op uitnodiging ingegaan
Totaal
5%
2%
2%
4%
Kolompercentages
Behaalde studiepunten
0 7.5
14%
8%
4%
12%
15
42%
27%
51%
41%
22.5
21%
41%
29%
25%
18% 100%
22% 100%
14% 100%
18% 100%
30 Totaal
We zien dat er significante verschillen zijn tussen de drie groepen (Chi kw.=19.4, sig.=0,014). Kijken we naar de kolompercentages en naar de grafiek, dan zien we dat de studenten die op gesprek zijn geweest meer studiepunten halen dan de anderen. Binnen de studiestartgesprekgroep haalt meer dan 60% alle of ten minste 22,5 van de 30 studiepunten. Wat verder opvalt, is dat er binnen de controlegroep relatief veel studenten zijn (bijna 20%) die geen of maar 7,5 studiepunten hebben behaald. De vraag is of de vooropleiding nog een rol van betekenis speelt bij het aantal behaalde studiepunten. We hebben een generalized linear model m.b.v. SPSS doorgerekend. Dan blijkt dat de variabele “type student binnen het experiment” wel een verklarend effect heeft op het behaalde aantal studiepunten, maar de vooropleiding niet. Havisten hebben iets meer studiepunten dan mbo-ers, maar dit verschil is niet significant.
16
Wanneer we ons beperken tot alleen de CO-studenten dan worden de verwachte aantallen per cel een stuk kleiner en is een chikwadraattoets niet langer uitvoerbaar (9 cells (60.0%) have expected count less than 5. The minimum expected count is 46. Zoals de CO-variant van de grafiek laat zien, doen de CO-studenten die voor een gesprek zijn uitgenodigd het wel beter dan de studenten uit de controlegroep, maar het verschil tussen de experimentele groepen 1 en 2 (met resp. 19 en 10 studenten) is hier niet terug te zien. Dezelfde tabel, nu voor alleen de CO-studenten. Behaalde studiepunten * Type student binnen het experiment (kolompercentages) status februari 2011
Type student binnen het experiment
controlegroep actief
Behaalde studiepunten 0
Totaal
is op gesprek gekomen
is niet op uitnodiging ingegaan
7%
Totaal 5%
7.5
10%
11%
9%
15
50%
26%
30%
43%
22.0
24%
47%
50%
32%
30
9%
16%
20%
11%
100%
100%
100%
100%
Conclusies: 1. De studenten die op studiestartgesprek zijn geweest scoren wat studiepunten betreft duidelijk beter dan de andere twee groepen. 2. De verschillen in behaalde studiepunten tussen havisten en mbo-ers zijn gering, maar ha-
17
visten doen het iets beter. 3. Beperken we ons tot de CO-studenten, dan doen degenen die voor een gesprek zijn uitgenodigd het wel beter dan de studenten uit de controlegroep, maar het verschil tussen de experimentele groepen 1 en 2 (met resp. 19 en 10 studenten) is hier niet terug te zien. (Door de kleine aantallen kan een chikwadraattoets hier niet gebruikt worden.) 3.1.2 Preadviezen na een half jaar Na een half jaar studeren wordt voor iedere student een eerste balans opgemaakt van de studieresultaten. Elke student krijgt naar aanleiding hiervan een brief met een voorlopig studieadvies. Als iemand minder dan 22,5 studiepunten heeft behaald, dan is het advies negatief verwoord en wordt de student dringend aangeraden om contact op te nemen met zijn of haar studieloopbaanbegeleider om de situatie door te spreken en te zoeken naar verbeteringen. Als iemand 22,5 studiepunten of meer heeft behaald, dan is het advies positief verwoord en is er op dat moment geen reden tot ongerustheid. Wij hebben onderzocht welke brieven de studenten uit de 3 groepen hebben ontvangen in februari 2011. Daarbij zijn we vooral benieuwd naar de experimentele groep 1, de studenten die een studiestartgesprek hebben gehad. Doen zij het beter dan de anderen? Hieronder de resultaten: adviesbrief * Type student binnen het experiment Type student binnen het experiment
adviesbrief
negatief
positief Totaal
Controlegroep
is op gesprek gekomen
is niet op uitnodiging ingegaan
173
22
28
60.9%
37.3%
57.1%
111
37
21
39.1%
62.7%
42.9%
284
59
49
100.0%
100.0%
100.0%
Totaal 223 56.9% 169 43.1% 392 100.0%
De conclusie is helder. Er zijn overduidelijk verschillen tussen de drie groepen (chikw.=11,12; sig.=0,004). Dezelfde tabel, nu voor alleen de CO-studenten. adviesbrief * Type student binnen het experiment Type student binnen het experiment
controlegroep adviesbrief
negatief positief
Totaal
is op gesprek gekomen
is niet op uitnodiging ingegaan
39
7
3
67.2%
36.8%
30.0%
19
12
7
32.8%
63.2%
70.0%
58
19
10
100.0%
100.0%
100.0%
18
Totaal 49 56.3% 38 43.7% 87 100.0%
De conclusie is weer dat er overduidelijk verschillen zijn tussen de drie groepen (chikw.=8,56; sig.=0,014). De controlegroep doet het duidelijk slechter dan de studenten die uitgenodigd zijn voor een gesprek. En het is ook meteen duidelijk uit de kolompercentages van de kruistabel waar dat verschil in zit. De studenten die op gesprek zijn gekomen, krijgen veel vaker een positieve brief dan de andere twee groepen. Opmerking: als we havisten en mbo-ers vergelijken als het gaat om het type brief, dan blijkt dat er geen verschil is. Conclusie: Als we het studiesucces tijdens het eerste half jaar afmeten aan het type adviesbrief dat elke student krijgt na het eerste semester, dan doen de studenten die op gesprek zijn geweest het duidelijk beter dan de anderen. Van de studenten die op gesprek zijn geweest krijgt 63% een positieve brief. Van de studenten uit de andere twee groepen krijgt maar 40% een positieve brief. Beperken we ons tot alleen de CO-studenten, dan krijgen de studenten die voor een gesprek zijn uitgenodigd veel vaker een positieve adviesbrief dan de studenten uit de controlegroep. Het verschil tussen degenen die wel en die niet op gesprek zijn gekomen na de uitnodiging zien we niet terug. 3.1.3 Effect op percentage uitvallers en omzwaaiers De onderstaande tabel geeft de uitval na een half jaar studie aan. Type student binnen het experiment * status februari 2011 status controlegroep is op gesprek gekomen is niet op uitnodiging ingegaan Totaal
Actief
niet actief
Totaal
287
130
417
68.8%
31.2%
100.0%
59
20
79
74.7%
25.3%
100.0%
49
26
75
65.3%
34.7%
100.0%
395
176
571
69.2%
30.8%
100.0%
Conclusie: Kijkend naar de rijpercentages ontstaat de indruk dat de groep die op gesprek gekomen is het beste scoort ten aanzien van uitval. Dit verschil is niet significant (chikw.=1,7, sig.=0,434). Dus een verschil in uitval kunnen we niet toeschrijven aan studiestartgesprekken.
19
Dezelfde tabel, nu voor alleen de CO-studenten. Type student binnen het experiment * status februari 2011 status controlegroep is op gesprek gekomen is niet op uitnodiging ingegaan Totaal
actief
niet actief
Totaal
153
53
206
74.3%
25.7%
100.0%
22
10
32
68.8%
31.3%
100.0%
16
9
25
64.0%
36.0%
100.0%
191
72
263
72.6%
27.4%
100.0%
De conclusie voor de subgroep van de CO-studenten is hetzelfde als voor de totale groep. Er zijn geen significante verschillen (chikw.=1,46, sig.=0,482). Een verschil in uitval kunnen we ook hier niet toeschrijven aan studiestartgesprekken. Eerste conclusies: 1. 31% van de studenten (vooropleiding havo of mbo) die in september 2010 gestart zijn met een opleiding CE, CO of MER is binnen één semester weer vertrokken. 2. De verschillen in uitval tussen de drie besproken groepen zijn niet significant. Er is geen reden om te zeggen dat de ene groep minder uitval laat zien dan de andere. In het bijzonder is niet vastgesteld dat de studenten die een studiestartgesprek hebben gehad minder uitval vertonen dan de andere studenten. 3. Voor CO studenten geldt dat de uitval in het eerste semester 27% is. Ook hier zijn er geen significante verschillen tussen de studenten die een startgesprek hebben gehad en de anderen. Maar dit is niet het einde van het verhaal! Er zijn namelijk meer variabelen in het spel. De vooropleiding (HAVO of MBO) speelt waarschijnlijk een rol bij het succes in het eerste semester van de studie. En we weten dat de totale instroom meer havisten bevat dan mbo-ers, maar dat we bij ons experiment een quota steekproef hebben genomen, om te zorgen dat we bij elke combinatie van vooropleiding en gekozen richting een minimaal aantal studenten in ons experiment hebben. Daardoor is onze experimentele groep qua vooropleiding niet gelijk aan de controlegroep. Dit maakt de analyse ingewikkelder. We moeten dus gaan kijken naar twee verklarende variabelen met status in februari (actief/niet actief) als gevolg. Een generalized linear models analyse in SPSS met de status in februari 2011 als dependent en met de variabelen experiment en vooropleiding als factoren levert de benodigde analyse. We vinden geen nieuwe verbanden. Verdere conclusies: 1. De vooropleiding HAVO of MBO maakt in onze doelgroep (CE, CO en MER) geen verschil met betrekking tot uitval in het eerste semester van de studie. 2. Kijken we naar de combinatie van vooropleiding en type student in ons onderzoek, dan blijken er ook geen noemenswaardige verschillen te zijn. In het bijzonder is niet vastgesteld dat de studenten die een studiestartgesprek hebben gehad minder uitval vertonen dan de andere studenten. Dit geldt ook voor havisten en voor mbo-ers afzonderlijk.
20
3.1.4 Effect op percentage niet starters Hier kunnen we alleen de experimentele groep 1 (met gesprek) vergelijken met de experimentele groep 2 (uitgenodigd, maar geen gesprek). Groep 1: de studenten die op gesprek zijn gekomen. Status in september 2010 Gestart volgens plan
79
80.6%
Niet gestart volgens plan
19
19.4%
Totaal
98
100.0%
Status in februari 2011 Actief
59
60.2%
74.7%
Niet actief
20
20.4%
25.3%
Uit doelgroep verdwenen
19
19.4%
Totaal
98
100.0%
Waarvan 10% niet actief op de FEM Waarvan 9.4% actief op de FEM, maar niet volgens de onderzoekscriteria
We zien dat bijna 20% van groep 1 niet gestart is met de opleiding die ze van plan waren toen ze voor de zomervakantie op gesprek kwamen. Dit heeft verschillende oorzaken. Zo zijn een aantal studenten wel actief aan de FEM, maar niet in het A-cluster van de propedeuse. Sommige hebben een andere richting gekozen binnen de FEM. Deze studenten zijn uit de doelgroep verdwenen, dus formeel “uitvallers” maar ze zijn niet uitgevallen. Het percentage studenten dat wel op gesprek is geweest maar in september 2010 niet aan de FEM studeerde is 10%. Van de 79 studenten die wel gestart zijn, is 25% binnen een half jaar uitgevallen. Dezelfde tabellen, nu voor alleen de CO-studenten Status in september 2010 Gestart volgens plan 24 70,6% Niet gestart volgens plan
10
29,4%
Totaal
34
100.0%
Status in februari 2011 Actief
19
55,9%
79,2%
Niet actief
5
14,7%
20,8%
Uit doelgroep verdwenen
10
29,4%
Totaal
34
100.0%
Groep 2: de studenten die zijn uitgenodigd voor een gesprek, maar die niet op de uitnodiging zijn ingegaan. Status in september 2010 Gestart volgens plan
75
69,4%
Niet gestart volgens plan
33
30,6%
Totaal
108
100%
21
Status in februari 2011 Actief
49
45.4%
Niet actief
26
24.1%
Uit doelgroep verdwenen
33
30.6%
Totaal
108
100.0%
65.3% 34.7% Waarvan 20% niet actief op de FEM Waarvan 10,6% actief op de FEM, maar niet volgens de onderzoekscriteria
100%
We zien dat ruim 30% van groep 2 niet gestart is met de opleiding die ze van plan waren toen ze de uitnodiging voor een gesprek kregen. Het percentage studenten uit de experimentele groep 2 dat in september 2010 niet aan de FEM studeerde is 20%. Van de 75 studenten die wel gestart zijn, is 35% binnen een half jaar uitgevallen. Dezelfde tabellen, nu voor alleen de CO-studenten Status in september 2010 Gestart volgens plan 15 65,2% Niet gestart volgens plan
8
34,8%
Totaal
23
100%
Status in februari 2011 Actief
10
43,5%
66,7%
Niet actief
5
21,7%
33,3%
Uit doelgroep verdwenen
8
34,8%
Totaal
23
100.0%
Conclusies: 1. Van de personen die een studiestartgesprek hadden beginnen er beduidend meer ook daadwerkelijk aan de geplande studie dan de experimentele groep 2. Dit verschil is significant (Fisher exact eenzijdige sig. = 0,046). 2. Onder de starters met gesprek is de uitval kleiner, dan bij de experimentele groep 2. Dit verschil is niet significant (Fisher exact eenzijdige sig. = 0,14). 3. Wanneer we ons beperken tot de CO-studenten, dan is er geen verschil tussen de personen die wel of geen gesprek gehad hebben, wat betreft starten in september met de geplande opleiding (Fisher exact eenzijdige sig. =0.443). Onder de starters met gesprek is de uitval kleiner, dan bij de experimentele groep 2. Dit verschil is niet significant (Fisher exact eenzijdige sig. = 0,31)
3.2 Oordeel van deelnemer over nut Er is een online evaluatie-enquête verstuurd naar de personen die een studiestartgesprek hebben gehad. Van de 98 studenten die op gesprek zijn geweest, zijn er uiteindelijk 79 met een opleiding aan de FEM zijn begonnen. 19 personen zijn iets anders gaan doen. Dus: • 5 van de 19 personen (26%) die iets anders zijn gaan doen, hebben de enquête toch ingevuld. • 56 van de 79 studenten (71%) die in september aan de FEM zijn begonnen, hebben de enquête ingevuld.
22
De belangrijkste resultaten van deze enquête worden hieronder weergegeven. Van de 5 personen die wel een gesprek hebben gehad niet zijn gestart met een opleiding aan de FEM, daarvan heeft 1 op grond van het gesprek iets anders gekozen en 1 persoon heeft besloten dat de HAN te ver weg was. Dit is daardoor ook een succesvol gesprek. Vraag 21: Kun je kort toelichten waarom je van mening bent veranderd?
Onze conclusie
Het was niets voor mij, ik houd meer van creatief bezig zijn. Ik heb besloten een half jaar te gaan werken. Nu begin ik februari 2011 met de opleiding communicatie aan de HAN. Omdat de HAN te groot voor mij was en ik op een andere school wel de zelfde opleiding doe, maar omdat dat dichter bij is. Ik moet voor de HAN 3 keer overstappen en dat kostte mij te veel tijd! omdat ik gezakt ben sport gezondheids management leek me leuker
Succesvol Enigszins succesvol Succesvol
Jammer Succesvol
Het gaat om een klein aandeel, maar de indruk is wel dat voor de afhakers het studiestartgesprek van nut is geweest. Wat vonden de 56 studenten die in september 2010 begonnen zijn aan een opleiding van het gesprek? Vraag 6: Tijdens het gesprek ben ik geïnformeerd over de volgende factoren die van belang zijn voor mijn studiesucces: helemaal oneens De lessen voorbereiden en volgen Goed kunnen plannen en prioriteiten stellen Initiatief nemen Sturen van je eigen studieloopbaan Doorzettingsvermogen Motivatie Zelfkennis
oneens
eens
helemaal eens
Totaal
8
18
24
6
56
14.3% 5 8.9% 6 10.7% 5 8.9% 5 8.9% 5 8.9% 5
32.1% 11 19.6% 15 26.8% 17 30.4% 10 17.9% 9 16.1% 16
42.9% 29 51.8% 28 50.0% 29 51.8% 30 53.6% 29 51.8% 27
10.7% 11 19.6% 7 12.5% 5 8.9% 11 19.6% 13 23.2% 8
100.0% 56 100.0% 56 100.0% 56 100.0% 56 100.0% 56 100.0% 56
8.9%
28.6%
48.2%
14.3%
100.0%
De meesten zijn tevreden, maar een royale minderheid van meer dan 30% vindt bij vier van de zes aspecten dat de informatieve waarde van het studiestartgesprek onvoldoende is geweest. Vraag 12: Door het gesprek heb ik inzicht gekregen in welke mate ik de volgende vaardigheden beheers: helemaal oneens Jezelf kunnen motiveren Initiatief nemen
oneens
eens
helemaal eens
Totaal
4
22
27
1
54
7.4% 4 7.4%
40.7% 16 29.6%
50.0% 28 51.9%
1.9% 6 11.1%
100.0% 54 100.0%
23
Kunnen organiseren Kunnen plannen Prioriteiten stellen Kunnen samenwerken Kunnen concentreren Zelfstandig kunnen studeren
4 7.4% 4 7.4% 4 7.5% 4 7.4% 4 7.5% 4
21 38.9% 20 37.0% 19 35.8% 19 35.2% 24 45.3% 17
24 44.4% 27 50.0% 26 49.1% 25 46.3% 22 41.5% 29
5 9.3% 3 5.6% 4 7.5% 6 11.1% 3 5.7% 4
54 100.0% 54 100.0% 53 100.0% 54 100.0% 53 100.0% 54
7.4%
31.5%
53.7%
7.4%
100.0%
Deze uitslag geeft te denken. Meer dan 40% van de respondenten vindt bij alle aspecten van vraag 12 dat inzicht in eigen studievaardigheden door het studiestartgesprek onvoldoende is bevorderd. Een van de bedoelingen van het studiestartgesprek was om het inzicht in tekorten in de eigen studievaardigheden te bespreken met de slb-er. Uit de antwoorden op vraag 13 blijkt dat dit gelukt is. Vraag 13: Mijn minder sterke studievaardigheden heb ik bespreekbaar gemaakt tijdens het kennismakingsgesprek met mijn studieloopbaanbegeleider.
Ja
Aantal 44
Percentage 81.5
Nee
10
18.5
Totaal
54
100.0
Vraag 14: Het studiestartgesprek heeft voor mij een meerwaarde gehad ten aanzien van de volgende aspecten: helemaal oneens Opzet propedeuse Inhoud propedeuse Factoren succesvolle studievoortgang Eigen studievaardigheden
oneens
eens
helemaal eens
Totaal
3
8
29
14
54
5.6% 4 7.5% 4 7.7% 5
14.8% 12 22.6% 14 26.9% 17
53.7% 29 54.7% 30 57.7% 30
25.9% 8 15.1% 4 7.7% 2
100.0% 53 100.0% 52 100.0% 54
9.3%
31.5%
55.6%
3.7%
100.0%
Dit bevestigt het beeld van de eerdere antwoorden. Allereerst is duidelijk dat de opzet van de propedeuse helder is geworden voor bijna alle studenten. Voor veel personen heeft een studiestartgesprek zijn waarde wel, maar voor een ruime minderheid van de respondenten heeft het studiestartgesprek onvoldoende meerwaarde gehad t.a.v. 3 aspecten van de 4 aspecten.
24
Vraag 16: Zou een studiestartgesprek verplicht moeten zijn voor nieuwe studenten? Aantal Percentage Nee, maar wel mogelijk als de student het wil Ja, maar alleen voor studenten die geen voorlichtingsactiviteiten hebben bezocht Ja, voor iedereen Ja, maar alleen voor....a Nee, een studiestartgesprek heeft geen zin Totaal a
: maar alleen • • •
29 11
53.7 20.4
8 3 3 54
14.8 5.6 5.6 100.0
voor: die er interesse in hebben mbo-studenten studenten die op het nippertje geslaagd zijn en niet volledig achter de studiekeuze staan.
Deze tabel geeft een duidelijk antwoord op de vraag of de studenten een verplicht gesprek nodig vinden. Dat vinden ze niet. Uit deze enquête blijkt dat als we een verplicht studiestartgesprek in deze vorm gaan invoeren, dit voor een groot aantal studenten geen meerwaarde zal hebben. Wat vonden de respondenten van de organisatie van het gesprek? Dat kwam aan bod in vragen 17, 18 en 19. De organisatie en communicatie is goed beoordeeld door 80 tot 90 % van de respondenten. Vraag 20: Wat vond je van de wijze waarop de studieadviseur het gesprek heeft gevoerd?, uitgesplitst naar gesprekspartner Over het algemeen waren de studenten tevreden. De feedback en de kritiekpunten zijn door de eindverantwoordelijke van het project met de studieadviseurs besproken. 3.3 Oordeel van gespreksvoerders over het nut van de gekozen aanpak De volgende onderdelen zijn geëvalueerd met de gespreksvoerders: Materiaal dat is gebruikt voor de studiestartgesprekken Hoe vond je het materiaal om mee te werken? Als we hetzelfde onderzoek opnieuw zouden doen, had je dan wijzigingen/aanvullingen t.a.v. het materiaal? Antwoord: ‘Het draaiboek was met name in het begin handig omdat er veel handelingen bij kwamen kijken. Zodra gewend/ervaren was dit niet meer nodig. Flyer vonden studenten leuk om mee te krijgen. Konden ze de informatie nog een rustig nalezen. Studiegids was handig om bij de hand te hebben. Een schema over de opzet van het onderwijsprogramma was handig om te gebruiken. Interviewformulier werd gebruikt als interview checklist om op het einde na te lopen of alles wel verteld had. Bij veel gesprekken op 1 dag is dat erg nuttig!’ De voorbereiding voor het houden van de gesprekken: Je hebt een training gesprekstechnieken gehad en een toelichting voor het gebruiken van de documenten in het draaiboek. Hoe zou je deze beoordelen? Antwoord: Duidelijk om een toelichting te krijgen over hoe de documenten te gebruiken en waarvoor precies. De training gesprekstechnieken gaf inzicht in je eigen houding als gespreksleider. We kregen tips als hoe ga je zitten, welke houding neem je aan. Hoe stel je de vragen. Hiervoor werd de STAR methode (Situatie, Taken, Actie, Resultaat) besproken. Dit was zinnig. Als we hetzelfde onderzoek opnieuw zouden doen, zou je dan wijzigingen/aanvullingen hebben t.a.v. de voorbereiding? 25
De training gesprekstechnieken werd gegeven door een studieadviseur. Zij zegt het volgende; ‘Bij opnieuw een training zou ik de focus graag meer leggen bij de gespreksinhoud en gespreksvaardigheden i.p.v. bij de procedure zoals nu uiteindelijk het zwaartepunt kwam te liggen’. De projectleider zou de administratieve handelingen meer uit handen geven, zodat ze het proces nog beter kan begeleiden. Over het algemeen wel tevreden over het verloop. Afspraken plannen en administratieve werkzaamheden Hoe verliep het maken van de afspraken met de aanmelders. Voor het inplannen van de afspraken heeft iedere studieadviseur haar eigen manier gevonden. Bijvoorbeeld: • 3 data met tijden / keuze laten aan de aanmelder. De aanmelder geeft aan wanneer hij/zij kan • Per e-mail uitnodigen met een datum. Je stelt een datum vast. Als de aanmelder niet kan, dan stel je nieuwe data voor in overleg met de aanmelder Het plannen van afspraken, registreren, lijsten van aanmelders selecteren neemt veel tijd in beslag. De verschillen in aanpak voor het plannen van de afspraken heeft geen invloed gehad op het beoogde aantal gesprekken dat de studieadviseur zou doen. Iedere studieadviseur heeft aan haar aantal geplande gesprekken voldaan. Intakeformulier De volgende opmerkingen zijn geformuleerd t.a.v. het intakeformulier: • De formulering van de vragen opnieuw bekijken als er nieuwe studiestartgesprekken gevoerd gaan worden voor februaristart. Soms krijg je antwoorden van aanmelders waaruit blijkt dat de vraag niet begrepen is • Invullen van het intakeformulier is al erg goed om zich bewust te maken • Misschien aanmelders uitnodigen voor een gesprek a.d.h.v. hoe ze het intakeformulier hebben ingevuld • Meer over het B-cluster en opbouw opleiding + inhoud verwerken in het studiestartgesprek? • Prettige gesprekken. Wel steeds hetzelfde verhaaltje, kan eentonig zijn. Prettig als er vragen van de aanmelder komen • Werkvormen- type lessen niet in het intakeformulier opnemen? • Overzicht toevoegen opleidingen/instituten. • Overzicht opbouw opleiding toevoegen Doelgroep aanmelder De volgende opmerkingen zijn geformuleerd t.a.v. de doelgroep aanmelders: • Allemaal gemotiveerde aanmelders die reageren • Het is opvallend dat aanmelders met een buitenlandse naam niet tot slecht reageren • Andere doelgroep bereiken voor een studiestartgesprek Overig De studieadviseurs hebben regelmatig te horen gekregen van de personen die op gesprek zijn geweest dat ze het fijn vonden om te worden uitgenodigd en dat ze het een nuttig gesprek vonden. Conclusies en aanbevelingen Wat kunnen we tot nu toe zeggen over de gesprekken: • Het vermoeden is dat we nu in mindere mate de doelgroep spreken waarvan we denken dat zij juist een studiestartgesprek kunnen gebruiken • Administratieve handelingen rondom de studiestartgesprekken verminderen voor de studieadviseurs • Intakeformulier bijstellen wanneer we nieuwe studiestartgesprekken gaan voeren met de aanmelders voor de februaristart
26
4. Procesevaluatie In deze paragraaf volgt de procesevaluatie. In onderstaande tabel staat een korte evaluatie/reflectie over de genoemde punten tot nu toe. Daarnaast wordt aangegeven hoe de punten in de toekomst geëvalueerd zullen worden.
4.1 Reflectie terug Gerealiseerd ontwerp
Een aantal zaken is anders gegaan dan in de eerste opzet beschreven stond. Het gaat om de volgende zaken: • Er was sprake van een experimentele groep en één controlegroep. Later is de groep die niet heeft gereageerd op de uitnodiging voor een studiestartgesprek als controlegroep toegevoegd aan het onderzoek naar de effectmetingen. • Studenten zijn per e-mail benaderd voor een afspraak en telefonisch • De steekproef is niet door iedereen gebruikt. Als er een korte lijst met aanmelders werd aangeleverd kwam het voor dat de studieadviseur alle aanmelders een uitnodiging stuurde • In plaats van 100 aanmelders hebben 98 aanmelders een gesprek gehad
Uitvoeringsproblemen
Wat was moeilijk of ging niet goed?
Uitvoeringssuccessen
•
Het administratieve gedeelte van het project kost erg veel tijd (aanmelders selecteren, aankondiging onderzoek versturen, uitnodigingen versturen, gespreksformulieren invoeren, afspraak maken, registratieformulier bijhouden). Dit was meer dan vooraf de verwachting was. Het selecteren van aanmelders gebeurde vanuit het centrale studentensysteem. Je moest o.a. van meerdere opleidingen de juiste selecties maken, zorgen dat je niet dezelfde aanmelders een nieuw aankondiging stuurde en bijhouden wie nog niet had gereageerd. Dit vergde vele handelingen en een zeer accurate werkwijze.
•
Het meest moeilijk was het krijgen van aanmelders met het juiste profiel (de zwakkere student). De aanmelders die op gesprek geweest zijn, vielen allemaal in de categorie gemotiveerde aankomend student en hadden vaak al meerdere voorlichtingsactiviteiten bijgewoond
•
Daarnaast was het krijgen van respons over het algemeen niet altijd even gemakkelijk. Wat wel opvalt, is dat aanmelders vaak in één keer reageren (er hoeft geen herinnering gestuurd te worden). Op verstuurde herinneringen komt bijna nooit reactie
•
De inschrijfdatum van 1 oktober heeft geen invloed. Studenten kunnen op 1 oktober niet meer beginnen met de studie, omdat ze dan al teveel verplichte lessen gemist hebben in de propedeuse
•
Organisatie d.m.v. draaiboek, registratieformulieren, enquêtes was goed
•
We hebben op veel gebieden een goede projectorganisatie gehad. Er zijn groepsleden aangesteld met specifieke expertise die ingezet konden worden voor het project.
•
Er was veel committent en draagvlak voor het project bij het
27
management Veel belangstelling hogeschool breed voor studiestart/keuzegesprekken
• Risicoprofielen
Is het risicoprofiel voor de kandidaten goed ingeschat? (indien van toepassing) De kans is groot dat de studenten die een studiestartgesprek hebben gehad niet tot de risicogroep voor uitval behoren. Ons risicoprofiel waren havisten en mbo-ers. Dit is een erg grote groep. Niet alle havisten en mbo-ers vormen een risico. Dit kunnen we meer specificeren in de toekomst.
Bijeffecten
Wat waren de onverwachte voordelen van dit arrangement (bv. verhoogde samenwerking tussen faculteiten, stafafdelingen e.d.)? Wat waren de onverwachte nadelen? Er is veel uitwisseling ontstaan tussen de twee grootste faculteiten de HAN om gezamenlijk uitval tegen te gaan. Hierdoor zijn bijvoorbeeld de faculteit Economie en de faculteit Gezondheidszorg Gedrag en Maatschappij bezig met een samenwerking voor het opstarten van een studiekeuzecentrum. Studiestartgesprekken zullen daar dan weer een onderdeel van gaan uitmaken. Door andere faculteiten is interesse getoond aan dit project en wordt er informatie uitgewisseld.
4.1.1 Eindoordeel Reflectie op het behaalde resultaat. 4.2 Reflectie vooruit Lessons learned
Wat heeft u er van geleerd? • •
• •
Verbeteringen
Hetgeen we geleerd hebben, is dat de administratieve organisatie anders moet. Er gaat nu teveel tijd inzitten Daarnaast hebben we geleerd dat je de kwetsbare groep studenten onvoldoende bereikt met deze manier van werken. We hebben het vermoeden nu juist de gemotiveerde student op gesprek te hebben gehad en we hebben studenten op gesprek gehad die het niet nodig hadden We gaan zoeken naar mogelijkheden om de kwetsbare groep te selecteren Wat ook belangrijk is, is het feit dat aankomend studenten zich meer in de opleiding gaan verdiepen wanneer zij een vragenformulier in moeten vullen
Op basis van wat u nu weet, wat zou u volgende keer anders doen? •
Informatie die je wilt verstrekken die voor iedereen geldt, kan meer in groepsverband
•
Motivatie toevoegen.
•
De administratie wordt voor een groot deel gescheiden van het voeren van de gesprekken. Bijvoorbeeld: Administratie uit handen geven aan het secretariaat
•
Een meer specifiek risicoprofiel hanteren
•
Meer overdracht naar de slb-ers
•
Ouderejaars studenten inzetten 28
Do’s
Don’ts
•
Toekomstige studenten betrekken in wat zij nodig hebben om uitval te voorkomen of een hoger studierendement te krijgen.
•
Betere tools bedenken voor een hogere opkomst van de studenten die behoren tot het risicoprofiel
•
De uitval is niet significant afgenomen bij de experimentele groep, dit was wel een doelstelling. Er moet goed worden onderzocht waarom personen uitvallen en wat de invloed van de onderwijsinstelling in de vorm van studiestart/keuzegesprekken kan zijn om dit gedeeltelijk tegen te gaan. Welke personen en wat hebben zij dan nodig. Exitonderzoek meer betrekken bij het opzetten van nieuwe activiteiten t.a.v. studiestart/keuzegesprekken
Wat moeten anderen zeker doen? •
Het invullen van vragenformulieren over bijvoorbeeld: de opleiding en studeren aan het hbo, oriëntatie, motivatie. Dit is afhankelijk van het doel.
•
Ontwikkel een opdracht om studenten te dwingen informatie over de opleiding te genereren.
•
Technisch beheer efficiënt inrichten. Voordat je begint de administratie en systeemgegevens die je nodig hebt, inventariseren en daar afspraken over maken
•
Inbreng student, dus dynamische insteek
•
Persoonlijke aandacht voor student
•
Overdragen naar slb-er
•
Van te voren een goed plan maken over de doelstelling en de uit te voeren taken: wat, wie, wanneer etc.
•
Mensen aanstellen die op bepaalde gebieden goed zijn. Dingen uitbesteden bijvoorbeeld analyses van de enquêtes, een projectadviseur, financiën.
Wat moeten anderen zeker niet doen? Niet iedereen uitnodigen voor een studiestartgesprek, maar personen met een meer specifiek risicoprofiel voor uitval. Bijvoorbeeld: diegene die een zwakke motivatie voor de studie op geeft of degene die geen Open Dagen heeft bezocht of degene die niet reageert op een uitnodiging voor een studiestartgesprek/bijeenkomst.
4.3 Nog verder Schaalbaarheid
Hoe is het onderdeel te maken van de staande organisatie? Studiestartgesprekken worden structureel ingevoerd binnen de faculteit Economie en Management. Met de afgelopen februari-instroom zijn ook studiestartgesprekken gevoerd. Op dit moment wordt er een plan geschreven voor een nieuwe aanpak van studiestartgesprekken voor de septemberstart 2011. Bij een andere faculteit van de HAN is ook geëxperimenteerd met studiestartgesprekken. Onderling wordt de informatie over de aanpak en resultaten uitgedeeld en gedeeltelijk overgenomen. In hoeverre leeft het c.q. is er steun voor studiestartgesprekken binnen de organisatie? Is dit toe- of afgenomen door het project? Het onderdeel studiestartgesprekken leeft enorm binnen de HAN. Het instroommanagement is goed op de hoogte van de opzet en uitvoering van studiestartgesprekken binnen de FEM. Overige opleidingen binnen de
29
HAN zijn ook aan het experimenteren met studiestartgesprekken. Door het project is de aandacht voor studiestartgesprekken binnen de organisatie toegenomen. Op een Hogeschoolbrede themadag over rendement was de belangstelling voor de workshop studiestartgesprekken enorm. Door andere faculteiten is interesse getoond aan dit project en wordt informatie uitgewisseld. Een HAN brede overleggroep over aansluiting wisselt onderling best practicus uit. Overdraagbaarheid
Regelmatig komen er verzoeken vanuit andere faculteiten van de HAN om iets te komen vertellen over de studiestartgesprekken die we voeren binnen de FEM. Als er serieuze belangstelling blijkt te zijn, vertellen we over de huidige aanpak en het geleerde tot nu toe ten aanzien van studiestartgesprekken. Daarnaast verwijzen we ook door naar bijvoorbeeld onderstaande link waar heel veel informatie op staat van alle ervaringen landelijk met studiestart/keuzegesprekken tot nu toe: •
Wiki met projectresultaten van eerste tenderronde Je vindt het op http://wiki.surffoundation.nl/display/SKG
•
Ook op de SURF projectsite Kennismakingsgesprekken zijn relevante documenten te vinden.
30
5. Cross-Case Analyse. 5.1 Projectnaam en onderwijsinstelling: Studiestartgesprekken: het werkt! ‘ Een succesvolle hbo-carriere’ Hogeschool van Arnhem en Nijmegen, faculteit Economie en Management 5.2 Op welke opleiding1 heeft deze vragenlijst betrekking: Communicatie 5.3 Is deze opleiding: X een hbo-opleiding 5.4. Zijn er specifieke toelatingseisen voor deze opleiding (bijvoorbeeld bepaalde profielen in het vo, of selectie van kandidaten door de opleiding)? 0 nee X ja, nl. Profiel E+M of een ander profiel met bijv. economie of m&o 5.5 Welke outcomes2 wenst de opleiding te bereiken met dit arrangement? Betere studieresultaten Minder uitval in het propedeusejaar 5.6 Welke van de volgende onderdelen bevat het arrangement3, naast het studiestartgesprek zelf, nog meer (meerdere antwoorden mogelijk)? X uitnodiging aan kandidaat voor deelname aan studiestartgesprek (bv. brief, reminder) 0 vooraf schriftelijke informatie geven aan kandidaat (bv. over de opleiding) X feitelijke gegevens verzamelen over kandidaat (bv. aanmeldings- intakeformulier, cv) 0 informatie verzamelen over motivatie van kandidaat (bv. vragenlijst, eigen brief) X informatie verzamelen over capaciteiten kandidaat (bv. beroepskeuzetest) 0 intensieve kennismaking met onderwijs, sfeer en organisatie van opleiding (bv. meeloopdag, contact ouderejaars) 0 studieadvies geven aan kandidaat 0 waar nodig bijscholingsadvies geven aan kandidaat 0 aanbieden summercourse, bijscholing X follow up gesprek met kandidaat (vóór de poort) 0 festiviteiten 0 overige onderdelen nl. …………………………………………………………………. ……………………………………………………………………………………………. 5.7 Wie worden uitgenodigd voor een studiestartgesprek? 0 alle kandidaten X een aselecte steekproef onder alle kandidaten 0 een selecte steekproef bestaande uit kandidaten die een risicoprofiel hebben 5.8 Komen mogelijke deficiënties van de kandidaat aan bod in het studiestartgesprek? 0 nee 1
Als aan het project meerdere opleidingen deelnemen, overleg dan met SURF welke opleiding voor de cross-
case analyse is geselecteerd. 2
Een outcome is een bepaalde toestand of staat die u wilt bereiken.
3
Met ‘arrangement’ bedoelen wij het geheel van activiteiten waaraan een kandidaat wordt onderworpen,
gericht op het optimaliseren van de studiekeuze van de kandidaat. 31
X ja 5.9 In welke vorm wordt het studiestartgesprek gehouden (meerdere antwoorden mogelijk)? X individueel gesprek 0 groepsgesprek 0 driehoeksgesprek 0 anders, namelijk... 5.10 Door wie wordt het studiestartgesprek gevoerd vanuit de opleiding (meerdere antwoorden mogelijk)? 0 docenten 0 studieloopbaanadviseurs 0 ouderejaars studenten of alumni X anders, namelijk studieadviseurs 5.11 Hoe lang duurt een studiestartgesprek gemiddeld? 45 minuten 5.12 Worden rondom het tijdstip dat het studiestartgesprek plaatsvindt nog andere activiteiten georganiseerd voor de kandidaten die naar een gesprek komen, bv. kennismaking met onderwijs of een feest? X nee 0 ja
32
Bijlage 1: Kostenoverzicht Kostensoort Eenmalige kosten
Toelichting
Uren
€
Eenmalige kosten voor de ontwikkeling van SKG Uren
Ontwikkelen aanpak en materialen
Aantal uren dat is besteed voor het maken van vragenlijsten, draaiboeken, protocollen etc.
Out-ofpocket
Aanschaf van ICT en tools
Kosten van aanschaf van software, assessments etc.
Vaste kosten
105 uren*
0
Jaarlijkse kosten die niet afhankelijk zijn van het aantal gesprekken of kandidaten Uren
Organisatie
Uren voor projectmanagement, overleg, administratieve ondersteuning, management rapportages etc.
Out-ofpocket
Kantoorkosten e.d.
Huur van ruimtes, apparatuur e.d.
Variabele kosten Uren
290 uren*
pm
Kosten die wel afhankelijk zijn van het aantal gesprekken of kandidaten
Totaal aantal uren
Uren per kandidaat4
Trainen gespreksvoerders
Aantal uren dat besteed is voor het trainen van docenten,SLB-ers, studenten, alumni en andere gespreksvoerders
20 uur. 20x75=1500/98= 15,30 euro
12,25 minuten
Voorbereiding per gesprek/kandidaat
Tijd voor inplannen, opbellen, invoeren gegevens, voorbereiden
20 minuten per gesprek = 75 euro / 3 = 25 euro x 98 = 2450 euro en = 33 uur
20 minuten
Gesprek zelf
Tijd voor gesprek
1 gesprek = 45 minuten / 75 euro voor 60 minuten= 56,25 euro per gesprek
45 minuten
45x98/60= 73,5 uur Afronding
4
Tijd voor invoeren gegevens en nabereiding
bij groepsgesprekken dus delen door het # deelnemers 33
15 minuten per gesprek = 7556,45= 18,75. 15x98/60= 24,5 uur
15 minuten
Totale €
€ per kandidaat
Out-ofpocket
Totaal
Totale tijd besteed aan gesprekken
Licentiekosten en catering
Kosten per kandidaat voor licenties/ catering etc.
98 x 80 minuten/60 =131 uur
80 minuten
Eenmalige kosten: De 105 uur (15+80+10) Vaste kosten: 10.500 projectmanagement, administratieve ondersteuning 1000, effectmeting en evaluatie 9750+500= 10.250, totaal = 21750/75=290
34
