Resultaat- en procesevaluatie SKG3 Studiekeuzegesprekken

Resultaat- en procesevaluatie SKG3 Studiekeuzegesprekken ten behoeve van cross case analyse

Pilot intake assessment binnen Domein Techniek, Ontwerpen en Informatica van Hogeschool Inholland

Auteur/Projectleider: Instelling: Locatie: E-mail: Telefoonnummer: Versie: 1.1 Delft, 31 maart 2011

Mirjam Winkelmolen Hogeschool Inholland, Domein Techniek, Informatica en Ontwerpen Rotterdamseweg 141, Delft [email protected] 06 15279470

Eindrapportage SKG3 Studiekeuzegesprekken Hogeschool Inholland - Domein Techniek, Ontwerpen en Informatica

Resultaat- en procesevaluatie 0. Algemene beschrijving De opzet van het pilotproject Intake assessment van het Domein Techniek, Ontwerpen en Informatica (TOI) van Hogeschool Inholland is een combinatie van: een digitaal assessment (een webbased intaketest over capaciteiten, competenties, motivatie en achtergrondkenmerken) en daaropvolgend studiekeuzegesprekken (hierna startgesprekken of intakegesprekken genoemd). De gesprekken worden gevoerd met ‘risicostudenten’ en ‘niet-risicostudenten’. Deze pilot wordt uitgevoerd om te kunnen beoordelen of dit geheel positief kan bijdragen aan het verhogen van het studierendement. Risico op uitval ligt binnen de verschillende techniekopleidingen onder andere in: onvoldoende beeld van opleiding en beroep, een te lichtvaardige studiekeuze, deficiënties op het gebied van taal en rekenen -ondanks de formele toelaatbaarheid- ondervinden. Het Domein TOI hoopt vooral de studie-uitval in het eerste jaar en studievertraging die wordt opgelopen in het eerste jaar d.m.v. het intake assessment aan te pakken. De pilot wordt vooral ingezet om ervaring op te doen met het organiseren van intake assessments binnen een aantal techniekopleidingen (aangezien het Domein TOI voor het eerst meedoet met de inzet van de intakemethode), en met name om ervaring op te doen met het voeren van intakegesprekken door studieloopbaanbegeleiders. De pilot is uitgevoerd bij een aantal specifieke studentengroepen waar vooral risico op uitval is geconstateerd in de voorgaande studiejaren en die ruimte hebben om te experimenteren met een nieuwe aanpak om studieuitval terug te dringen. Dit zijn: de mbo-instroom van de opleidingen Luchtvaarttechnologie en 1 scheepsbouwkunde, de duale instromers Scheepsbouwkunde , de Nederlandstalige instroom in de Engelstalige Luchtvaarttechnologie-opleiding, de deeltijdinstroom bij Werktuigbouwkunde, Elektrotechniek en Technische Bedrijfskunde en de voltijdinstroom van de opleiding Business Engineering.

1. Resultaatevaluatie De resultaatevaluatie bestaat uit: een kwantitatieve en een kwalitatieve meting. De kwantitatieve meting betreft een onderzoek naar het effect van de interventie, het intake assessment. Dit effect is gemeten aan de hand van uitkomsten op twee indicatoren voor studierendement: gemiddeld aantal studiepunten en het uitvalpercentage. Daarbij zijn nog aantal andere kwantitatieve analyses gemaakt om enkele gerelateerde vraagstellingen te kunnen beantwoorden. De kwalitatieve meting is een meting naar het oordeel van de deelnemer (de student) én de gespreksvoerder (de intaker). In de meting naar het oordeel van de intaker is de intaker ook bevraagd over het proces van het organiseren van de intake test en het startgesprek, ten behoeve van de procesevaluatie van deze eindrapportage. Voor de procesevaluatie zijn ook de intakecoördinatoren en de testleiders bevraagd naar hun mening over, de uitvoering van, het intake assessment. De kwalitatieve meting is uitgevoerd via een digitale vragenlijst bij studenten en via een vragenlijst in combinatie met een evaluatief gesprek c.q. interview bij intakers, testleiders en intakecoördinatoren. Naast de specifieke eisen van de resultaat- en procesevaluatie ten behoeve van SURF, is door de instelling in het projectvoorstel ook beschreven welke beoogde effecten worden nagestreefd. Deze staan beschreven punten c t/m h. Het behalen van deze doelstellingen wordt dus ook beoordeelt met gebruikmaking van de resultaten van de resultaat- en procesevaluatie van deze eindrapportage.

1

Omdat er geen studenten van de duale instromers Scheepsbouwkunde de intake test voor de poort heeft gemaakt (en dus ook geen gesprek voor de poort hebben gevoerd), wordt deze opleidingsgroep buiten de evaluatie gehouden. 2


Meting (a. en b: niet aan bod in resultaat- of procesevaluatie)

Resultaat doelstellingen van Domein TOI in het projectvoorstel a. alle deelnemers van de digitale intake test hebben een individueel of groepsgesprek gehad over de resultaten van de intake test, waarbij minimaal 50% van die specifieke instroom (van de genoemde studentengroepen) een individueel gesprek in voorjaar/zomer 2010 krijgen. b.

er is ervaring opgedaan met de inbedding van het intake assessment in het onderwijsprogramma en dit is geëvalueerd.

Kwalitatief

c.

de meerderheid van de studenten ervaart de test(-afname) en het individueel gesprek (of anderszins bespreking van de rapportage) positief (op indicatoren als: nut en noodzaak, veiligheid, informatief, helderheid). Streefgetal bij onderdeel ‘nut van het intake assessment’ is: 60% (gebaseerd op evaluatiegegevens (septemberinstroom 2009) van het project intake assessment INHolland waarin staat: “60% van de studenten vindt de intake een (zeer) nuttig initiatief. 27% is hierover neutraal en 13% vindt het (zeer) onnodig.” (respons 27%: 378 van 1400)).

Kwalitatief

d.

25% van de studenten geeft aan zich zekerder te voelen over de studiekeuze op basis van het intake assessment (test+gesprek) (streefgetal gebaseerd op evaluatiegegevens (septemberinstroom 2009)) waarin staat dat 18% zich zekerder voelden).

Kwalitatief

e.

25% van de studenten geeft aan een beter beeld te hebben van de opleiding en het beroep op basis van het intake assessment (test+gesprek) (geen streefgetal beschikbaar uit evaluatie septemberinstroom 2009)).

f.

de meerderheid van de intakers ervaart het gesprek (in relatie tot de testuitslag) en de intakeprocedure (uitvoering van de intake assessment) positief (op indicatoren als: nut en noodzaak, helderheid, ondersteuning; inbedding in organisatie en onderwijsprogramma).

g.

de meerderheid van de slb-ers ervaart dat de input vanuit het intake assessment (test en gesprek) zorgt voor toegevoegde waarde (op indicatoren als: inzicht in de student, beeld van de student over opleiding en beroep).

h.

de intakecoördinatoren (coördinatie gehele intake assessment op locatie/per cluster) ervaren het intake assessment op de meeste punten (test, gesprek, vervolgtraject; o.b.v. intakeprocedure) als positief (op indicatoren als: nut en noodzaak, helderheid, inbedding in organisatie en onderwijsprogramma);

i.

de testleiders (voorbereiding en uitvoering digitale test) ervaren (de organisatie van) de digitale testafname op de meeste punten positief (op indicatoren als: ondersteuning, helderheid, inbedding in organisatie, technisch-functioneel);

j.

het uitvalpercentage in het eerste jaar is binnen de genoemde studentengroepen in studiejaar 2010-2011 5% lager in absolute zin in vergelijking met studiejaar 2009-2010; we geven hiervan een trend aangezien per 1 maart 2011 nog niet alle uitval bekend is (dus voor SURF: tot 1 maart 2011 en voor eigen organisatie tot einde studiejaar 2010-2011). Uit het reeds genoemde INHolland-onderzoek (zie hoofdstuk 2) ligt de daling bij 3 opleidingen tussen de 4 en 8,5 procent in absolute zin (niet vergeleken met voorgaand studiejaar; maar vergeleken met gelijke opleiding op andere locatie). NB daarmee is de oorzaak-gevolg relatie, tussen interventie door intakes en de uitval, niet aangetoond.

Kwalitatief (resultaat én Procesevaluatie)



Kwantitatief

1.1

Kwantitatieve evaluatie: effectmeting

Om inzicht te krijgen in hoeverre het voeren van startgesprekken effect heeft op studiesucces, is gekeken naar het effect op deze twee indicatoren:  het gemiddeld aantal behaalde studiepunten  het percentage uitvallers Daartoe zijn de waarden op deze indicatoren bij de deelnemende opleidingen in dit project vergeleken met de waarden op de indicatoren van een controlegroep. Er zijn twee controlegroepen gebruikt: 2 Controlegroep 1: een vergelijkbare studentengroep in studiejaar 2009-2010 (cohort 2009) Controlegroep 2: studenten uit studiejaar 2010 die geen startgesprek hebben gehadt (cohort 2010).

2

Controlegroep: er is nauwelijks beschikking over bruikbare controlegroepen in het huídig studiejaar (studenten in zelfde instroomcategorie die de test en het gesprek niet hebben gemaakt/gehad). Vandaar dat de controlegroep studenten in vergelijkbare onderwijsgroepen uit studiejaar 2009-2010 betreft. Bijvoorbeeld: bij Scheepsbouwkunde is de controlegroep de mbo-instroom Scheepsbouwkunde 2009-2010; en bij Elektrotechniek is dat de instromende deeltijdstudenten Elektrotechniek 2009-2010. Met studenten in de controlegroepen (vorig studiejaar) is geen intakegesprek gevoerd volgens de methode in dit project. 3


De onderzoeksgroep is in alle gevallen de studenten die in studiejaar 2010-2011 een intakegesprek hebben gehad. Het betreft kleine aantallen, dus harde conclusies kunnen niet getrokken worden. Voor SURF (voor de cross case analyse door het Kohnstamm Instituut) is de effectmeting voor de opleiding Business Engineering voltijd apart belicht. Variabele Effect van studiekeuzegesprekken op studiesucces

Operationalisatie 1. Gemiddeld aantal behaalde studiepunten (EC)

Benchmark Norm oordeel ‘goed’: gemiddeld aantal behaalde EC in onderwijsperiode 1 van de pilotgroep (onderzoeksgroep) is gelijk of hoger dan die van controlegroepen

Uitkomst Onderzoeksgroep: 10,1

Oordeel +/-

Dit is niet gelijk of hoger aan controlegroep 1, maar wel hoger dan controlegroep 2.

(controlegroep 1: vergelijkbare controlegroep in hetzelfde jaar; controlegroep 2: zelfde opleiding in eerder jaar waarin geen studiekeuze gesprekken zijn gevoerd).

2. Percentage uitvallers

Norm oordeel ‘goed’: % uitval ligt bij de onderzoeksgroep lager, met een verschil van 3 minimaal 5% , dan het % uitval in de controlegroep (controlegroep 1).

Onderzoeksgroep: 19%

+/-

Dit ligt lager, maar niet minimaal 5%, dan de uitval in de controlegroep.

Toelichting oordeel +/- op indicator 2: hoewel de doelstelling om bij een uitvalpercentage van minimaal 5% lager uit te komen in vergelijking met voorgaand studiejaar niet behaald is, is het toch zo dat de uitval 1% lager uitkomt, wat positief is. Of de lagere uitval te danken is aan intakes blijft onduidelijk omdat er niet gecontroleerd is voor andere invloedsfactoren en het gaat om kleine aantallen. Bovendien gaat het om een tussentijdse meting.

Uitkomsten effectmeting indicator 1

Aeronautical Engineering_NL natio

Onderzoeksgroep: Gemiddeld aantal EC van studenten cohort 2010 mét gesprek 10,2

Controlegroep 1: Gemiddeld aantal EC van studenten cohort 2009 zonder gesprek 9,2

Business Engineering Voltijd Elektrotechniek Deeltijd Luchtvaarttechnologie Voltijd_MBO Scheepsbouwkunde Voltijd_MBO Technische Bedrijfskunde Deeltijd Werktuigbouwkunde Deeltijd

10,7 15,0 7,6 5,6 11,7 14,2

11,6 11,5 4,5 12,5 8,8 15,0

Totaal

10,1

10,4

3

niet bedoeld: procentueel 5% lager, maar in absolute zin minimaal 5% lager. NB Het betreft hier overigens een ‘trend’ aangezien per 1 maart nog niet alle uitval van het huidige studiejaar bekend is. 4


De totale onderzoekgroep scoort gemiddeld iets lager (0,3 EC) dan controlegroep 1: 10,1 resp. 10,4 studiepunten gemiddeld. Echter, de opleidingsgroepen Aeronautical Engineering Nederlandstalig (+1,0), Elektrotechniek deeltijd (+3,5), Luchtvaarttechnologie voltijd_mbo (+3,1) en Technische Bedrijfskunde deeltijd (+3,1) van cohort 2010 (studenten mét gesprek) scoren gemiddeld wel hoger dan de vergelijkbare controlegroepen uit cohort 2009 (zie groene markering). Bij de opleiding Business Engineering voltijd zou de verklaring voor een lager gemiddeld kunnen zijn dat er 4 mogelijk studenten gestart zijn naar aanleiding van de intakes die in een ander geval misschien niet gestart zouden en die uiteindelijk wel hun studie staken (de slb-coördinator vermoedt dat studenten die gestopt zijn in het intakegesprek hun capaciteiten (vooropleiding MBO) maskeerden met het tonen van motivatie, maar er toch uiteindelijk op stuk zijn gelopen. Het (beter) monitoren van zwakke studenten na de start van de studie zou hier wellicht een positieve bijdrage aan kunnen leveren.

Aeronautical Engineering_NL natio

Onderzoeksgroep: Gemiddeld aantal EC van studenten cohort 2010 mét gesprek 10,2

Controlegroep 2: Gemiddeld aantal EC van studenten cohort 2010 zonder gesprek 4,5

Business Engineering Voltijd Elektrotechniek Deeltijd Luchtvaarttechnologie Voltijd_MBO Scheepsbouwkunde Voltijd_MBO Technische Bedrijfskunde Deeltijd Werktuigbouwkunde Deeltijd

10,7 15,0 7,6 5,6 11,7 14,2

8,5 15,0 6,1 3,8 10,0 13,9

Totaal

10,1

8,0

De onderzoeksgroep scoort gemiddeld hoger dan controlegroep 1 (studenten uit de specifieke opleidingsgroepen zónder gesprek), namelijk gemiddeld 10,1 en 8,0 studiepunten. Dat is bijna 2 studiepunten hoger. Behalve Elektrotechniek deeltijd scoren alle opleidingsgroepen hoger dan hun controlegroep van cohort 2010. Kanttekening: hieraan kunnen geen conclusies verbonden worden in termen van effectiviteit van het instrument aangezien het kleine aantallen betreft en het peilmoment ervoor zorgt dat cohort 2009 in verhouding meer studiepunten heeft kunnen behalen (vanwege meer studietijd tot nu toe) en er ook in verhouding meer studiepunten geregistreerd kunnen zijn. Van cohort 2010 kan het voorkomen dat nog niet alle cijfers van de herkansingen zijn ingevoerd (wanneer studenten bijvoorbeeld nog een werkstuk moeten inleveren). De situatie is naar schatting pas per 1 augustus van het huidige studiejaar echt goed in beeld.

4

Binnen cohort 2010 zijn in totaal 10 van de 28 studenten gestopt per 1 februari. Daarvan zijn 7 studenten die hebben deelgenomen aan de intakes, waarvan 4 studenten een startgesprek voor de poort hebben gehad. Gestopte studenten kunnen de gemiddelde scores omlaag halen. 5


Uitkomsten effectmeting indicator 2 Onderzoeksgroep cohort 2010 instroom uitval% uitval tot 1/3 Aeronautical Engineering voltijd Business Engineering voltijd Luchtvaarttechnologie voltijd Scheepsbouwkunde voltijd Technische Bedrijfskunde deeltijd Werktuigbouwkunde deeltijd Elektrotechniek deeltijd totaal uitval

3 10 20 14 0 4 0 51

32 28 126 32 14 20 10 262

Controlegroep cohort 2009 uitval tot 1/3 instroom uitval %

10% 36% 18% 42% 0% 10% 0% 19%

3 4 28 8 5 3 0 51

27 24 125 42 11 14 13 244

11% 17% 22% 19% 45% 21% 0% 20%

NB Onderzoeksgroep cohort 2010: de ‘vroege uitval’ (tot 1 februari) is: 49 studenten; relatieve uitval 19%. Controlegroep cohort 2009: de ‘vroege uitval’ (tot 1 februari) is 33 studenten. Dan is de relatieve uitval 14%.

Het uitvalpercentages (uitvalcijfers van jaar 1 tot 1 maart van het desbetreffende studiejaar) van de onderzoeksgroep is 1% lager dan dat percentage in controlegroep 1. Dit verschil is echter zo klein dat het verschil niet significant is. Andersom, bij de opleiding Business Engineering voltijd is het zo dat de uitval in het huidige studiejaar veel hoger is dan die in voorgaand studiejaar, namelijk: 36% tegenover 17%. Een verklaring hiervoor is niet te geven.

Aanvullende metingen 

Onderscheid gesprek, intaketest, geen gesprek of test:

Cohort 2010 Gesprek voor de poort Alleen intaketest, geen gesprek* Geen test of gesprek

gemiddeld aantal EC 10,1 6,7 8,7

(=non-responders)

* deze groep komt alleen voor bij de opleidingsgroepen Aeronautical Engineering Nederlandstalig, Business Engineering voltijd, Luchtvaarttechnologie voltijd_mbo en Scheepsbouwkunde voltijd_mbo.

Studenten mét een gesprek voor de poort scoren gemiddeld hoger dan studenten die alléén een intaketest hebben gemaakt, respectievelijk gemiddeld 10,1 EC tegenover gemiddeld 6,7 EC. Die laatste groep betreft alleen studenten uit de opleidingsgroepen Aeronautical Engineering Nederlandstalig, Business Engineering voltijd, Luchtvaarttechnologie voltijd_mbo en Scheepsbouwkunde voltijd_mbo. Wanneer je daarom de groep mét gesprek beperkt tot deze opleidingsgroepen, dan is het gemiddeld aantal studiepunten van die groep 8,6. Dus ook op basis van die vier opleidingsgroepen kan worden gesteld dat de studenten mét gesprek gemiddeld hoger scoren. Opvallend is dat studenten die alléén een intaketest hebben gemaakt (maar geen gesprek voor de poort hebben gehad) lager scoren dan studenten die zonder enige deelname aan intakes zijn gestart. Een verklaring zou kúnnen zijn dat de non-responders zelf inschatten dat het voor hen niet noodzakelijk is om een test en gesprek voor de start van de studie aan te gaan gezien hun capaciteiten, competenties en motivatie en ervan uitgaan toch redelijk goed te gaan scoren of voldoende zicht hebben op hun inhoudelijke studiekeuze. In de volgende tabel kan je zien hoe dit beeld is per afzonderlijke opleidingsgroep:

6


Cohort 2010 Aeronautical Engineering_NL nationaliteit Gesprek voor de poort Alleen intaketest, geen gesprek Geen test of gesprek (=non-responders) Business Engineering Voltijd Gesprek voor de poort Alleen intaketest, geen gesprek Geen test of gesprek (=non-responders) Elektrotechniek Deeltijd Gesprek voor de poort Geen test of gesprek (=non-responders) Luchtvaarttechnologie Voltijd_MBO Gesprek voor de poort Alleen intaketest, geen gesprek Geen test of gesprek (=non-responders) Scheepsbouwkunde Voltijd_MBO Gesprek voor de poort Alleen intaketest, geen gesprek Geen test of gesprek (=non-responders) Technische Bedrijfskunde Deeltijd Gesprek voor de poort Geen test of gesprek (=non-responders) Werktuigbouwkunde Deeltijd Gesprek voor de poort Geen test of gesprek (=non-responders)

gemiddeld aantal EC 5,2 10,2 4,4 4,5 9,4 10,7 9,3 7,4 15,0 15,0 15,0 7,2 7,6 5,0 7,0 4,4 5,6 5,2 2,9

11,5 11,7 10,0 14,0 14,2 13,9

In de opleidingsgroepen Aeronautical Engineering-nederlandstaligen en Luchtvaarttechnologie mbo-instroom scoren de studenten de non-responders hoger dan studenten met alleen een test. Bij Business Engineering voltijd en Scheepsbouwkunde voltijd_mbo scoren de studenten met alleen een test wel hoger dan de nonresponders. Ondanks dat het gaat om kleine aantallen en harde conclusies zeker niet te trekken zijn, lijkt het erop dat de mogelijkheid bestaat dat alleen een test afnemen geen positief effect heeft en dat het startgesprek toegevoegde waarde oplevert.  Stoppers en niet-starters (van intake groep): Kijken we naar de onderzoeksgroep en daarbinnen de studenten die aan intakes hebben deelgenomen dan zien we het volgende: van de 96 deelnemers die een intaketest hebben gemaakt zijn 15 deelnemers gestopt. Voor de verschillende opleidingen geldt: Specifieke opleidingsgroepen

Gestopt

waarvan: Gesprek voor de poort

Scheepsbouwkunde mbo-instroom

2

1

Luchtvaarttechnologie mbo-instroom

4

4

Aeronautical Engineering Nederlandstalig

1

0

Werktuigbouwkunde deeltijd

1

1

Elektrotechniek deeltijd

0

0

Technische bedrijfskunde deeltijd Business engineering voltijd totaal

0 7 15

0 4 10

Daarvan hebben 10 studenten een intakegesprek voor de poort gehad. 7


En, van de 96 deelnemers die een intaketest hebben gemaakt zijn in totaal 9 deelnemers niet gestart (niet ingeschreven per 1 oktober). Voor de verschillende opleidingen geldt: Specifieke opleidingsgroepen Scheepsbouwkunde mbo-instroom Luchtvaarttechnologie mbo-instroom Aeronautical Engineering Nederlandstalig Werktuigbouwkunde deeltijd Elektrotechniek deeltijd Technische bedrijfskunde deeltijd Business engineering voltijd totaal

Niet gestart 0 1 3 1 1 3 0 9

waarvan: Gesprek voor de poort 1 1 1 2 5

Daarvan hebben 5 studenten een intakegesprek voor de poort gehad.  Relatie risicoscore en studiepunten: Wanneer we gegevens studenten met een risicoscore (6 of hoger) en studenten (lager dan 6) relateren aan het gemiddeld aantal behaalde studiepunten dan zien we voor de gehele controlegroep studenten met een risicoscore gemiddeld 9,0 EC scoren en studenten onder de risicoscore gemiddeld iets lager: 8,9 EC gemiddeld. Dat is dus op basis van deze aantallen een zeer minimaal verschil, waarbij kan worden aangetekend dat de studenten waarvan je zou verwachten dat ze het gemiddeld beter doen (de niet-risicogroep) toch lager scoren dan de risicogroep. Binnen de opleidingsgroepen Luchtvaarttechnologie mbo-instroom en Scheepsbouwkunde voltijd_mbo zien we wel dat de ‘niet-risico’ studenten hoger scoren gemiddeld. Een mogelijke verklaring (ondanks dat de resultaten niet betrouwbaar zijn vanwege de lage aantallen) zou kunnen zijn dat studenten met een risicoscore beter gestart zijn doordat zij meer zelfinzicht hebben gekregen en een groot deel van hen een gesprek voor de poort heeft gehad en daardoor wellicht meer gemotiveerd om op hun deficiënties te letten en hun studie beter te plannen (o.a.) en om goede resultaten te halen. Het kan ook betekenen dat de risicoscore een minder goede voorspeller is voor studiesucces dan gedacht c.q. verwacht. Dat vergt nader onderzoek.

Aeronautical Engineering _NL natio Business Engineering Voltijd Elektrotechniek Deeltijd Luchtvaarttechnologie Voltijd_MBO Scheepsbouwkunde Voltijd_MBO Technische Bedrijfskunde Deeltijd Werktuigbouwkunde Deeltijd totaal

Risicoscore 6 (=‘risico’) gemiddeld aantal EC 9,0 10,1 15,0 6,7 1,3 12,5 14,3 9,0

Risicoscore < 6 (=‘niet-risico’) gemiddeld aantal EC 7,1 10,1 15,0 7,7 7,1 10,8 14,0 8,9

8


1.2

Kwalitatieve evaluatie: oordeel studenten en intakers

1.2.1 Aanpak evaluatie oordeel studenten Aan het einde van de eerste onderwijsperiode en bij aanvang van de tweede onderwijsperiode zijn studenten 5 bevraagd via een online evaluatie . De vragenlijst (zie bijlage 1) is alleen gestuurd naar studenten die een digitale intake test hebben gemaakt (én per 1 oktober stonden ingeschreven) en dus een individueel gesprek of (bij ideale omstandigheden) een groepsgesprek hebben gehad. De vragenlijst is gestuurd aan 138 studenten en ingevuld door 29 studenten. Dat is een respons van 21%. De respons per onderzoeksgroep staat in de tabel 1. De lage respons bij sommige opleidingen heeft onder andere te maken met het feit dat er ook andere onderwijsevaluaties in die tijd zijn gehouden: evaluatie onderwijsperiode 1, het aansluitonderzoek en bij Luchtvaarttechnologie en Scheepsbouwkunde en de evaluatie van pilot weblectures. Studenten en docenten (namens hen) gaven aan dat ze overvraagd zijn. De uitslagen zijn niet representatief voor alle deelnemers en voor de werkelijke studentenpopulatie, maar de resultaten kunnen wel een indicatie geven over de ervaringen en meningen van studenten over de digitale test en het intake gesprek. Bedenk bovendien dat de mogelijkheid bestaat dat vooral studenten die positief staan tegen over de intakes ook eerder geneigd zijn om mee te werken aan de evaluatie i.t.t. studenten die minder positief zijn. Onderzoeksgroep o o o o o o o o

Luchtvaarttechnologie voltijd, mbo-instroom Aeronautical Engineering, NL-talige instroom Scheepsbouwkunde voltijd, mbo-instroom Scheepsbouwkunde duaal Business Engineering voltijd Elektrotechniek deeltijd Technische Bedrijfskunde deeltijd Werktuigbouwkunde deeltijd

respons (absoluut en relatief) 1 (5.9%) 2 (6.5%) 1 (6.7%) 9 2 10 4

(32.1%) (18.2%) (76.9%) (17.4%)

29 (21%) bruikbare respons*: 28

uitgenodigd voor online evaluatie 17 31 15 niet uitgezet 28 11 13 23

indiv. startgesprek gevoerd voor 1 sept ja nee nee

138

ja: 16x nee: 12x

ja (3x), nee (6x) ja ja nee (2x)

na intaker-info**: ja: 20x nee: 8x

Tabel 1 Evaluatie studenten uitgenodigd en respons i.c.m. startgesprek gevoerd Voetnoten bij tabel * 1 vrouw (Business Engineering) en 28 mannen; 1 student Werktuigbouwkunde geeft aan geen test te hebben gemaakt. De resultaten zijn gebaseerd op respons van 28 studenten. ** Waarvan overigens van 12 x ’nee’: 2 studenten Werktuigbouwkunde, 1 student Business Engineering en 1 student Scheepsbouwkunde_mbo zeggen géén gesprek te hebben gehad i.t.t. registratie door de intaker. Eén student Luchtvaarttechnologie zegt wél een gesprek te hebben gehad i.t.t. registratie door intaker.

1.2.2 Conclusie ervaringen studenten Zijn de beoogde effecten uit het projectvoorstel die betrekking hebben op de studentkant nu bereikt? In het projectvoorstel zijn de beoogde effecten in punt a, b en c geformuleerd. Via een vragenlijst zijn studenten bevraagd (zie bijlage 1). De resultaten van de volledige evaluatie is te lezen in bijlage 3 (resultaten oordeel studenten). Aan de hand van de uitkomsten uit de studentevaluatie (n=28) is de voorzichtige conclusie te trekken dat de deze doelstellingen door middel van het intake assessment (test en startgesprek) zijn behaald. Voorzichtig, omdat de respons op de evaluatie bij studenten niet voldoende groot is om betrouwbare conclusies te trekken. Hieronder is dat per doelstelling uitgewerkt. De evaluatieresultaten geven wel een indicatie over de drie doelstellingen.

5

Binnen het Domein Techniek, Ontwerpen en Informatica is dit de eerste keer geweest dat studenten zijn uitgenodigd voor het invullen van een online evaluatie op afstand. 9


Doelstelling A: meerderheid studenten ervaart de test(-afname) en het individuele gesprek positief6 

Nut test(afname): ongeveer 30% van de studenten vindt de testafname leuk en 60% is hierover neutraal. Ook een derde van de studenten zag (vooraf) veel nut in het maken van de test, en ongeveer 60% is hierover neutraal. (n=28). 3.3 Zag je er van tevoren het nut van in om de digitale intake test te maken?

zeer veel

0

veel

9

neutraal

16

weinig

2

helemaal niet

Tabel 3, n = 28



1

0

2

4

6

8

10

12

14

16

18

Nut gesprek: 50% van de studenten het startgesprek nuttig of zeer nuttig. En ongeveer een derde van de respondenten die er na afloop van de test geen, weinig of een beetje behoefte aan hadden, zegt achteraf het gesprek toch als (zeer) nuttig hebben ervaren. 5.4 In hoeverre vond je het nuttig om een startgesprek te hebben met de intaker over de uitkomsten van de intake test ? zeer nuttig

1

nuttig

8

neutraal

4

nutteloos

4

volkomen nutteloos

Tabel 21, n = 18



1 0

1

2

3

4

5

6

7

8

9

Nut initiatief intake assessment: de meeste studenten (ca. 78% van de respondenten) geeft aan dat zij het initiatief van de opleidingen om een digitale intake test en een startgesprek vroegtijdig te organiseren nuttig tot zeer nuttig vinden. Streefgetal bij indicator ´nut van het intake assessment´ was 60%. 6.2 Wat vind je van het initiatief vande opleiding om vroegtijdig een intake test en startgesprek aan te bieden ? zeer nuttig

6

nuttig

16

neutraal

4

onnodig

1

zeer onnodig

1

Tabel 29, n = 28 0

2

4

6

8

10

12

14

16

18

Wanneer je de ´neutrale´ groep meerekent, zou je kunnen stellen dat de doelstelling is behaald. De meerderheid van de studenten beschouwt de test niet als negatief en dus als positief. En aangezien de helft het gesprek als nuttig heeft ervaren en de meeste respondenten (bijna 80%) zegt positief te zijn over het initiatief van de opleidingen om een digitale intake test en een startgesprek vroegtijdig te organiseren (en maar 2 van de 28 studenten dit onnodig vindt), geeft dit een positief beeld over zowel test als gesprek. Gerelateerde resultaten:  Informatief en helder rapport en resultaten: de meerderheid vindt het rapport voldoende duidelijk of is daarover neutraal en men is veelal tevreden over de hoeveelheid informatie in het rapport. Verder herkent 6

Op indicatoren als nut, noodzaak, veiligheid, informatief en helderheid. 10


 

de helft van de studenten zich voldoende in de beschrijving over hun capaciteiten en competenties en 40% herkent zich voldoende in de beschrijving over motivatie en leerstijl. Noodzaak gesprek: de meerderheid (54%) van de respondenten heeft veel of een beetje behoefte aan een startgesprek. Veiligheid gesprek: bijna 90% van de studenten heeft er geen moeite mee om resultaten uit de test met iemand van de opleiding te bespreken.

Doelstelling B: 25% van de studenten geeft aan zich zekerder te voelen over de studiekeuze 7 In de evaluatie is de mate van zekerheid over de studiekeuze van de studenten gepeild naar aanleiding van de test(resultaten) en naar aanleiding van het startgesprek.  Na de test(resultaten): 21% van hen geeft aan dat ze zich iets of veel meer zekerder voelden. De meerderheid geeft aan dat het geen invloed heeft. (n=28)  Na het gesprek: 28% geeft dat ze zich iets zekerder of veel zekerder voelen over hun studiekeuze naar aanleiding van het startgesprek. De meerderheid geeft aan dat het geen invloed heeft. (n=18). Deze twee peilingen samengenomen, zou je voorzichtig kunnen concluderen dat op basis van deze gegevens studenten zich iets zekerder zijn gaan voelen over hun studiekeuze door het intake assessment, hoewel de grote groep die duidelijk aangeeft dat het geen invloed heeft ook niet te verwaarlozen is. Een erg kleine groep is zich iets onzekerder door zijn gaan voelen. Mogelijk is dat het gevolg van het afschrikeffect van de uitslag en het gesprek. Daarnaast, in vergelijking met de cijfers van het hogeschoolbrede onderzoek bij de septemberinstroom (18% is zich zekerder gaan voelen) van 2009 liggen de cijfers in de pilot bij het domein TOI hoger.

Doelstelling C: 25% van de studenten geeft aan een beter beeld te hebben van opleiding en beroep88 Deze doelstelling is gepeild naar aanleiding van het gevoerde gesprek (en niet op basis van alléén de testresultaten).  Beeld opleiding en beroep: 38% geeft dat ze een beter beeld hebben gekregen van de opleiding. Ditzelfde geldt voor hun beeld over het beroep. De meerderheid geeft aan dat het startgesprek hierop geen invloed heeft. Het heeft in geen geval geleidt tot een minder goed beeld van opleiding en beroep. Op basis van deze gegevens kan gesteld worden dat de doelstelling bereikt is.

1.2.3 Aanpak evaluatie oordeel intakers Aan de intakers in dit pilotproject is een vragenlijst gestuurd waarin gevraagd wordt naar de mening van intakers over de startgesprekken, over de invloed ervan op studenten, over de uitvoering van de intakeprocedure en de ondersteuning vanuit de organisatie. Zie vragenlijst in bijlage 2. De vragenlijst is ingevuld door 7 intakers. Met de meeste intakers zijn de antwoorden op de vragenlijst in een gesprek ingevuld. Bij veel vragen werd er gevraagd een cijfer van 1 tot 10 te geven. Bij stellingen over hoe de student het beleeft heeft is een 5-punts schaal gebruikt. De intaker die bij de opleiding Luchtvaarttechnologie één startgesprek heeft gevoerd is niet bevraagd. Een aantal intakers hebben een dubbelrol binnen de pilot (intakecoördinator of testleider) en met hen is tegelijkertijd de uitvoering van de intakes geëvalueerd (=procesevaluatie). Die resultaten zijn in deel 2 Procesevaluatie beschreven, inclusief de procesevaluatie bij intakers.

7

Door het intake assessment (intake test en startgesprek).

11


1.2.4 Resultaten van oordeel van intakers Vooraf: Alle intakers geven aan dat de startgesprekken in (mei), juni, juli en in augustus vlak voor de start van studiejaar hebben plaatsgevonden (uitkomst vraag 8).

Oordeel over Startgesprek Startgesprekken: nut en noodzaak 9  Nut startgesprekken met ‘risicostudenten’ gem. cijfer 8,4 (n=4) (scores: 2x een 8, 9, 7, 10)  Noodzaak startgesprekken met ‘risicostudenten’: gem. cijfer 6,8 (n=5) (scores: 7, 2x een 8, 5, 6)  Nut startgesprekken met ‘niet-risico studenten’: gem. cijfer 7 (n=5) (scores 2x een 8, 6, 10, 3)  Noodzaak startgesprekken met ‘niet-risico studenten’: gem. cijfer: 3,6 (n=5) (scores: 3, 4, 2x een 5, 1) Twee intakers geven scores voor startgesprekken met zowel risico- en niet-risicostudenten (vinden het lastig onderscheid te maken), namelijk: voor nut een gemiddeld cijfer 7,5 en voor noodzaak een gemiddeld cijfer 7. Toelichting van intakers bij startgesprekken met risicostudenten: “Studenten ervaren het ook zo (red: dat het nuttig en noodzakelijk is)”. Maar noodzakelijk is het minder: “zonder het gesprek zouden ze níet gedoemd zijn te mislukken, ook al omdat studieloopbaanbegeleiding een vangnet kan zijn”. Een lagere score op ‘noodzakelijk’ bij één opleiding heeft te maken met de selectieve doelgroep (mbo-instroom): “zij hebben toch al een goed beeld hebben van de opleiding en beschikken over zelfkennis. Maar zeker als nuttig ervaren, vooral vanwege de meerwaarde die het gesprek ook biedt (o.a. ‘binding’)”. Toelichting van intakers bij startgesprekken met niet-risicostudenten: “Het is een soort van werkverschaffing als je gesprekken met niet-risicostudenten voert”. Toelichting algemeen: “Het is nuttig omdat de test en het startgesprek de start van het studiejaar voor de docent en intaker heel veel makkelijker. Dit omdat er een betere binding is met de studenten en ze sneller naar je toekomen in de eerste periode. Bovendien hebben zij een beter beeld van de opleiding. Ze hebben de opleidingslocatie al een keer gezien. En wat opvalt is dat sommige studenten tijdens de testafname al hun ‘verhaal’ willen vertellen. Daarnaast is het moment van de digitale testafname een goed moment om kennis te maken op informele wijze (student-docent en studenten onderling)”. “Noodzakelijk is het alleen voor risicostudenten. De ‘niet-risicostudenten’ komen er ook wel zonder test of gesprek”. En ook over noodzakelijkheid: “binnen onze opleiding beginnen deeltijdstudenten vaak zeer geïnformeerd en gemotiveerd aan de studie. Zij hebben mogelijke gevaren zelf al goed ingeschat.” “Ik vind het nuttig en noodzakelijk, maar lang niet zoals hiermee plaatsvindt”. Samengevat: intakers vinden het dus zeker nuttig om startgesprekken te voeren met zowel beoogde risico- als niet-risicostudenten. De noodzaak hiervan scoort bij beoogde risicostudenten redelijk, maar bij nietrisicostudenten onvoldoende. Meerwaarde zit in de vroegtijdige binding tussen docent/slb-er/intaker en student en studenten onderling en het beeld wat zij hebben van de opleiding (bij testafname en voeren van gesprekken in het schoolgebouw). Bij specifieke doelgroepen (mbo-instroom, deeltijdstudenten) kán de noodzaak minder hoog zijn omdat zij meer gemotiveerd voor de studie kiezen en risico’s mogelijk al hebben ingeschat. Startgesprekken: helderheid De intakers scoren gemiddeld een cijfer 7 op de vraag of startgesprekken op heldere wijze gevoerd konden worden (twee keer een 6, twee keer een 7, twee keer een 8). Toelichting op helderheid gesprek: “Soms te privacy gevoelige informatie, hoewel dit ook goed kan liggen aan het type student (deeltijdstudent)”. 9

Onder risico-student is in de vragenlijst verstaan: de student die op de intaketest hoger scoorde dan 6. 12


“Rapporten waren duidelijk. Er waren niet veel studenten die de uitkomst níet begrepen, waardoor het gesprek op een heldere wijze te voeren was”. “Het op heldere wijze voeren van het gesprek gaat goed: je ziet onmiddellijk aan de testresultaten of ze iets weten over het beroepenveld, of ze weten hoe zelfstandig ze moeten zijn voor de studie. “Ondanks dat het veelal een helder gesprek is, loop je wel soms tegen onverwachte antwoorden aan met als gevolg dat je dan even de regie kwijt kan raken en je daarop geneigd bent zelf te gaan praten. Dit kan extra aandachtspunt zijn in de scholing van intakers (oefenen met gespreksvoering)”. De helderheid van het gesprek is ook afhankelijk van het ontwerp van de intake test: “Door de vraagstelling gaven sommige studenten een negatief antwoord op een vraag die juist voor technische studenten als redelijk positief te waarderen is. Meer specifiek: bij de vraag over beeld van de opleiding kan een student negatief antwoorden, hoewel dat in werkelijkheid niet negatief hoeft te zijn bij de opleiding business engineering, omdat dat juist een generalistische opleiding is”. Gerelateerd aan helderheid van het gesprek: “met half uur redt je het niet, liever een gesprek in 45 minuten tot een uur”. Over meerwaarde startgesprek: “je kan ook ingaan op het feit dat er een direct verband is tussen studie en de beroepscarrière” “je pikt ook meteen de dyslectische studenten er tussen uit” “heel veel studenten geven aan dat het schort aan hun eigen planningsvaardigheden” Samengevat: zeker doordat er een intakerapportage voorhanden is, is het gesprek zeker op heldere wijze te voeren: docenten hebben snel overzicht en studenten kennen de rapportage en begrijpen de uitslagen en weten waar het gesprek over kan gaan. Dat is niet in alle gevallen zo, aangezien bij een enkele opleiding de uitslag op een vraag anders geïnterpreteerd kan worden. En één intaker geeft aan dat de duur van het gesprek beter drie kwartier tot een uur kan zijn in plaats van een half uur. Mening over studentbeleving test en gesprek 10 Over een aantal stellingen (zie bijlage 2, vraag 5) konden intakers hun mening geven op een 5-puntsschaal . De gemiddelde scores zijn te zien in Tabel 32. De intakers zijn het er zeer mee eens dat studenten:  actief deelnemen aan het startgesprek De intakers zijn het er enigszins mee eens dat studenten:  zich herkennen in de testuitslag van de intake test  zicht hebben op ontbrekende kennis en vaardigheden die nodig zijn voor de opleiding  de intake test en het startgesprek een nuttig instrument vinden De intakers zijn het er niet mee eens, maar ook niet mee oneens dat studenten:  na het startgesprek een beter beeld hebben van de inhoud van de opleiding  na het startgesprek een beter beeld hebben van het beroepenveld waarvoor de opleiding opleidt  na het startgesprek een beter beeld hebben van de risicofactoren voor een succesvolle studieloopbaan  door het startgesprek “meer bevestigd zijn in” dan “zijn gaan twijfelen over” de studiekeuze  door de startgesprekken kritischer naar zichzelf kijken in relatie tot de studiekeuze/studieloopbaan  door het startgesprek hun studiekeuze veranderd hebben Aanvullende opmerkingen: “De Open Dagen zijn er (ook) voor het geven van een goed beeld van de opleiding.” “Het zicht krijgen of werken aan deficiënties…daar dient ook de zomercursus wiskunde voor: je kan studenten na de testuitslag of tijdens het gesprek ook wijzen op de zomercursus (afhankelijk van de timing van test, gesprek en zomercursus)”. “Het heeft pas echt zin als je de risico-studenten kan blijven monitoren”.

10

1= zeer mee oneens, 2= enigszins mee oneens, 3= niet mee eens of oneens, 4=enigszins mee eens, 5=zeer mee eens 13


Intakers zijn van mening dat studenten… 1,0

2,0

3,0

4,0 4,0

a. herkennen zich in testuitslag

4,4

b. nemen actief deel aan gesprek

3,3

c. hebben beter beeld opleiding na gesprek

2,6

d. hebben beter beeld beroep na gesprek

3,4

e. hebben beter beeld risicofactoren studieloopbaan

3,9

f. hebben zicht op eigen deficienties

3,3

g. zijn door gesprek meer bevestigd dan gaan twijfelen over…

2,6

h. zijn kritischer gaan reflecteren op eigen studiekeuze/-loopbaan i. hebben hun studiekeuze aangepast na gesprek

5,0

1,3

j. vinden de test en gesprek nuttige instrumenten

3,9

Tabel 32, n = 7

Oordeel over scholing en hulpmiddelen Nut interviewprotocol Intakers zijn bijna evenredig verdeeld over het gebruik van het interviewprotocol: drie intakers vinden het nuttig en vier vinden het niet of minder nuttig. Toelichting: “Het is wel nuttig om elk gesprek met dezelfde uitgangspunten te kunnen voeren. Voor de vergelijkbaarheid van de resultaten is dit wel aan te bevelen”. “Het is niet nuttig omdat gesprekken ieder op hun eigen manier verlopen. De training met oefenen in gesprekken voeren is nuttig genoeg. Als je het interviewprotocol heel formeel zou volgen, dan maakt dat het gesprek erg statisch. Dat maakt het niet echt tot een gesprek. Echter, voor toekomstige intakers is het wel handig dat het erbij geleverd wordt, voor het geval een intaker behoefte heeft aan een leidraad”. Nut handleiding intakegesprekken Bijna alle intakers vinden de handleiding intakegesprekken nuttig (n=6); één intaker vindt van niet. Toelichting: “Je leest ‘m 1x keer door en dan is het duidelijk. De training met daarin oefenen met gesprekken is ook erg nuttig”. “Hoewel het nut eenmalig is, toch nuttig gebruik van gemaakt”. Mening over training intakegesprekken Over de ‘Training intakegesprekken’ waren de intakers gemiddeld tevreden: gemiddeld cijfer 7 (n=6). Eén intaker is ingepraat door een getrainde collega en heeft dus geen mening. Toelichting: Bij cijfer 6: “Eén ochtend waarin je én allerlei nieuwe informatie krijgt (hoewel al wel bekeken van te voren) én dan meteen aansluitend gesprekken oefent vind ik lastig. Ook omdat dit in de training samen met andere opleidingen werd gedaan. Het verloop was enorm tussen de 2 trainingsdelen. En de onvrede bij andere deelnemers was onprettig, wat zijn weerslag had op de training”. Bij cijfer 7: “Handig om alle neuzen dezelfde kant op te krijgen”. Bij cijfer 8: “…omdat alles aan bod komt wat in de documenten terugkomt; en verder heel handig dat je gaat oefenen met het voeren van gesprekken”. (dit is wel sterk opleidingsafhankelijk volgens de intakers) Bij cijfer 6: “Heel goed om training te krijgen. Wel in een te klein/krap lokaal: je kan niet rondlopen. Liever in e Delft: op de 4 verdieping bij projecttafels, of in de boardroom, of extern. En in toekomst goed om er een teamhappening van te maken. Verder: liever (nog) meer oefenen in het kunnen staande kunnen houden van de gespreklijn (i.v.m. mogelijke onverwachte antwoorden van studenten en hoe daarop te reageren) en daarbij weer de feedback van collega’s te krijgen. Toekomstige training: teamevenement en combineren met 14


bespreken van inbedding in onderwijs/slb en nut ervan bespreken. Toekomst training: ervaringsdeskundigen aan het woord”. Bij cijfer 7: “Handig om gezien te hebben. Omdat het dat concreter maakt. Je ziet van te voren de materialen waar je mee kan werken (ik kon niet aanwezig zijn bij oefenen gesprekken)”.

Oordeel over ondersteuning bij uitvoering Ondersteuning vanuit eigen organisatie Intakers is gevraagd wat hun mening was over de ondersteuning vanuit verschillende hoeken binnen de eigen organisatie (zie tabel 33). Ze geven het management net een voldoende, het project / projectleider wordt erg gewaardeerd, de intakecoördinatoren binnen het cluster of de opleiding krijgen gezamenlijk gemiddeld een 7,5 en de ondersteuning door de testleiders op de eigen locatie was uitstekend. Toelichting: Vanuit management: “Ik wist dat ik slb-er zou worden en had daar ook uren voor gekregen, alhoewel niet specifiek uren voor de start van het studiejaar”. “Het wordt wel gedragen, maar uren er voor krijgen is lastig”. “Dit was onvoldoende omdat er geen interesse werd getoond vanuit het management of gevraagd om terugkoppeling; de uren waren oké”. “Niet goed of slecht, niets gemist”(2x). Vanuit intakecoördinator: sommige intakers waren zelf intakecoördinator en dus verder geen toelichting. Eén keer wordt aangegeven dat een intake coördinator de taak niet volledig op zich had genomen”. Díe intakecoördinator geeft zelf aan dat dat correct is en dat “het een drukke tijd in blok 4 betrof”. Vanuit testleider: sommige intakers waren zelf testleider en dus verder geen toelichting. Algemene opmerking: “Er was geen ondersteuning die past bij de wijze waarop er met deeltijd studenten gesprekken worden gevoerd”. NB De subvragen zijn door minimaal 3 en door maximaal 6 intakers beantwoord met een cijfer. Sommige intakers waren nl. ook testleider en/of intakecoördinator en hebben zichzelf niet beoordeeld. En bij de subvraag ‘ondersteuning door management’ is door twee intakers aangegeven dat zij het niet goed en niet slecht vonden en niets gemist hebben, maar konden dit niet uitdrukken in een cijfer.

Ondersteuning vanuit eigen organisatie door… 5,0 management project(leider) intakecoordinator testleider

5,5

6,0

6,5

7,0

7,5

8,0

8,5

9,0

9,5

10,0

5,5 8,8 7,5 9,3

Tabel 33, n = 3 tot 6

Wat ging goed in de ondersteuning?  De software van de digitale intake test was betrouwbaar.  De training intakegesprek was nuttig (2x). Ook goed om dit in de toekomst nog een keer te herhalen (facultatief) ook al ben je intaker geweest.  Koppeling met Loyalty-middag: intake test op die dag laten maken.  Je niet alleen maar aan interviewprotocol houden tijdens het gesprek (wel handige leidraad) waardoor studenten opener werden (zeker bij verlegen en gesloten studenten).  Studenten wilden ook graag op locatie komen voor het startgesprek (ondanks telefonische optie midden zomer). Verbetersuggesties voor ondersteuning rol intaker 15


 

   

Meer tijd nemen voor het startgesprek: 45-60 minuten in plaats van 30 min. Uitnodigen van studenten voor startgesprek door Onderwijs Service Center c.q. administratieve ondersteuner. En, dus niet aan intaker overlaten; onder andere ter bescherming van de intaker zelf (hoewel in eerste instantie wel het idee was van de bewuste intaker). (wordt meerdere keren genoemd) Intakers inroosteren voor startgesprekken in realistisch rooster. (wordt meerdere keren genoemd) Startgesprekken voor intaker achter elkaar laten plaatsvinden, zodat intaker in één keer door kan met voeren gesprekken. Het voeren van intakegesprekken moet door het hele team gedragen worden en dus het hele team betrekken. Deficiëntieprogramma’s voor taal- en rekenproblemen aanbieden zodat beter verwijzen tijdens startgesprek (kan nu wel goed bij dyslexie, naar decaan).

Oordeel over inbedding organisatorisch en in curriculum Inbedding intakes in organisatorisch opzicht De intakers oordelen gemiddeld over ‘de huidige inbedding van intakes (test + gesprek) in de eigen organisatie’ een 5,8. Hoewel het gemiddelde positief is, scoort de meerderheid van intakers die een cijfer geeft negatief. De cijfers zijn: 3, 4, 5, 8 en 9 (n=5). Twee intakers vullen geen cijfer in en geven alleen een toelichting. Dezelfde vraag is aan de medewerkers gesteld in de rol van intakecoördinatoren (zie pagina …). Daaruit komt nog 1 extra score op dit punt, namelijk een 8. Toelichting: “Hangt wel los van de rest van de organisatie van het onderwijs; dus beter om het iets meer een plaats te geven en te koppelen aan ‘instroom’ (omdat het ook een PR-moment is)”. “Het was niet in mijn takenplaatje opgenomen. Niet heel storend, want zo werkt het wel vaker, maar dit kan dus beter. Zeker bij toekomstige opschaling. En er waren wel (te) veel momenten gepland voor testafname in e relatie tot een klein aantal studenten (de 1 onderwijsperiode onderdeel SLB zou voor onze opleiding/deze doelgroep een goed idee (en aanvullend) zijn)”. “Goed georganiseerd”. “Je kan het nu geen inbedding noemen, omdat het een pilot betreft: nog niet iedereen weet waar het over gaat en dus lastig om het organisatorisch op één lijn te krijgen, en zeker niet collega’s die er niet bij betrokken waren. Desondanks (gezien het een pilot betrof): toch goed georganiseerd door intakecoördinator. En de koppeling met het Onderwijs Service Center is oké”. Overdracht intakerapporten aan de SLB-er De intakerapporten (docentversies) en eventuele gespreksnotities zijn bij de opleidingen op verschillende manieren overgedragen de slb-ers. De wijze van overdracht is gebaseerd op de gangbare manier van samenwerken c.q. onderlinge communicatie. Dit zijn de reacties van de intakers: a. Ik ben zelf de SLB-er van de studenten en beschik dus al over de documenten. (2x geantwoord) b. Rapporten zijn via de Teamsite Intakes TOI aangeboden (3x), én is gecommuniceerd aan slb-ers door de slb-coördinator. (1x) c. Rapporten (en eventuele gespreksnotities) zijn uitgeprint en aan de SLB-er(s) overhandigd. (2x) d. Rapporten zijn gemaild naar SLB-ers, i.c.m. optie b. (1x) Opmerking van één intaker: de overdracht van gespreksnotities uit de startgesprekken hoef je niet te formaliseren bij een toekomstige opschaling. Dit gebeurt wel mondeling tussen slb-coach en intaker als zij eenmaal deze aanpak kennen. Het is hun verantwoordelijkheid.

Koppeling intakes aan SLB of onderwijsprogramma en mening Over het algemeen kan gesteld worden dat de koppeling met het SLB- en onderwijsprogramma onvoldoende is gerealiseerd. Dit heeft ook tot gevolg dat sommige studenten die geen startgesprek hebben gehad geen individueel of groepsgesprek hebben gehad in de eerste of tweede onderwijsperiode over de intake-resultaten. Vier intakers hebben een cijfer gegeven, met als gemiddeld cijfer een 5,3 (drie keer een 6 en één keer een 3). Twee intakers geven aan dat het niet van toepassing is en één intaker verwart de vraag met vraag 9. 16


Op het moment van de afnames van de evaluatie (begin november) laten de meeste intakers weten dat ze er onvoldoende van op de hoogte zijn of dat er niet meer aan het vastgestelde SLB-programma kon worden gesleuteld toen het pilotproject intakes bekend was. Ook is het zo dat de koppeling met SLB vooruit geschoven wordt (naar blok 2) en niet duidelijk is of dat al iets heeft opgeleverd. Een intaker geeft aan dat er geen sprake is van koppeling omdat er geen SLB plaatsvindt in de deeltijdopleiding. Toelichting De intakers geven de volgende reacties: Dit moet nog gebeuren. Op den duur moeten studenten een swot-analyse in het eerste jaar (o.b.v. de intake testresultaten) en werken aan hun eigen deficiënties (in de toekomst moet dit in de slbhandreiking verwerkt worden). Om het goed te koppelen aan doorverwijzing naar summercourses natuurkunde en wiskunde (t.b.v. 21+ toets en om deficiënties weg te werken) zou je het intakemoment naar voren moeten halen. Dat betekent vóór april (dus studenten die zich erg vroeg inschrijven kan je er op wijzen). Verder: het slb-programma is hernieuwd vastgesteld; dus lastig gebleken om eraan te sleutelen voor blok 1 koppeling met intakes. Kan nog beter, ook omdat ook wordt gewerkt aan de inbedding van SLB in het programma. Gebeurt nog teveel op persoonlijke titel. Het slb-programmaa staat op dit moment nog in de evaluatie en wordt steeds meer op het curriculum geschreven. De inbedding in het slb-programma kan bij de volgende bijstellingsronde worden meegenomen. Intakerapporten en ingevulde onderzoeksformulier (met aantekeningen intaker) zijn overgedragen aan de, enige, slb-er. Hier is een dossier van gemaakt. Doel was om er in blok 1 een vervolg aan te geven en dit voor studenten die geen startgesprek hebben gehad de uitslag in het eerste slb(groeps)gesprek te bespreken. Dit is niet gelukt vanwege drukte. Mogelijk in blok 2. “Enerzijds is de overdracht naar slb en elkaar informeren over intakes goed gegaan. Anderzijds: het vervólg op intakes in sbl is niet gelukt en terugkoppeling slb-er naar intaker is niet gebeurd. Oorzaak kan zijn dat het nog onvoldoende is ingeburgerd en heeft in het specifieke geval ook te maken met afwezigheid door ziekte van intaker”. Een intaker geeft aan dat de koppeling er niet is. (red. : intaker is niet voldoende op de hoogte: er is vanuit het project afgestemd met de slb- coördinator om het te verweven in een schrijfopdracht). Een intaker geeft aan dat koppeling met SLB er niet is. (red.: alle studenten hebben een gesprek gehad. Verder vervolg op die gesprekken binnen SLB is niet in onderwijsperiode 1 geregeld. Het plan was om dit in onderwijsperiode 2 in een schrijfopdracht (brief) te verweven, maar dat is niet gebeurd). Onbekend bij intaker. (red.: studenten hebben een extra opdracht (naar keuze) meegekregen in bestaande slb-opdracht blok 2 (verschoven van blok 1 naar blok 2); en de rapporten aan de SLB-er(s) overhandigd zodat zij de inhoud mee kunnen nemen in gesprek in blok 2). Overige reactie: een intaker merkt op dat wanneer alle instromende studenten van een opleiding de test zouden doen, je als slb-coach makkelijker erop kan aanhaken omdat je weet dat alle studenten de test gemaakt hebben en er dus met zekerheid een uitslag is. In de pilot is het zo dat je als slb-coach eerst moet uitzoeken (of informatie over krijgen) wie zo’n uitslag ter beschikking heeft, voordat je er in een gesprek naar kan vragen. Verder is het goed om de verantwoordelijkheid bij techniek-studenten bij de student zelf te leggen: zij kunnen er in het eerste slb-gesprek naar vragen wanneer zij daar behoefte aan hebben. Of, je verwerkt het in een slb-opdracht waarbij de student de keuze heeft om de resultaten te gebruiken.

Oordeel toegevoegde waarden en adviezen Toegevoegde waarde  Beter zelfinzicht bij studenten (over competenties en capaciteiten en karakter) voordat ze überhaupt beginnen aan de studie.  Er ontstaat een vertrouwensband met de toekomstige slb-er.  Wellicht minder uitval in het eerste onderwijsblok. e

Huidige situatieschets: in 2009 waren er 7 of 8 deeltijdstudenten over aan het einde van het 1 studiejaar (van de 18), 17


waarbij een behoorlijk aantal (6-7) in het 1e blok al was vertrokken. Nu bij de instroom van 2010 is de groep nog compleet (1 afvaller door 21+ toets en 1 afvaller vanwege nieuwe functie in eigen werk).

   

  



Stukje PR. Studenten voelen zich vóór de start van de studie al welkom en weten dat er (op een positieve manier) op ze gelet wordt; ze voelen zich geen nummer. De intake test plus gesprek kan een heel handig hulpmiddel zijn binnen de slb-leerlijn. Kennismaking student <-> docent voor de start van de studie: student heeft kans gekregen verhaal te vertellen en de opleiding leren kennen (kleine opleiding) waarbij ze weten dat ze docenten later in hun werkende leven nog tegen blijven komen. Tijdens afname digitale test hogerejaars studenten betrekken waardoor meteen contact met zittende studenten. Tijdens de intake test of het gesprek komt het belang van zelfstandig werken heel erg onder de aandacht. Meer inzicht over feit dat die leeftijdsgroep (voltijd instroom) onzeker is over wat ze te wachten staat bij een hbo-opleiding en de mogelijkheid de onzekerheid deels weg te nemen en om studenten op hun gemak te stellen. Ze hebben structuur nodig. Geeft studenten meer inzicht in hun verbeterpunten (die zij zelf vaak al kenden).

Adviezen over toekomstige aanpak  De nazorg aan studenten die geen gesprek krijgen kan beter: laten weten dat ze geen gesprek krijgen en waarom. ((red.: die optie werd aan intakecoördinatoren aangereikt via standaardbrief (=welkomstbrief), maar was door bewuste opleiding niet voor gekozen).  Aanpak intakes inbedden in organisatie en onderwijsprogramma al vroeg bespreken: uiterlijk februari.  Scenario: alleen studenten die boven de 6 scoren op startgesprek laten komen (ondanks dat het nuttig kan zijn voor student c.q. opleiding om met ‘niet-risico-studenten’ een gesprek te voeren.  Specifiek bij opleiding Luchtvaarttechnologie: nu zijn de klassen (groepen) van de opleiding ingedeeld volgens alfabet. Je zou de intake uitslagen kunnen gebruiken om een andere indeling te hanteren (naast indeling op woonplaats).  Specifiek bij opleiding Luchtvaarttechnologie: studenten voor maken digitale test uitnodigen o.b.v. woonplaats zodat al band tussen studenten vooruitlopend op groepsindeling.  Aanpak breder in team bespreken en wat je eraan kan koppelen (voor en tijdens studie).  Vanuit 1 opleiding komt de mening dat men de docent op zijn eigen manier een startgesprek moet laten houden en dit niet koppelen aan een rigide proces (intaketest en resultaten).

1.2.6 Conclusie oordeel intakers Zijn de beoogde effecten die in het projectvoorstel over het oordeel van de intakers bereikt? In het projectvoorstel zijn twee doelstellingen geformuleerd in punt f en g. De resultaten op de vragenlijst en aanvullend interview zijn hieronder per doelstelling uitgewerkt. Op basis van de bestaande onderzoeksresultaten kan je stellen dat de doelstelling is bereikt.

Doelstelling F: de meerderheid van de intakers ervaart het gesprek en de uitvoering van het intake assessment (=proces) als positief

11

Over het gesprek: Ja, de meerderheid van de intakers ervaart het gesprek als positief. Dit blijkt uit de resultaten op vragen 1, 2, 3 en 5 van de vragenlijst: de gemiddelde scores op nut en noodzaak van het gesprek zijn 6 of hoger, behalve bij de noodzaak van gesprekken met niet-risicostudenten. Bovendien vinden álle intakers dat het gesprek op heldere wijze gevoerd kan worden, vooral doordat er een intakerapport is om het gesprek op te baseren. Men is overigens niet overwegend positief over het gebruik van de gespreksleidraad (interviewprotocol), maar dat is eerder een mening over een hulpmiddel bij het gesprek, dan over het gesprek zelf. De intakers zijn op alle gevraagde onderdelen neutraal of positief over de studentenbeleving van de (test) en het gesprek (mening intakers). 11 Op indicatoren als nut, noodzaak, veiligheid, informatief en helderheid. 18


Over de uitvoering: Om te kunnen beantwoorden of de meerderheid van de intakers de uitvoering van het intake assessment als positief ervaart is vooral het antwoord op vraag 9 van belang: de meerderheid scoort niet positief, maar niet alle intakers hebben dan ook een cijfer ingevuld. Gemiddeld cijfer is 5,8. Twee intakers geven de uitvoering een 8 en een 9. Op de ondersteuning die ze vanuit verschillende kanten bij de uitvoering hebben gekregen, scoren de meeste intakers positief (gemiddeld voor management, projectleider, intakecoördinatoren en testleiders hoger dan een 5,5 en als je naar de afzonderlijke cijfers kijkt, is er 4x een cijfer 5 uitgedeeld en alle andere cijfers zijn 6 of hoger). De vraag is of deze doelstelling gehaald is (vanuit het perspectief van de intakers-rol). De uitvoering kan beter, maar wordt ook op veel punten als positief ervaren.

Doelstelling G: meerderheid slb-ers ervaart dat de input vanuit het intake assessment (test en gesprek) zorgt voor toegevoegde waarde

12

Dit is niet meer onderzocht aangezien de koppeling met SLB niet erg goed verlopen is en het daarom weinig zin heeft om de slb-ers hierover te bevragen. Bovendien waren een aantal intakers ook de slb-er (bij sommige opleidingen kwamen er geen anders slb-ers bij kijken) waardoor het oordeel van die personen al in de kwalitatieve meting is meegenomen.

12 Op indicatoren als inzicht in de student, beeld van de student over opleiding en beroep.

19


2. Procesevaluatie Het doel van de procesevaluatie is om inzicht te geven in hoe de opzet van studiekeuzegesprekken heeft gefunctioneerd, wat goed is bevallen, wat verbeterd kan worden, alsmede de lessons learned en do’s & dont’s van de uitgevoerde opzet. Het proces van de pilot intakes binnen Domein TOI (project Studiekeuzegesprekken) is geëvalueerd in de kwalitatieve meting waarbij intakers zijn bevraagd (zie hoofdstuk 1) en daarnaast de intakecoördinatoren en testleiders (zie resultaten in bijlage 4). In onderstaande reflectie terug en een reflectie vooruit is de procesevaluatie samengevat: Reflectie terug Gerealiseerde opzet

Uitvoeringsproblemen

Uitvoeringssuccessen

Risicoprofielen

Bijeffecten

Is het gegaan als gepland en waren er eventuele tussentijdse aanpassingen in de opzet? Het is overwegend gegaan zoals gepland. De evaluatie had wat sneller op de uitvoering plaats kunnen vinden. Zeker onder de uitvoerders. Bij Scheepsbouwkunde duaal hebben 0 studenten een intaketest gedaan. De koppeling met het SLB is niet goed uit de verf gekomen. Er waren ook opleidingen waar de intakers al de SLB-er van de student waren. Gebeurt nog teveel op persoonlijke titel. Wat was moeilijk of ging niet goed? Met name: werkelijk beschikbare uren voor uitvoering bij medewerkers niet goed geregeld. Nazorg student (de niet uitgenodigd worden voor startgesprek) kan beter. Rollen: activiteiten en verantwoordelijkheden kunnen nog beter afgestemd worden. Koppeling met het slb-programma verliep niet soepel. SLB is al een lastig onderdeel in de curricula. Daarnaast: vanwege gebrek aan ervaring met intakes bij clusters moeilijk om inhoudelijk in te bedden. In hoeverre heeft de huidige inschrijfdatum van 1 oktober invloed gehad op het arrangement zoals beschreven in deel 3 en op de kwaliteit van de realisatie? Weinig invloed. Met aanmelders na de start van de studie zijn niet meer uitgenodigd voor een intake test (vooraf bepaald). Er blijven wel aanmelders in de zomer komen: met als gevolg activiteiten in de zomer voor de poort. Dataset compleet maken en data-analyse: inschatting tijdsbesteding aan lage kant. Wat was makkelijk of ging heel goed? De digitale testsoftware draait goed en het contact met de beheerder NOA. Het gebruik van de opzet en materiaal van het voorbeeld project. Het gebruik van de draaiboeken. Ervaring met uitvoering bij projectleider. Plan van aanpak was uitvoerbaar. Het gebruik van de projectteamsite: voor delen en verzamelen documenten. De training voor testleiders en intakers is goed ervaren. Intakers zijn enthousiast. Studenten komen goed afspraken intakegesprek na. Ondersteuning door de Onderwijs Service Centra. Is het risicoprofiel voor de kandidaten goed ingeschat? Dat zou nog een extra data-analyse voor nodig zijn om te beoordelen of de risicoscore gerelateerd is aan de studieresultaten (nu niet aangetoond o.b.v. periode1). Wat waren de onverwachte voordelen van dit arrangement (bv. verhoogde samenwerking tussen faculteiten, stafafdelingen e.d.)? Samenwerking over de clusters heen (testleiders werkten goed samen). Meer bekendheid bij andere medewerkers en managers dan bij de start van het project. 20


En, intakers geven aan (niet allemaal procesmatige nadelen): beter zelfinzicht, eigen verbeterpunten, student vertouwensband SLB-ers/docenten stukje PR wellicht minder uitval studenten voelen zich welkom, en geen nummer test + gesprek handig instrument binnen SLB onzekerheid wegnemen meer zicht bij docenten/slb-er op eigenschappen (onzekerheid) van instromende studenten Wat waren de onverwachte nadelen? Nadeel: werkdruk, maar was niet onverwacht. Bij sommige opleidingen veel afname moment digitale test tegenover klein aantal instromers. Reflectie vooruit Lessons learned Verbeteringen

Do’s

Don’ts

Wat heeft u er van geleerd? Zie bij verbeteringen. Op basis van wat u nu weet, wat zou u volgende keer anders doen? Minder afname momenten digitale test bij klein aantal studenten. Opleidingen keuze laten maken uit scenario: voor de poort (alleen met risicostudenten), i.c.m. koppeling SLB of na de poort binnen SLB (goed slbinstrument). Vrijmaken van uren door intake-medewerkers nog beter afstemmen. In het voorjaar al beginnen met koppeling SLB maken (ook in handleidingen SLB): afstemming met SLB-coördinatoren. Intakes door managers periodiek op de agenda laten plaatsen. Nog beter intakers laten ondersteunen door Onderwijsservicecentra bij uitnodigen van studenten voor gesprekken (bij zeer kleine aantallen: door intaker mogelijk). Inroosteren intakers en testleiders voor afname intake test en voeren van gesprekken. Wat moeten anderen zeker doen? Ervaring op doen met intakes voor de poort. Zoveel mogelijk proberen om gesprekken met risicostudenten voor de poort in te bedden (i.t.t. na de poort). Intakers en testleiders goed trainen. Evalueren met intake-medewerkers en studenten (goede ervaringen mee). Binnen teams goed starten met doel van intakes: alle docenten informeren of ze nu mee doen aan intakes of niet. Alle neuzen dezelfde kant op krijgen. Management en intakemedewerkers binnen opleidingen aansporen om intakes tussentijds op de agenda te zetten. Goede koppeling creëren met deficiëntie-programma’s en informeren van het decanaat over intakes (doorverwijzing goed regelen). Zorg voor 1 centrale testleider die de accounts beheert. Wat moeten anderen zeker niet doen? Niet met specifieke doelgroepen binnen een opleiding gaan werken: creëert onduidelijkheid bij het team en moeilijker te meten wat het effect is op studieresultaten e.d. Studenten bestempelen als ‘risico-student’: dat schrikt af en creëert geen band met studenten. Het gaat om de groei in hun ontwikkeling. Geen online evaluatie bij studenten (of inbedden in periodenevaluatie) vanwege lage respons. En als wel: niet gelijktijdig met periodenevaluatie en instroomonderzoek.

21


Nog verder Schaalbaarheid

Overdraagbaarheid

Hoe is het onderdeel te maken van de staande organisatie? Heeft u concrete plannen? Concrete plannen worden nu gemaakt. Binnen het Managementteam van het Domein TOI is besproken welke clusters (4 clusters binnen TOI) met welke opleidingsvarianten een vervolg geeft aan intakes en welke opleidingen dit voor het eerst gaan inzetten (2 komende studiejaren); binnen welk scenario (voor de poort of na de poort binnen SLB) en welke medewerkers hiervoor worden ingezet. Tot nu toe is afgesproken dat Cluster Technical Engineering mee doet met de opleiding Luchtvaarttechnologie voltijd (volledige instroom) en dat Cluster Engineering & Business mee doet met de opleidingsvarianten Werktuigbouwkunde deeltijd, Technische Bedrijfskunde deeltijd en Business Engineering voltijd. Cluster ICT is zich nog aan het beraden om op twee locaties (Alkmaar en Haarlem) het intake assessment in te voeren. In alle gevallen wordt intakes na de poort ingevoerd. Binnen het domein is nu 1 medewerkers getraind om voor de komende 2 jaar intakers te kunnen trainen en er wordt nog gezocht naar extra ondersteuning op dit punt. In hoeverre leeft het c.q. is er steun voor studiekeuzegesprekken binnen de organisatie? Is dit toe- of afgenomen door het project? De steun leeft bij de meeste projectmedewerkers. Zij willen graag meedoen aan een vervolg als zij er uren voor krijgen. De projectmedewerkers en managers onderschrijven de positieve ervaringen met intakes: het digitale testinstrument en de gesprek en alle meerwaarde die daaruit voortvloeit. De steun is door het project zeker toegenomen. De vraag is alleen of er voldoende budget is om medewerkers vrij te maken voor inzet in het voorjaar, zomer of het najaar. Zou dit arrangement ook door andere instellingen kunnen worden gebruikt? Welke elementen zijn moeilijk overdraagbaar omdat ze specifiek zijn voor uw instelling en waarom? Ja. Er is veel documentatie en ervaring. Het intake instrument is bij NOA af te nemen, ook door andere instellingen. De NOA-test die nu gebruikt wordt is op maat gemaakt voor Inholland. Maar de onderdelen waaruit deze bestaat kunnen ook door andere instellingen bij NOA worden afgenomen als intaketest. Geen elementen die moeilijk overdraagbaar zijn.

22


3. Kostenoverzicht Omdat het Domein TOI binnen de hogeschool INholland gebruik kon maken in SKG 3 van reeds ontwikkelde opzet en producten uit SKG 2 en 1 binnen de eigen onderwijsinstelling (voorbeeldproject) heb ik de kosten voor een aantal zaken niet ingevuld en verwijs ik naar overname Inholland-breed. Op basis van 100 studenten (96 hebben de intake test gemaakt) is de volgende raming gemaakt. Het uurtarief is hier 75 euro. Kostensoort Eenmalige kosten

Toelichting

Uren

€

Eenmalige kosten voor de ontwikkeling van SKG Uren

Out-ofpocket

Ontwikkelen aanpak en materialen

Aantal uren dat is besteed voor het maken van vragenlijsten, draaiboeken, protocollen etc.

Aanschaf van ICT en tools

Kosten van aanschaf van software, assessments etc.

Geen kosten voor domein TOI. Overname uit voorbeeldproject 13 inholland breed Geen kosten voor domein TOI. Overname uit voorbeeldproject 18 inholland breed

Vaste kosten

Jaarlijkse kosten die niet afhankelijk zijn van het aantal gesprekken of kandidaten Uren

Organisatie

Uren voor projectmanagement, overleg, administratieve ondersteuning, management rapportages etc.

Projectleider: 8 uur per week op halfjaarbasis (20wk*8=160) Intakecoördinatoren: 1 coördinatoren maakt 48 uur (voorbereiding en

13

VOOR SURF: deze kosten zijn niet bekend. Het hogeschoolbrede project heeft kostenoverzicht voor gehele opzet, inclusief de vaste en variabele kosten voor de fasen voorbereiding, scholing, uitvoering en evaluatie, maar geen onderscheid daarin voor het eenmalig ontwikkelen van zaken en aanschaf van ict en tools, anders dan bekend. 23


uitvoering) Testleiders: 1 testleider maakt 32 uur per testafname (voorbereiding en uitvoering). Out-ofpocket

Kantoorkosten e.d.

Variabele kosten

Huur ruimtes: n.v.t Prints: (trainingsmateriaal, rapportages docenten, handleidingen): = 2000 euro.

Huur van ruimtes, apparatuur e.d.

Kosten die wel afhankelijk zijn van het aantal gesprekken of kandidaten

Totaal aantal uren

Uren per 14 kandidaat

8 intakers * 6 uur = 48 uur

66 / 100 =

Totale €

€ per kandidaat

(op basis van ervaring met 100 studenten) Uren

Trainen gespreksvoerders

Aantal uren dat besteed is voor het trainen van docenten,SLB-ers, studenten, alumni en andere gespreksvoerders

plus:

6½ uur per kandidaat

3 testleiders * 6 uur = 18 uur Totaal = 66 uur Voorbereiding per gesprek/

Tijd voor inplannen, opbellen, invoeren gegevens, voorbereiden

kandidaat

Inplannen, voorbereiding door intakecoördinatoren en door testleiders: Opbellen en inplannen servicecentrum: 15 uur

209/100 = 2 uren per student. (wanneer àlle studenten een gesprek krijgen)

+ 14

bij groepsgesprekken dus delen door het # deelnemers 24


3 * 16 uur = 48 uur + 3 * 32 uur = 96 uur Voorbereiden gesprek: half uur per gesprek = 50 uren totaal. Totaal: 209 uren Gesprek zelf

Tijd voor gesprek

Half uur per gesprek = 50 uren totaal

½ uur per kandidaat

Afronding

Tijd voor invoeren gegevens en nabereiding

Kwartier per gesprek =

¼ uur per kandidaat

(hier: alleen uren van de intaker. De uren van intakecoordinator en testleider staan hierboven) Totaal

Totale tijd besteed aan gesprekken

25 uren

Afgerond naar boven: 1000 uur totaal

Afgerond naar boven: 10 per kandidaat

Outofpocket

Licentiekosten en catering

Kosten per kandidaat voor licenties/ catering etc.

Inholland heeft voor bepaalde tijd een onbeperkte licentie via NOA. Het Domein TOI betaald indirect. Dat is 30 euro per testaccount (= per student). Catering per student: 0,50 euro.

25


BIJLAGE 1 VRAGENLIJST STUDENTEN

26


27


28


BIJLAGE 2 VRAGENLIJST INTAKERS Vragen voor intakers (gespreksvoerders) De startgesprekken: 1. In hoeverre vond je het voeren van de startgesprekken als intaker over het algemeen: a. bij “risico-studenten”: nuttig: …. (cijfer 1-10) / noodzakelijk: …. (cijfer 1-10) b.

bij “niet-risico studenten”:

nuttig: …. (cijfer 1-10) / noodzakelijk: …. (cijfer 1-10)

of (wanneer het lastig is onderscheid te maken) in het algemeen: nut: …. (cijfer 1-10) / noodzaak: …. (cijfer 1-10) Toelichting (bijvoorbeeld over verschil tussen startgesprek met risico of niet-risicostudent): …………………………………………………… ……………………………………………………………………………………………………………………………………………………………………

2.

In hoeverre vond je dat de startgesprekken op heldere wijze gevoerd zijn/konden worden? Geef een cijfer. …. (cijfer 1-10). Toelichting:.………………………………………………………………………………………………………………….…..

3.

Heb je nut gehad van het interviewprotocol bij (de voorbereiding van) het voeren van het gesprek? ja - nee . Toelichting…………………………………………………………………………………………………………………………………..

4.

Heb je nut gehad van de handleiding intakegesprek bij (de voorbereiding van) het voeren van het gesprek? ja - nee . Toelichting…………………………………………………………………………………………………………………………………..

5.

Geef je mening over de volgende vragen (5 puntsschaal): (1= zeer mee oneens, 2= enigszins mee oneens, 3= niet mee eens of oneens, 4=enigszins mee eens, 5=zeer mee eens) a.

De studenten herkennen zich in de testuitslag van de intake test: ….

b.

De studenten namen actief deel aan het startgesprek: ….

c.

De studenten hebben na het startgesprek een beter beeld van de inhoud van de opleiding: ….

d.

De studenten hebben na het startgesprek een beter beeld van het beroepenveld waarvoor de opleiding opleidt: ….

e.

De studenten hebben na het startgesprek een beter beeld van de risicofactoren voor een succesvolle studieloopbaan: ….

f.

Waar nodig hebben studenten zicht op ontbrekende kennis en vaardigheden die nodig zijn voor de opleiding: ….

g.

Door het startgesprek zijn studenten “meer bevestigd in” dan “gaan twijfelen over” de studiekeuze: ….

h.

De startgesprekken hebben ertoe geleid dat de student kritischer naar zichzelf kijkt in relatie tot de studiekeuze/studieloopbaan: ….

i.

Het startgesprek heeft studiekeuzes veranderd: ….

j.

Studenten vinden de intake test en het startgesprek een nuttig instrument: ….

Het proces: 6. Wat vond je de ondersteuning vanuit de organisatie bij het voeren van gesprekken (cijfer 1-10) en waarom? a. Management:…………………………………………………………………………………………………………………………………………. b.

Project(leider): ……………………………………………………………………………………………………………………………………….

c.

Intakecoördinator: (wanneer je die rol niet zelf vervulde) …………………………………………………………………………………………….

d.

Testleider: (wanneer je die rol niet zelf vervulde) ………………………………………………………………………………………………………….

Toelichting……………………………………………………………………………………………………………………………………………………..

7.

Wat vond je specifiek van de training intakegesprekken (ter ondersteuning bij het voeren van gesprekken) en waarom? Cijfer (1-10): …… Toelichting:…………………………………………………………………………………………………………………………… …………………………………………………………………………………………………………………………………………………………………………

29


8.

Op welke momenten zijn startgesprekken gevoerd binnen jouw organisatie (meerdere antwoorden mogelijk): o mei / juni / juli o augustus (vlak voor start studiejaar per 1 sept.) o in 1e onderwijsperiode o in 2e onderwijsperiode

9.

Wat vind je van de huidige inbedding van intakes (test+gesprek) in de organisatie en waarom? Cijfer (1-10): …… Toelichting:……………………………………………………………………………………………………………………………… …………………………………………………………………………………………………………………………………………………………………………...

10. Wat heb je ter ondersteuning van de rol van intaker nodig om de uitvoering van intakes in de toekomst nog beter te laten verlopen? Verbetersuggesties: ……………………………………………………………………………………………………………………………………………… Wat ging goed? .…………………………………………………………………………………………………………………………………………………….

Koppeling onderwijsprogramma 11. Hoe zijn bij jouw opleiding de intakes verbonden aan het SLB-programma/onderwijsprogramma? (individuele of groepsopdracht, doorpraten in 1e slb-gesprek, werken aan deficiënties, reflectie in portfolio, etc) ……………………………………………………………………………………………………………………………………………………………………………………… ………………………………………………………………………………………………………………………………………………………………………………………

12. Wat vind je van de huidige inbedding van intakes (test+gesprek) in het onderwijsprogramma (koppeling SLB bijv.) en waarom? Cijfer (1-10): …. Toelichting (zou het beter kunnen?):……………………………………………………………………………… …………………………………………………………………………………………………………………………………………………………………………........ 13. Hoe is de overdracht geregeld van de rapporten + gespreksnotities aan de SLB-er(s)? (meerdere antwoorden mogelijk) o o

o o

Ik ben zelf de SLB-er van de studenten (en heb al beschikking over documenten en informatie). Ik ben zelf niet de SLB-er van de studenten; en: o Rapporten zijn via de Teamsite Intakes TOI aangeboden o Rapporten zijn gemaild naar SLB-ers o Rapporten zijn op netwerkschijf geplaatst voor SLB-ers o Rapporten zijn uitgeprint en aan de SLB-er(s) overhandigd o Rapporten zijn opgenomen in studentendossiers o Gespreksnotities (op interviewprotocol/onderszoeksformulier) zijn overgedragen aan SLB-er(s): ja – nee. Door: ……………………………………………………………………………………………………………………………….. Anders, nl: ………………………………………………………..…………………………………………………………………. Weet ik niet.

14. Wat is voor jou de toegevoegde waarde van de intakes (digitale test, startgesprek, koppeling met slb/onderwijsprogramma)? ……………………………………………………………………………………………………………………………………………………………………………………… ………………………………………………………………………………………………………………………………………………………………………………………

Overige opmerkingen: ……………………………………………………………………………………………………………………………………………………………………………………… ………………………………………………………………………………………………………………………………………………………………………………………

Hartelijk dank voor je medewerking

30


BIJLAGE 3 RESULTATEN OORDEEL STUDENTEN Leeswijzer: een deel van de studenten heeft de vragen over het startgesprek niet ingevuld omdat zij geen startgesprek hebben gehad. Van de 28 studenten hebben 18 studenten (veelal) de vragen over het gesprek wel ingevuld. Dit staat overigens steeds vermeld onder de tabellen en bij het kopje ‘samengevat’. Intake test: duidelijkheid over doel, ervaren nut en maken van de digitale test zie tabellen1 t/m 5  Doel duidelijk: de meerderheid van de respondenten vond dat het doel van de digitale intake test van te voren (zeer) duidelijk was, namelijk 71% (20 studenten), 17% is neutraal en 3 studenten vonden het onduidelijk.  Nut: voorafgaand aan de digitale test zag ongeveer een derde van de respondenten (32%, 9 studenten) er veel nut in om de intake test te maken. De meerderheid, 57% Is hierover neutraal, en 10% zag er weinig of helemaal geen nut in.  Maken van de test: een derde van de respondenten(28%, 8 studenten) vindt het maken van de digitale test leuk, de meerderheid is neutraal (60%) en 3 respondenten, oftewel 10% vindt het maken van de test vervelend.  Lengte van de test (n=27): studenten zijn over het algemeen tevreden over de lengte van de digitale test (59%, 16 studenten), alhoewel een kleine groep (29%) de test te lang vindt. Drie respondenten vinden de test te kort (11%). Samengevat (n=28): respondenten zijn overwegend positief over duidelijkheid doel van de test en de meerderheid ziet vooraf niet zozeer het nut in (neutraal) hoewel een derde dat wel ziet. De meerderheid is neutraal over het maken van de test en daarnaast vindt een derde van de student het zelfs leuk. Over de duur/lengte van de test is men overwegend tevreden. 3.2 Was het van tevoren duidelijk wat het doel van de digitale intake test is? zeer duidelijk

2

duidelijk

18

neutraal

5

onduidelijk

2

zeer onduidelijk

Tabel2, n = 28

1 0

2

4

6

8

10

12

14

16

18

20

3.3 Zag je er van tevoren het nut van in om de digitale intake test te maken?

zeer veel

0

veel

9

neutraal

16

weinig

2

helemaal niet

Tabel 3, n = 28

1

0

2

4

6

8

10

12

14

16

18

31


3.4 Hoe heb je het maken van de digitale intake test in het algemeen ervaren?

erg leuk

0

leuk

8

neutraal

17

vervelend

3

erg vervelend

Tabel 4, n = 28

0 0

2

4

6

8

10

12

14

16

18

3.5 Hoe vond je de lengte (tijdsduur) van de digitale intake test ?

veel te lang te lang precies goed te kort veel te kort

0 8 16

3 0

Tabel 5, n = 27 0

2

4

6

8

10

12

14

16

18

Intaketest: het intake-rapport zie tabellen 6 en 7  Duidelijkheid rapport: het rapport dat de student via email ontvangt is voor de helft van de respondenten voldoende duidelijk (50%, 14 studenten). Een deel van de studenten heeft er een neutrale mening over (28%), of ze zijn er negatief over: 5 studenten vindt het rapport een beetje duidelijk en 1 student vond het niet duidelijk.  Hoeveelheid informatie: twee derde van de respondenten vindt de hoeveelheid informatie in het rapport precies goed (67%, 19 studenten) of zelfs te weinig of veel te weinig (resp. 4 en 1 respondent). Een klein aantal studenten vindt dat er teveel informatie in staat: 4 respondenten. Samengevat (n=28): de meerderheid vindt het rapport voldoende duidelijk of is daarover neutraal en men is veelal tevreden over de hoeveelheid informatie in het rapport. 3.6 Was het rapport over de uitkomsten van de intake test voldoende duidelijk? zeer goed

0

goed

14

neutraal

8

een beetje

5

nee

1

Tabel6, n = 28 0

2

4

6

8

10

12

14

16

4.1 Wat vond je van de hoeveelheid informatie die in het rapport wordt gegeven? veel te veel

0

teveel

4

precies goed

19

te weinig

4

veel te weinig

Tabel 7, n = 28

1

0

2

4

6

8

10

12

14

16

18

20

32


Intake test: herkenning in beschrijvingen en belangrijkheid testonderdeel zie tabellen 8 t/m 10  Herkenning capaciteiten beschrijving: de helft van de respondenten herkent zich zeer goed (3 studenten) tot goed (11 studenten) in de resultaten op de capaciteitentest. Een derde (9 studenten) geeft aan gemiddeld oordeel daarover en 20 % herkent zich er nauwelijks (4 studenten) of niet (1 student) in.  Herkenning motivatie- en leerstijlen beschrijving: 39% herkent zich zeer goed (2 studenten) tot goed (9 studenten) in de beschrijving van motivatie en leerstijl. Tien studenten reageren gemiddeld (36%) en een kwart geeft aan zich er nauwelijks (4 studenten) of niet (3 studenten) in te herkennen. NB Dit testonderdeel betreft een zelf-evaluatie.  Herkenning competentie beschrijving: de helft van de respondenten herkent zich goed (12 studenten) tot zeer goed (2 studenten) in de beschrijving over hun competenties. 11 studenten herkennen zich gemiddeld in de beschrijving (39%) en 3 studenten (10%) herkent zich er niet heel erg in. NB Dit testonderdeel betreft een zelfevaluatie. 4.2 Kloppende beschrijving van je capaciteiten? klopt zeer goed

3 11 9 4

klopt niets van

1 0

2

4

6

8

10

12

Tabel 8, n = 28

4.3 Kloppende beschrijving van je motivatie en leerstijlen? klopt zeer goed

2 9 10 4

klopt niets van

3 0

2

4

6

8

10

12

Tabel 9, n = 28

4.4 Kloppende beschrijving van je competenties? klopt zeer goed

2 12 11

3 klopt niets van

0 0

2

4

6

8

10

12

14

Tabel 10, n = 28

zie tabellen 11 t/m 13  Belangrijkheid capaciteiten-onderdeel: de meeste (64%) studenten vinden het capaciteiten-onderdeel belangrijk tot zeer belangrijk. De rest heeft een neutrale mening over het belang van dit onderdeel voor henzelf.  Belangrijkheid motivatie- en leerstijlen onderdeel: de meeste studenten (43%) zijn neutraal over het belang van dit onderdeel voor henzelf, 36% vindt het (heel) belangrijk, en 6 studenten vinden het onbelangrijk (21%).

33




Belangrijkheid competentie-onderdeel: de meeste studenten (54%) heeft een neutrale mening over het belang van het competentie-onderdeel voor henzelf. En 46% is daarover positief en vindt het een (heel) belangrijk onderdeel voor henzelf (13 studenten).

Samengevat (n=28): de helft van de studenten herkent zich in de beschrijving over hun capaciteiten en competenties, en ongeveer 40% herkent zich in de beschrijving over hun motivatie en hun leerstijl. Een kwart herkent zich niet in de beschrijving op dat laatste onderdeel. En minder dan een kwart herkent zich niet in de beschrijvingen op de andere onderdelen. De rest oordeelt gemiddeld over of ze vinden dat de beschrijving al dan niet kloppend is. De respondenten op de vragenlijst vinden het capaciteiten-onderdeel het meest belangrijk voor zichzelf, en de andere onderdelen worden ook door een aanzienlijk deel van de studenten belangrijk gevonden of zij zijn er neutraal over. Alleen over het onderdeel motivatie- en leerstijlen is een klein aantal studenten van mening dat het onbelangrijk is. 4.5 Hoe belangrijk is het capaciteiten-onderdeel voor jou? heel belangrijk

4 14 10 0 0

heel onbelangrijk 0

2

4

6

8

10

12

14

16

Tabel 11, n = 28

4.6 Hoe belangrijk is het motivatie- en leerstijlen-onderdeel voor jou? heel belangrijk

2 8 12 6

heel onbelangrijk

0

0

2

4

6

8

10

12

14

Tabel 12, n = 28

4.7 Hoe belangrijk is het competentie-onderdeel voor jou? heel belangrijk

2 11 15 0 0

heel onbelangrijk 0

2

4

6

8

10

12

14

16

Tabel 13, n = 28

Intake test: locatie afname en video-instructie zie tabellen 14 en 15  Op school of op afstand: van de respondenten hebben 22 studenten (78%) de intake test in een schoolgebouw (pc-lokaal) van de opleiding gemaakt. Dat percentage ligt in werkelijkheid hoger omdat de overgrote meerderheid in het schoolgebouw is ontvangen. Studenten die zich eind juli en in augustus hebben aangemeld hebben ook de optie gekregen om de test thuis te maken (of alsnog in een schoolgebouw eind augustus). Zes studenten (21%) geven aan daarvoor gekozen te hebben.  Testleider-instructie op video: bijna alle studenten die de intake test thuis of op een andere plek dan op de opleiding hebben gemaakt, hebben via streaming video de testleider-instructie bekeken. 34


2.1 Waar heb je de digitale test gemaakt ? via het web vanuit thuis of andere plek

6

in een schoolgebouw van de opleiding

Tabel 14 , n= 28.

22 0

5

10

15

20

25

3.1 Wanneer je de test vanuit thuis/andere plek hebt gemaakt, heb je dan de video-instructie vooraf bekeken? n.v.t. (omdat in schoolgebouw gemaakt)

Tabel 15 , n= 25.

15

ja, wel bekeken

5

nee, niet bekeken

5

0

5

10

15

20

Intake test: zekerheid studiekeuze en behoefte gesprek zie tabellen 16 t/m 18  Zekerheid over studiekeuze: 71% van de studenten geeft aan de intake resultaten niet van invloed was op het gevoel van zekerheid over hun studiekeuze. 21% van hen geeft aan dat ze zich iets of veel meer zekerder voelden. En 2 studenten antwoorden dat ze zich onzekerder gingen voelen.  Behoefte aan een startgesprek: 54% van de respondenten heeft veel of een beetje behoefte aan een startgesprek (15 studenten) en 46% heeft van hen helemaal geen of weinig behoefte aan een gesprek na het ontvangen van de testresultaten.  Startgesprek plaatsgevonden: 25% van de respondenten (7 studenten) geeft aan in juni of juli een startgesprek te hebben gehad en 32% in augustus of begin september vóór de start van het studiejaar (9 studenten). Dat is dus bijna 60% van de respondenten die aangeeft een individueel gesprek te hebben gehad voor 1 september (16 studenten). Eén student geeft aan een groepsgesprek te hebben gehad, en één student heeft het gesprek gehad na de start van de studie. 35% zegt geen gesprek te hebben gehad op het moment van evalueren (10 studenten). Registratie door intakers is afwijkend, zie hieronder over ‘mismatch’. Mismatch met registratie door intaker: 2 studenten WTB, 1 student BENG en 1 student SBK zeggen geen gesprek te hebben gehad in tegenstelling tot registratie door de intaker. Eén student BENG en 1 student LT zeggen wel een gesprek te hebben gehad in tegenstelling tot registratie door de intaker die aangeeft dat er geen gesprek is geweest. Vier TBK-studenten geven aan dat zij eind augustus een gesprek hebben gehad, terwijl de intakers deze gesprekken begin juli al hadden geregistreerd. En andersom, 1 TBK-student geeft aan het gesprek eind juni/begin juli te hebben gehad en deze is geregistreerd in augustus. Eén TBK-student geeft aan dat het gesprek in de 1e onderwijsperiode heeft plaatsgevonden, terwijl dit door de intaker op 31 augustus is geregistreerd. Student heeft vermoedelijk dat al als start van de studie gezien. In de samenvattende conclusie is rekening gehouden met de mismatch, door positieve registratie door of de student, of de intaker als ‘gesprek voor start van de studie: ja’ te tellen.

Samengevat (n=28): de resultaten op de intake test geeft een kleine groep, 21% van de respondenten, meer zekerheid over hun studiekeuze, terwijl een grote groep (71%) zegt de resultaten geen effect hebben op zekerheid studiekeuze. Bijna 20% heeft behoefte aan een startgesprek na het ontvangen van de testresultaten en een derde heeft daar helemaal geen behoefte aan. Vervolgens, binnen de respondentengroep is met 71% van de studenten voor de start van de studie gesproken (20 van de 28) en 28% geeft aan geen gesprek te 15 hebben gehad voor de poort (8 van de 28 respondenten) .

15

Gecorrigeerd voor mismatch waarbij de positieve registratie van gehouden intakegesprek door student of door intaker telt. 35


4.10 Hebben de intake testresultaten je meer zekerheid gegeven over je studiekeuze ? ja, ik voelde me veel zekerder

2

ja, ik voelde me iets zekerder

4

hadden geen invloed

20

nee, ik ging me iets onzekerder voelen

1

nee, ik ging me veel onzekerder voelen

1

Tabel 16, n = 28

0

5

10

15

20

25

4.11 Had je, na het ontvangen van de rapportage, zelf de behoefte om hier met iemand van de opleiding over te spreken? zeer veel

0

veel

5

een beetje

10

weinig

4

helemaal niet

Tabel17, n = 28

9 0

2

4

6

8

10

12

5.1 Heb je over het testrapport een zgn. individueel startgesprek gehad met iemand van de opleiding ? ja, in de loop van onderwijsperiode 1

1

ja,eind augustus/begin september vóór de start van mijn studie

9

ja, in juni of juli

7

nee, maar wel een groepsgesprek

1

nee, geen gesprek

Tabel 18, n = 28

10

0

2

4

6

8

10

12

Startgesprek: duur, vertrouwelijkheid en nut zie tabellen 19 t/m 21  Tijdsduur: 88% vindt de lengte van het gesprek precies goed (16 studenten). Twee studenten vinden het gesprek zelfs te kort. Niemand vond het gesprek te lang.  Bespreekbaarheid uitkomsten: studenten hadden er niet of nauwelijks moeite mee om resultaten uit de test met iemand van de opleiding te bespreken (resp. 16 en 2 studenten).  Nut: de helft van de studenten vindt het startgesprek nuttig of zeer nuttig (9 studenten), 5 studenten (27%) vonden het (volkomen) zinloos en 4 studenten (22%) zijn neutraal daarover. Samengevat (n=18): studenten vinden de lengte van het gesprek veelal prima en hebben geen bezwaar om de uitkomsten te bespreken. Zo’n 50% van de studenten vind het startgesprek (zeer) nuttig, ongeveer 20% is neutraal en 27% vindt het zinloos. 5.2 Wat vond je van de duur van het startgesprek? veel te lang

0

te lang

0

tijdsduur was precies goed

16

te kort

2

veel te kort

Tabel 19, n = 18

0 0

5

10

15

20

36


5.3 Vond je het bezwaarlijk om je uitkomsten van de intake test met een intaker te delen ? erg bezwaarlijk

0

bezwaarlijk

0

een beetje

0

nauwelijks

2

helemaal niet

Tabel 20, n = 18

16

0

2

4

6

8

10

12

14

16

18

5.4 In hoeverre vond je het nuttig om een startgesprek te hebben met de intaker over de uitkomsten van de intake test ? zeer nuttig

1

nuttig

8

neutraal

4

nutteloos

4

volkomen nutteloos

Tabel 21, n = 18

1 0

1

2

3

4

5

6

7

8

9

Aanvullende analyse Relatie behoefte gesprek en ervaren nut Behoefte aan gesprek Gesprek (volkomen) nutteloos geen - weinig 4 een beetje 5 veel 0

Gesprek (zeer) nuttig 2 3 4

NB Twee studenten hebben hun ervaringen over het nut van het gesprek niet ingevoerd (hoewel zij volgens de intaker wel een gesprek hebben gehad). Een van hen had geen behoefte en de ander had veel behoefte aan een gesprek.

Uit deze gegevens blijkt dat ongeveer een derde van de respondenten die geen of weinig behoefte aan een gesprek hadden (2 van de 6, is 33%) of er een beetje behoefte aan hadden (3 van de 8, is 37%) het gesprek toch als (zeer) nuttig hebben ervaren. De studenten die er behoefte aan hadden ervoeren het gesprek als (zeer) nuttig. Daaruit zou je kunnen concluderen dat de digitale test(resultaten) en het gevoerde gesprek ook voor studenten die van te voren niet de behoefte ervaren of het nut ervan in zien, hier naar aanleiding van het startgesprek anders over zijn gaan denken. Het startgesprek heeft wel degelijk een toegevoegde waarde. Startgesprek: zekerheid studiekeuze en beeld opleiding en beroep zie tabellen 22 t/m 24  Zekerheid studiekeuze: 72% zegt dat het startgesprek geen invloed heeft op het gevoel van zekerheid over hun studiekeuze. En 5 respondenten (28%) geeft dat ze zich iets zekerder of veel zekerder voelen over hun studiekeuze naar aanleiding van het startgesprek. Niemand gaf aan zich iets of veel onzekerder te zijn over de studiekeuze.  Beeld van de opleiding: 61% zegt dat het startgesprek geen invloed heeft op het beeld dat zij hebben van de opleiding. En 7 respondenten (38%) geeft dat ze een iets of veel beter beeld hebben gekregen van de opleiding. Geen van de respondenten gaf aan dat het gesprek zorgde voor een minder goed beeld van de opleiding naar aanleiding van het startgesprek.  Beeld van het beroep: de resultaten is gelijk aan die op het vorige onderdeel, maar dan voor het beeld dat studenten hebben over het beroep waarvoor ze worden opgeleid. Samengevat (n=18): een kleine groep respondenten(5 studenten) zegt dat ze zich zekerder zijn gaan voelen over hun studiekeuze door het startgesprek. Voor de grootste groep had het startgesprek geen positieve maar ook geen negatieve invloed op hun zekerheid over de studiekeuze. Een gelijke trend is te zien bij het de invloed op 37


het beeld van de opleiding en het beeld van het beroep: het startgesprek geeft een derde van de studenten een beter beeld van de opleiding en het beroep.

5.9 Heeft het startgesprek je meer zekerheid opgeleverd over je studiekeuze ? ja, ik voelde me veel zekerder

2

ja, ik voelde me iets zekerder

3

had geen invloed

13

nee, ik ging me iets onzekerder voelen

0

nee, ik ging me veel onzekerder voelen

0

Tabel 22, n = 18

0

2

4

6

8

10

12

14

5.10 Heeft het startgesprek bijgedragen aan een beter beeld van de opleiding ? ja, ik het een veel beter beeld van de opleiding

2

ja, ik het een iets beter beeld van de opleiding

5

nee, het startgesprek had geen invloed

11

nee, het startgesprek zorgde voor een minder goed beeld

Tabel 23, n = 18

0 0

5

10

15

5.11 Heeft het startgesprek bijgedragen aan een beter beeld over het beroep ? ja, ik heb een veel beter beeld over het beroep

1

ja, ik heb een iets beter beeld over het beroep

6

nee, het startgesprek had geen invloed

11

nee, ik het startgesprek zorgde voor een minder goed beeld

Tabel 24, n = 18

0

0

5

10

15

Vervolgacties na startgesprek zie tabellen 25 t/m 28  Vervolgafspraken: 61% van de studenten hebben met de intaker géén concrete afspraken over 16 vervolgacties gemaakt. Een derde (38%) van de responders heeft dat wel gedaan.  Vervolgactie gerealiseerd: alle studenten die een concrete vervolgactie heeft afgesproken heeft daar ook iets meegedaan (7 van de 7). e  Aard vervolgactie: de vervolgactie betrof veelal verder bespreken in een 1 SLB-gesprek. Eén student geeft aan dat de afspraak was de studie-informatie goed te gebruiken, één student heeft een afspraak gemaakt met het studiekeuzecentrum en 2 keer betrof het een andere (onbekend) vervolgactie.  Aanmelding zomercursus Wiskunde (n=28): 13 respondenten (46%) geven aan zich al te hebben aangemeld voor de zomercursus wiskunde voordat zij de uitslag op de test hadden ontvangen en/of een startgesprek hebben gevoerd. Eén student heeft zich wel aangemeld naar aanleiding van die intakeactiviteiten en 9 studenten (32%) die de vragenlijst hebben ingevuld zeggen dat het geen invloed had. Voor 5 studenten is deze vraag niet van toepassing. Samengevat (n=18): ongeveer een derde maakt in overleg met de intaker vervolgafspraken en geven daar ook vervolg aan. Meestal betreft het een vervolg in het slb-traject. De intake test of het startgesprek hebben

16

Voorbeelden vervolgacties: doorverwijzing decaan, vervolg in 1e slb-gesprek, aanraden deficiëntieprogramma, aanwezigheid bij cruciale vakken (bijv. slb, communicatie, wiskunde), wijzen op bepaalde studie-informatie. 38


nauwelijks invloed gehad op aanmelding bij de zomercursus wiskunde, wat vermoedelijk met de timing van de 17 verschillende interventies te maken heeft . 5.5 Heb je aan het eind van het startgesprek concrete afspraken gemaakt ? nee

11

ja

7

Tabel 25,0 n = 18

2

4

6

8

10

12

5.6 Heb je iets met deze afspraken gedaan? nee, nog van plan

0

nee

8

ja

Tabel 26, n = 15

7 0

1

2

3

4

5

6

7

8

9

5.7 Wanneer je dat nog van plan bent of al hebt gedaan, wat betrof deze afspraak/vervolgactie dan ? anders

2

goed gebruik studie-informatie voor plannen studie

1

heroverwegen studiekeuze

0

deelname deficientieprogramma (o.a. wiskunde zomercursus)

0

aanwezigheid tijdens lessen

0

afspraak studiekeuzecentrum

1

afspraak decaan

0

bespreken in eerste slb-gesprek

Tabel 27, n = 10

7

0

1

2

3

4

5

6

7

8

6.1 Heeft de uitslag op de intake test en/of het startgesprek je ertoe bewogen om je aan te melden voor de zomercursus wiskunde in juni of augustus ? n.v.t. (geen zomercursus gevolgd)

5

ja

1

nee, ik had me al aangemeld

13

nee

Tabel 28, n = 28

9 0

2

4

6

8

10

12

14

Afsluiter: mening over initiatief vroegtijdig intake assessment van de opleiding zie tabel 29 De meeste studenten (78%) die de vragenlijst hebben ingevuld zijn positief over het initiatief van de opleidingen om de digitale intake test en het startgesprek te organiseren. Ze vinden het nuttig (16 respondenten; 57%) tot zeer nuttig (6 studenten; 21%). Vier studenten zijn neutraal hierover en 2 studenten vinden het (zeer) onnodig.

17

de zomercursus valt gelijk met de intaketest of de startgesprekken of de zomercursus heeft al plaatsgevonden als de test of gesprekken gepland zijn.

39


6.2 Wat vind je van het initiatief vande opleiding om vroegtijdig een intake test en startgesprek aan te bieden ? zeer nuttig

6

nuttig

16

neutraal

4

onnodig

1

zeer onnodig

1

Tabel 29, n = 28 0

2

4

6

8

10

12

14

16

18

Aanvullende analyse Relatie behoefte gesprek en gesprek gevoerd Behoefte aan gesprek Geen gesprek Gesprek vóór de poort geen 4 5 weinig of een beetje 4 9 veel 0 5

Anders, nl. 1 via groepsgesprek

Tabel 30 18

Uit deze gegevens blijkt dat studenten die zelf al aangeven na de test veel behoefte aan een gesprek te hebben, ook allen een gesprek hebben gevoerd, studenten die er een weinig of een beetje behoefte aan hebben voor het merendeel een gesprek heeft gevoerd en studenten die geen behoefte hebben ook geen gesprek hebben gevoerd. Relatie mening nut digitale test (vooraf) en mening nut vroegtijdig aanbod intake test en startgesprek Aanbod test en Neutraal over aanbod Aanbod test en gesprek Nut digitale test (vooraf): gesprek (zeer) onnodig test en gesprek (zeer) nuttig helemaal geen - weinig 2 1 neutraal 4 11 nuttig – zeer nuttig 9 Tabel 31, n=27

Uit deze gegevens blijkt dat studenten die vooraf vooral positief of neutraal zijn over de intake test (20 studenten) dit ook zijn over het aanbod van de opleiding om test en gesprek vroegtijdig aan te bieden (71%). Studenten die het helemaal geen of weinig nut zien in de test vooraf (3 studenten), het ook achteraf niet nodig van de opleiding om een intake assessment aan te bieden (2 studenten), of dit toch nuttig vinden (1 student).

18

Aantallen zijn gecorrigeerd vanwege mismatch (zoals eerder in dit document beschreven): de positieve registratie (wel gesprek) door student of intaker is aangehouden. 40


BIJLAGE 4 RESULTATEN OORDEEL INTAKECOORDINATOREN EN TESTLEIDERS Oordeel intakecoördinatoren De evaluatie is ingevuld door drie intakecoördinatoren. NB De antwoorden op sommige vragen kunnen dubbelop zijn (lees: gegeven door dezelfde persoon in de rol van testleider, intakecoördinator en intaker). Vraag 1 Startgesprekken: nut en noodzaak Twee intakecoördinatoren verwijzen naar hun antwoorden bij evaluatie intaker. Eén intakecoördinator geeft voor nut een 8,5 en voor noodzaak een 6,5. De lagere score op noodzaak is vanwege er nu ook gesprekken zijn gevoerd met niet-risicostudenten. Vraag 2 Voor welk doel nuttig en noodzakelijk a. Goede start voor student: zelfinzicht capaciteiten en competenties, beeld van de opleiding en beroep. b. Goed beeld van studenteninstroom bij de opleiding c. Uitval verminderen in het eerste studiejaar d. Binding creëren tussen student en opleiding

3x 3x 2x 3x

Anders, namelijk (1x):  Onzekerheid bij studenten wegnemen over het volgen of het starten van een hbo-opleiding (dus in algemene zin; een stap in het onbekende).  Dat ze elkaar zien en dat er daardoor meer en sneller binding is tussen studenten onderling.  Dat studenten al informatie horen over vragen waar ze mee zitten (bijvoorbeeld over vrijstellingen, over vragen over boeken en studievereniging).  Dat ze informatie krijgen over studeren: ze hebben de boodschap dat ze voor het maken van huiswerk en projecten beter op school kunnen blijven (werken in groepjes) en niet thuis in een boek gaan staren, al gehoord. Vraag 3 Ondersteuning vanuit de organisatie Twee intakecoördinatoren verwijzen naar hun antwoorden bij evaluatie intaker. Eén intakecoordinator beantwoord deze vraag vanuit de rol van coördinator apart, namelijk:  vanuit management: cijfer 5. Toelichting: niet heel erg tevreden, omdat het toch extra uren vergde. Hoewel de intakecoördinator ook slb-coördinator en instroomcoördinator is en het vanuit die taak de intakes organiseert en daar dus uren voor heeft.  vanuit het project(leider): cijfer 8. Toelichting: er is veel tijd ingestoken. NB Evaluatie van intakes mag wel eerder.  vanuit eigen organisatie (administratie, samenwerking met collega’s): cijfer 9, maar wisselende ervaringen. Vanuit OSC (voorheen: Bedrijfsbureau) is de ondersteuning uitstekend geweest. Vooral: uitnodiging student ging perfect en de bereidheid om bij digitale intake te zijn (met namenlijsten). Samenwerking met collega’s: cijfer 6. Met de desbetreffende intaker verliep de samenwerking goed. Wel vervelend is dat als je iets wilt regelen, dat je merkt dat collega’s er geen zin in hebben en de kont tegen de krib gooien. Dit is ervaren als oncollegiaal. Vraag 5 Mening over uitvoering geheel intake assessment (test en gesprek) Twee intakecoördinatoren verwijzen naar hun antwoorden bij evaluatie intaker. Eén intakecoördinator geeft een apart cijfer vanuit de rol van intakecoordinator: cijfer 8. Vraag 6: zie resultaten bij evaluatie testleider

Vraag 7 Mening over uitvoering startgesprekken Twee intakecoördinatoren geven een score: beiden cijfer 8. Toelichting: dit is bij één opleiding gebeurt via email en bellen met gegevens die studenten op aanwezigheidslijst hebben ingevuld. Dat verliep goed vanwege klein aantal studenten. 41


Vraag 4

Ondersteuning rol intakecoördinator

Wat ging goed?  De ondersteuning van en samenwerking met andere testleider (locatie Delft) (heeft zaken (testaccounts) voorbereid) en de samenwerking met het Onderwijsservicecentrum (voorheen: Bedrijfsbureau) en de projectleider verliep goed.  Het gebruik van het Draaiboek Algemeen als start van de pilot en de centrale ondersteuning vanuit het project en het onderwijsservicecentrum. Verbetersuggesties  Draagvlak als voorwaarde om te starten en betere samenwerking met collega’s.  Uren ter beschikking stellen voor coördinatie van opleidingsoverstijgende werkzaamheden.

Vraag 8

Uitvoering intake assessment (test en gesprek)

Wat ging goed?  In de pilot ging het goed. Wellicht vanwege de kleine aantallen. En de betrokkenheid van studenten. Mogelijk is dat bij grotere aantallen er meer ongeregeldheden gaan spelen. Vooral als het weer vlak na eindexamens wordt gepland (digitale testafname) (2x).  Verder was het prettig dat we de studenten het aanbod konden doen om de digitale test thuis af te nemen. Verbetersuggesties Bij een klein aantal studenten: één of maximaal 2 momenten voor testafname inplannen (2x). Minder efficiënt wanneer het om kleine aantallen gaat. Adviezen over toekomstige aanpak  Alleen risico-studenten oproepen voor startgesprek.  Onderdelen taal en rekenen en de competentie ‘plannen’ in de testscore nog zwaarder laten meewegen (red.: nu weegt het al dubbel mee).  Eén persoon die intakecoördinator en testleider is voor opleidingen op één locatie (bijvoorbeeld bij scheepsbouwkunde en luchtvaarttechnologie); en die persoon koppelen aan de SLB- coördinatoren van studiejaar 2011-2012. Om zo goede uitvoering en goede koppeling met het curriculum/slb te organiseren.  Moment van afname, bij deeltijdopleiding: zeker vóór de poort. Omdat studenten vóór de vakantie al inzicht hebben in hun knelpunten. Als blijkt dat ze zich herkennen, dan kan je ze al vroeger dan normaal op een spoor zetten om zich voor te bereiden voor de start van de studie. En: in de eerste weken komt er een ‘tsunami van informatie’ over (deeltijd)studenten heen. Met intakes verspreid je dat en studenten krijgen daardoor meer gelegenheid om alvast aan iets te gaan werken. Deeltijders moeten efficiënt met hun tijd omgaan. Bij voltijders speelt dit misschien wat minder. Moment van afname, bij voltijdopleiding: organisatorisch lijkt het lastiger (grotere aantallen), maar inhoudelijk is het wel wenselijk. Het is echter niet noodzakelijk. Als je de test voor de poort afneemt, dan kan je startgesprekken met risico-studenten vóór de poort houden en met de rest tijdens SLB. Dit zorgt óók voor binding/PR: ze worden serieus genomen. Ze zijn meteen een individu een geen nummer.  De niet-opdagers (op de digitale test) verhogen door betrokkenheid van docenten te verhogen.  In eerste onderwijsweek stimuleren dat de niet-opdagers alsnog de intake test maken. Bij voltijd zou je het verplicht kunnen stellen. Bij deeltijd: dringend advies (vaak gehoord: “al de zoveelste test”).  Zorg dat je ‘vervuiling’ van de intake-studenten bestand terugdringt (bij vóór de poort): soms is er een 21+ toets en worden studenten daarna niet toegelaten, maar hebben wel een intaketest gedaan. Dus advies: na uitslag toelating 21+ plannen.

42


Oordeel van testleider De evaluatie is ingevuld door drie testleiders. NB De antwoorden op sommige vragen kunnen dubbelop zijn (lees: gegeven door dezelfde persoon in de rol van testleider, intakecoördinator en intaker). Vraag 1 Ondersteuning vanuit de organisatie  vanuit management: 1x cijfer 4, 1x cijfer 5 en n.v.t. Toelichting: ontevredenheid over veel in eigen tijd uitgevoerd, ook voor andere opleidingen. Dit werkt niet motiveren: ook met het oog op de toekomst (vervolg intakes inbedden).  vanuit het project(leider): 1x cijfer 10, 2x cijfer 8.  vanuit eigen organisatie (administratie, samenwerking met collega’s): 1x cijfer 7. Toelichting: lokalen regelen was lastig (locatie Delft). Samenwerking met andere testleider ging goed. Bij andere collega in projectteam minder draagvlak. De administratieve ondersteuning van het Onderwijsservicecentrum (voorheen Informatiepunt) mag veel gestructureerder en meer in ondersteunende zin. De informatieadviseur van het domein TOI heeft alle medewerking verleent. Erg goed dat hij bij de eerste testafnames aanwezig was.

Vraag 2 Mening over de training testleider 1x cijfer 5. Toelichting: geen bijzondere training omdat PC-lokaal niet beschikbaar, door omstandigheden. Het had doordat je zelf niet achter de PC kon weinig meerwaarde (cursusleider had 1 PC beschikbaar). Volgende keer: goed behoefte peilen. Als meer PC’s beschikbaar: dan zelf aan oefenen gewenst. 1x cijfer 7. Toelichting: toch beter om te kunnen oefenen als aankomend testleider. En zelf gehele test kunnen maken (naar keuze). Vraag 3 Mening over draaiboek testleider Eén testleider oordeelt met het cijfer 8. Eén keer is het oordeel “n.v.t.”, omdat ondersteund door andere testleider op locatie, die deel van de voorbereidingen had getroffen.

Vraag 4

Ondersteuning rol testleider

Wat ging goed?  Prettig dat er een centrale testleider is (2x). En dat deze vanwege centraal beheer testaccounts de instructieformulieren voor studenten en het beheer van de accounts centraal voorbereidt/regelt.  Handleiding testleiders goed, alsook gesprek met andere testleiders. Verbetersuggestie  Zelf de test verplicht maken als testleider en als intaker/slb-er.  Kunnen oefenen tijdens training testleider.

Vraag 5 Mening over uitvoering digitale testafname(n) Twee keer is het cijfer 8 gegeven. Wat ging goed?  De techniek verliep goed.  Het is een zelfstandige toets. Er waren ter plekke van studenten niet veel vragen aan de testleider. De test was helder en toegankelijk.  Eén persoon werd uit het programma gegooid en heeft de digitale test thuis kunnen maken wat goed ging. Verbetersuggesties:  Enkele technisch-functionele suggesties voor de softwareontwikkelaar NOA (is doorgegeven). 43


  

Veilige leeromgeving voor de student organiseren: strak organiseren met gebruik maken van PC-lokaal (nu op locatie Delft niet goed verlopen). En, tijd nemen voor introductie/koffie voorafgaand aan de test. In uitnodigingsbrief aan studenten niet de telefoonnummers van testleider of intakecoordinator plaatsen (nu op eigen verzoek), maar het telefoonnummer van het OSC.

Vraag 6 Mening over teamsite Intakes domein TOI De teamsite is ingezet voor: delen van informatie pilot: kalender, hyperlink naar beheeromgeving intake test, berichtgeving, verzamelen projectdocumenten en materiaal, plaatsen van onderzoeksrapporten en documenten voor projectadministratie. 2x cijfer 8, 1x cijfer 7. Toelichting: het is vooral handig dat wanneer je meerdere rollen hebt in de uitvoering je direct doorgestuurd kan worden naar de juiste informatie (vanuit mailtjes die projectleider stuurde). Beetje veel informatie op de teamsite, maar handig dat projectleider mailt met directe links. Handig, wel even zoeken. Goed dat er één centrale verzamelplek is. Werkt wel beter als er een betere structuur (meer gerubriceerd) is aangebracht in de teamsite/documentenlijst.

44

Resultaat- en procesevaluatie SKG3 Studiekeuzegesprekken

Recommend Documents