Praktijkbeschrijving deel 4 en 5 Hogeschool Windesheim, School of Education
OW 10.0843 Deel 4: Resultaatevaluatie In dit deel van de praktijkbeschrijving vind je de effecten van het project “Studiekeuzegesprekken, wat werkt- Go, no go”, School of Education, Windesheim.
Effect van studiekeuzegesprekken op studiesucces Behaalde studiepunten en uitval Engels afstandleren
Inschrijvers per 1 september 90
Studiepunten per 1 februari 0 - 13 ec
Stoppers tussen 5/9 – 14/1 17
Waarvan via decaan 9
Bij Engels afstandleren zijn dit studiejaar (09-10) negentig (90) studenten gestart die een intaketraject hebben doorlopen. Het gaat om 64 studenten die het intaketraject zoals het bedoeld was hebben doorlopen, namelijk voor de start van de studie. Daarnaast zijn er in dit cohort 26 studenten die na de poort een gesprek hebben gekregen. De gegevens over studiepunten (ec’s) en stoppers kunnen we helaas niet uitsplitsen in categorieën voor en na de poort, maar gelden voor de hele groep van 90 ingetakete studenten. Van de hele groep heeft bijna de helft (43) van de studenten vrijstellingen gekregen. Deze studenten hebben maximaal 135 studiepunten behaald, op basis van die vrijstellingen. Iets meer dan de helft van deze groep, de overige 47 studenten, heeft per 1 februari 0 tot 13 studiepunten behaald. Dat is weinig, maar niet minder dan vorige jaren na 1 periode studeren (gegevens nog niet beschikbaar). Er zijn 17 studenten gestopt met de opleiding. Daarvan zijn er 9 langs een studentendecaan gegaan. Zij hebben een exit formulier ingevuld en een gesprek met de decaan gevoerd. Daardoor is van hen de reden van uitschrijving bekend: ongemotiveerd / geen vrijstellingen ontvangen / niet voldoende inzet / motivatie / onvrede over opleiding / studie niet zo aantrekkelijk als gedacht / beroep trekt niet meer aan / gaat werken / ? / fulltime baan aangeboden. Voor de studenten die een intake in het kader van Go, no go hadden gedaan was het gebruikelijke intakeformulier aangepast. Helaas is dat niet altijd goed ingezet en hebben de studenten uit de pilot ook wel het reguliere formulier ontvangen. Daardoor is de relatie tussen reden om te stoppen en het intaketraject onduidelijk.
1
Geschiedenis voltijd
Inschrijvers per 1 september 49
Studiepunten per 1 februari 0 - 19 Gem. 6 ec/ ec. per student
Stoppers tussen 3/11 – 26/1 16
Waarvan via decaan 16
Dit jaar zijn 49 studenten gestart met de voltijd opleiding Geschiedenis. Dat zijn er 10 minder dan in het intaketraject op gesprek is geweest (59). Geen enkele student kreeg een negatief advies. Van de 49 studenten kregen er 22 het advies starten zonder bezwaar. Daarvan zijn er inmiddels 6 gestopt. 27 studenten kregen het advies starten mits. Daarvan hebben er 10 de opleiding gestaakt. Een relatie tussen type advies en reden van uitval is niet eenduidig te leggen. Tussen november 09 en eind januari 2010 geven zestien studenten bij de decaan aan dat zij willen stoppen met de studie. De redenen die zij geven luiden als volgt: opleiding niet zo aantrekkelijk als gedacht 7X / overstap naar andere opleiding 4X / afmelding studielink / moeite met lesgeven / leraarschap trekt niet meer aan / overgang naar hbo te groot / studieresultaten vallen tegen / werk / privé omstandigheden / leger in. Voor de studenten die een intake in het kader van Go, no go hadden gedaan was het gebruikelijke intakeformulier aangepast. Helaas is dat niet altijd goed ingezet en hebben de studenten uit de pilot ook wel het reguliere formulier ontvangen. Daardoor is de relatie tussen reden om te stoppen en het intaketraject onduidelijk.
Inschrijvers per Pabo onderwijsassistenten 1 september 40
Studiepunten per 1 februari
Stoppers per 1 maart
0 - 12 ec.
2
Gem. 7 ec. per student
De Pabo start dit studiejaar met 40 mbo studenten onderwijsassistent. Van die 40 hebben er 28 het intaketraject doorlopen voor de start van de studie. Na de poort hebben nog eens 12 studenten het traject doorlopen. Het aantal behaalde studiepunten voor de gehele groep op 11-01-10 ligt tussen de 3 - 12 studiepunten. Twee studenten zijn inmiddels gestopt. Beide kregen als studieadvies bij intake starten zonder bezwaar. De ene studente had geen studiepunten behaald. De andere student heeft de rekentoets na het maximale aantal pogingen niet gehaald en had last van faalangst. Beide studenten zijn uit eigen beweging gestopt. Inschrijvers per Theologie & Levensbeschouwing 1 september 6
Studiepunten per 1 februari 10 – 15 ec.
Stoppers per 1 maart
Gem. 1 10ec.per 2
student Een student met het advies starten zonder bezwaar is in december gestopt vanwege overmacht in de familiesfeer. Twee studenten met een functiebeperking, met een advies starten zonder bezwaar, hebben studie uitstel gekregen op basis van hun psychische stoornis. De komende maanden zullen uitwijzen of zij het gaan redden of toch uitvallen. Inmiddels is in de opleiding Theologie en Levensbeschouwing naar aanleiding van de huidige prestaties van deze twee studenten kritisch teruggekeken naar de afgegeven studieadviezen (alle twee positief). Normering aantallen studiepunten Het minimaal te behalen aantal ec’s in het eerste jaar, na vier perioden studie, is 45. Het aantal behaalde studiepunten na 1 periode, in de staatjes hierboven, zegt dan ook niet zoveel. Ook studenten die na 1 periode nog maar weinig studiepunten hebben gehaald, kunnen tegen het einde van het eerste jaar toch de nodige 45 ec’s behalen. De vier opleidingen werken daarom ook niet met een norm voor het aantal behaalde ec’s per periode. Wel met een norm voor het eerste jaar; 45 van de 60 studiepunten moet dan binnen zijn. In de na-meting die als aanvulling op dit project wordt uitgevoerd, zullen de gegevens over gemiddeld aantal studiepunten per ingetakete en niet ingetakete student, aantallen bsa’s en uitval na 1 jaar studeren, inclusief een normering worden opgeleverd (december 2010). Oordeel van de deelnemer over het nut van de gesprekken Het intakeprogramma is door de meeste studenten die een intakegesprek hebben gehad geëvalueerd, middels een evaluatieformulier dat direct na afloop van het intakegesprek werd ingevuld. De studenten voor Theologie en Levensbeschouwing hebben de vragenlijst door een interne miscommunicatie niet gekregen. Hun ervaringen zijn in de eerste periode van dit studiejaar in een gesprek geëvalueerd. Alle zes waren zij tevreden over de sfeer en de inhoud van het gesprek. De volgende onderwerpen zijn geëvalueerd: -
informatie over het intakeprogramma gebruiksvriendelijkheid assessment site de onderdelen van het intakeprogramma de communicatie via brieven en e-mail de organisatie van het intakegesprek de sfeer tijdens het gesprek de studiekeuze
3
De deelname aan de evaluaties was goed, omdat studenten direct na afloop van het interview de enquête kregen. De vragenlijst was handmatig in te vullen en dat nam maar enkele minuten in beslag. De evaluaties laten een positief beeld zien. Er zijn relatief weinig studenten die ontevreden zijn met de het intakeprogramma. In december heeft een tweede tevredenheid meting onder de pilot studenten plaats gevonden, waarbij studenten bevraagd werden op de relatie tussen intake en de huidige studie. De meerderheid (70 – 80%) van de studenten is gemotiveerd bezig in de gekozen opleiding en is redelijk (40 %) tot zeer (60%) tevreden over de eigen prestaties. Opvallend ander resultaat is dat het percentage studenten dat tevreden is over het studie advies afneemt naarmate de tijd vordert. Direct na het intaketraject, zomer 2009, is de overgrote meerderheid van de studenten die het evaluatieformulier hebben ingevuld tevreden met het advies. Bij de tweede meting in december wordt de vraag herhaald. Na bijna vier maanden studeren zijn de meeste studenten niet meer zo tevreden met het afgegeven studieadvies als direct na het intaketraject. Hierbij moet worden aangetekend dat slechts een klein deel van de ingetakete studenten heeft meegedaan aan de eerste evaluatie en een klein deel van de ingeschreven studenten aan de tweede meting. Verder is de evaluatie anoniem ingevuld en niet gecodeerd. Een koppeling maken op naam tussen eerste en tweede meting is niet mogelijk.
Ik ben tevreden met het studieadvies dat ik na het intakegesprek ontving Engels afstandleren Zomer 2009 / 36 respondenten van de 64 gesprekken Winter 2009 / 16 respondenten van de 64 ingeschrevenen Geschiedenis voltijd Zomer 2009 / 24 respondenten van de 59 gesprekken Winter 2009 / 24 respondenten van de 49 ingeschrevenen Pabo onderwijsassistenten Zomer 2009 / 30(?) respondenten van de 28 gesprekken Winter 2009 / 17 respondenten van de 40 ingeschrevenen
Mee eens 78%
Neutraal 8%
Mee oneens 8%
6%
68,75%
12,5%
12,5%
6,25%
Mee eens 100%
neutraal
Niet beantwoord
0%
Mee oneens 0%
0%
83%
13%
4%
0%
Niet beantwoord 0% 6%
Mee eens 97%
neutraal 3%
Mee oneens 0%
47%
29%
18%
4
Niet beantwoord
Theologie en Levensbeschouwing Zomer 2009 niet afgenomen Winter 2009 / 3 respondenten van de 6 ingeschrevenen
Mee eens 2
neutraal 1
Mee oneens -
Niet beantwoord -
Een van de doelen van het intaketraject was om een duidelijk beeld te geven van de inhoud van de opleiding. Minder dan een derde tot geen van de respondenten is het daar van harte mee eens.
Het intaketraject gaf mij een duidelijk beeld van de inhoud van de opleiding Engels afstandleren Geschiedenis voltijd Pabo onderwijsassistenten Theologie en Levensbeschouwing
Mee eens 25% 29% -
neutraal 62,5% 58% 59% 2
Mee oneens 12,5% 13% 35% 1
Niet beantwoord 6%
Een ander belangrijk doel was zicht op het beroep. Voor 20 – 30% van de respondenten is dat doel niet behaald. De redenen daarvan zijn zeer divers.
Het intaketraject gaf mij een goed beeld van het beroep waarvoor de opleiding opleidt, zoals tot nu toe ervaren Engels afstandleren Geschiedenis voltijd Pabo onderwijsassistenten Theologie en Levensbeschouwing
Mee eens 37,5 46% 18%
neutraal 31,25 37% 53% 2
Mee oneens 31,25 17% 23% 1
Niet beantwoord
Naast de tevredenheid meting in de zomer en de winter zijn de studenten die stoppen met de opleiding in het gebruikelijke exit gesprek met de studentendecaan bevraagd op de reden van stoppen in relatie met het intakegesprek. Om de relatie met het exitgesprek te kunnen leggen is het exit formulier 5
met een aantal vragen uitgebreid, speciaal voor de studenten in de pilot “Go, no go”. Helaas hebben niet alle studenten die bij de decaan langs zijn gegaan het juiste exit formulier ingevuld, waardoor de relatie tussen intaketraject en reden van uitval niet gelegd kan worden. In de eindrapportage zal alsnog geprobeerd worden via nabellen een relatie te beschrijven. Oordeel van de gespreksvoerders Na elke intakeronde zijn de intakegesprekken per opleiding met de gespreksvoerders geëvalueerd. De opbrengst volgt hier onder: Uitvoering Intakegesprekken Het is noodzakelijk de bezetting vroeg te plannen, rekening houdend met vroege en late aanmelders. Voor deze laatste, grote groep is bezetting in de zomer gewenst. Het beeld van docenten en slb-ers is dat aanmelders de intakegesprekken zeer waarderen. Ze hebben er een beter beeld door gekregen van de opleiding en hebben ook meer informatie ontvangen over hun capaciteiten. Ze ervaren de feedback die ze ontvangen als direct en duidelijk, zelfs een negatief advies wordt gewaardeerd. Een Er is inmiddels een aantal aanmelders bij Engels dat zich heeft teruggetrokken op basis van het advies. Aanmelders zouden beter voorbereid kunnen worden op de inhoud van het gesprek. Ook al lukt het goed om de aanstaande studenten op hun gemak te stellen, er is toch regelmatig sprake van een soort ‘sollicitatiespanning’ die met zich meebrengt dat de aanmelders zich zo goed mogelijk ‘verkopen’. De voorbereiding kan wellicht beter door op de site al te informeren wat het karakter is van het gesprek (kennismaking, verkennen wederzijdse verwachtingen) en dat aan het begin van het interview heel expliciet te herhalen. Het is makkelijker om door te vragen op aanwezige capaciteiten dan op beroepsbeeld en beroepswens. Ook het doorvragen op persoonlijke problematiek of bij het studeren met een functiebeperking bij opleidingen waar minder ervaring is met deze problematiek, blijft lastig. Doorvragen in het algemeen mag steviger. De aanmelders die iets aan voorlichting hebben gedaan; een oriëntatiedag of meeloopdag, hebben een beter beeld van de opleiding dan diegene die dat niet hebben gedaan. Instrumenten intakegesprekken De gespreksleidraad was een goede voorbereiding en handig geheugensteuntje om na te gaan of in het gesprek alle onderwerpen besproken zijn. Collega’s hadden er eerst moeite mee om de indicatorenlijst in te moeten vullen, maar uiteindelijk vonden ze het leuk en droeg het bij aan meer objectieve feedback. Het advies formulier op doordrukpapier was snel in te zetten.
6
Organisatie Degene die de intakes coördineert moet daartoe zijn handen vrij hebben en zelf geen gesprekken hoeven te voeren. Evaluatie na vier maanden studeren De slb-ers die de pilot studenten begeleiden in het eerste jaar zijn in december bevraagd op hun beeld van de pilot studenten ten opzichte van motivatie, reflectie, tevredenheid. Wat we van de slb-ers wilden weten is of zij kunnen ervaren dat de pilot studenten meer gemotiveerd en meer tevreden zijn over hun studiekeuze dan de niet pilot studenten en in hoeverre dat samenhangt met het intakegesprek. De gegevens daarvan zijn eind februari nog niet beschikbaar.
7
Deel 5: Procesevaluatie Doel: inzicht geven in hoe het arrangement heeft gefunctioneerd, wat goed is bevallen, wat verbeterd kan worden, alsmede de lessons learned en do’s & don’ts van het uitgevoerde arrangement.
Reflectie terug Gerealiseerd ontwerp In het onderstaande geven we een toelichting per fase over het verloop en de tussentijdse aanpassingen ten opzichte van het ontwerp. Fase 1, Analyse De praktijkbeschrijving deel 1 t/m 3 is afgerond en opgeleverd met de voortgangsrapportage. De praktijkbeschrijving heeft de projectgroep geholpen bij het systematisch reflecteren op de zeven gekozen interventies die voor elk van de vier deelnemende opleidingen weer net iets anders werden ingevuld en om de kennis overdraagbaar te maken naar drie andere opleidingen binnen Windesheim die met intakegesprekken willen gaan werken. Fase 2, Ontwerp Voor een nulmeting tevredenheid onder de huidige studenten is geen apart ontwerp gemaakt. Er is gebruik gemaakt van bestaande gegevens uit het Student Tevredenheids Onderzoek 2009 en die worden afgezet tegen onze eigen tevredenheid metingen in de zomer, direct na de gesprekken en in de winter, na vier maanden studie. Het ontwerp van het digitale instrumentarium, het online assessment instrument, zou een interne aangelegenheid zijn. De gedachte vooraf was dat bestaande programma’s (NetQuestionaires en Formdesk) toereikend zouden zijn. De leveranciers konden het nodige maatwerk leveren, maar er zaten toch teveel beperkingen aan de mogelijkheden van deze programma’s. De opdracht is vervolgens besteed aan een bureau in Zwolle, waar Windesheim School of Education in voorgaande jaren goede ervaringen mee had. De samenwerking met het bureau en de geleverde diensten zijn uitstekend. De opbrengst is een toegankelijke website waar aanmelders als onderdeel van het intakeprogramma een vragenlijst kunnen invullen die input is voor het intakegesprek. Het ontwerp van de Summercourse is op basis van de landelijke benchmark aangepast. Aanvankelijk gingen we uit van twee functies van de Summercourse, namelijk academische en sociale integratie. Naast een programma om achterstanden bij te spijkeren was een sociaal programma voorzien. De ervaring bij andere instellingen leerde ons dat de toegevoegde waarde van een sociaal programma klein was. Dat onderdeel is toen vervallen. Op basis van gesprekken met zittende studenten ontwierp de Pabo een intensieve Summercourse van vier dagen. De opleidingen LvO Engels en LvO Geschiedenis kwamen na interne verkenningen uiteindelijk uit op een studiedag, onder de titel Studiedag voor een goed start. De opleiding Theologie en Levensbeschouwing maakte, conform afspraken, geen gebruik van een scholingstraject aangezien achterstanden geen rol spelen bij de uitval in die opleiding. 8
De vier opleidingen hadden al ervaring met het uitvoeren van intake gesprekken. In dit project kwam daar het nodige bij; de gesprekken werden onderdeel van een breder intakeprogramma. Hierdoor moesten de bestaande administratieve en logistieke processen worden herijkt. De bedrijfsbureaus van de vier opleidingen speelden daarin een belangrijke rol. Er is door de medewerkers in korte tijd veel werk verricht. Fase 3, Ontwikkeling Het nieuwe online assessment bestaat uit drie delen. (Ga naar www.soe-intake.nl en vul in test, login 90. Het eerste deel bevat vragen over de achtergrond van de aanmelders; persoonlijke gegevens, omstandigheden en motivatie. Het tweede deel bevat opleidingsspecifieke stellingen en verwerkingsvragen over de meegestuurde informatie over de opleiding. Het informatiemateriaal is gebaseerd op de bestaande studiegidsen per opleiding en waar nodig herzien en aangepast. Het derde en laatste deel bevat vragen en opdrachten met betrekking tot het beroep van leerkracht in het basisonderwijs. Voor de beantwoording van de vragen over het beroep zijn filmpjes opgenomen waaraan observatieopdrachten zijn gekoppeld. Gaandeweg zijn er een aantal zaken bijgekomen. Aanmelders kunnen hun CV en foto uploaden en buitenstaanders kunnen de site bekijken. De opleidingen archiveren de ingevulde vragenlijsten in een digitaal student dossier. De antwoorden op de verwerkingsvragen geven de opleiding een goed beeld van de achtergrond van de aanmelder en van de verwachtingen die de aanmelder heeft van de inhoud van de opleiding, beroepscompetenties en motivatie. De invultijd varieert per persoon, met een gemiddelde van twee en een half uur. Als toets ten behoeve van de Pabo onderwijsassistenten is een extra CITO toets rekenen en Nederlandse taal aangeboden. De digitalisering hiervan heeft vertraging opgelopen doordat Windesheim in april overschakelde op Sharenet en de systemen niet goed op elkaar aansloten. De toets is hierdoor een maand later aangeboden. De toetsen van LVO Geschiedenis en Engels zijn op papier afgenomen, kort voor de studiekeuzegesprekken. Alle toetsen zijn op locatie gemaakt. De Summercourse (pabo) en de studiedag voor een goede start (Geschiedenis en Engels) waren in de laatste week van juni gepland, kort na de tweede intakeronde. Dat is weliswaar kort dag voor diegene die zich pas in mei, juni aanmelden, maar de verwachting was dat het een voordeel zou zijn voor de aanmelders met twijfel advies en de gemotiveerde aanmelders, aangezien zij vervolgens gedurende de zomermaanden konden werken aan het bijspijkeren of vergroten van hun capaciteiten. De ontwikkelde uitnodigingsbrief is gedurende het gebruik nog aangepast, op basis van reacties van aanmelders. In de loop van de uitvoering zijn er bij alle opleidingen, als follow up op de uitnodigingsbrief, ook herinneringsbrieven en mails uitgegaan. Voor het intakegesprek is een gespreksleidraad ontwikkeld met aandachtspunten, te stellen vragen en informatie die gegeven moet worden. Fase 4, Voorbereiding De instructie van docenten heeft later plaatsgevonden dan gepland. De invoering van Sharenet in april en de meivakantie in de eerste week van mei die er direct op volgde, zijn daaraan debet. 9
De instructie is per opleiding georganiseerd, zodat die aansloot bij de gevolgde procedures in elke opleiding. De instructie is gevolgd door in totaal 33 docenten en slb-ers (10 Pabo, 10 Engels, 10 geschiedenis, 3 T+L). Na een introductie van de doelen en de beoogde resultaten van het project werd het vernieuwde intakeprogramma gepresenteerd. De website werd geïntroduceerd en de gebruikte materialen toegelicht. Daarna was er aandacht voor het gesprek zelf, de gespreksleidraad en het format studieadvies. Met name het matchingsdoel, het belang van wederkerigheid en de toon van het gesprek werden tijdens de instructie toegelicht.
Fase 5 Uitvoeringsproblemen en successen Wat was moeilijk of ging niet goed en wat ging makkelijk en goed? Gerealiseerde aantallen studenten per fase van het intakeprogramma Gerealiseer de aantallen intake Go, no go Pabo
Aanmeldingen
72
Engels
186
Geschiedenis
115
TenL voltijd
15
Totaal
388
Adviezen Adviezen Adviezen Inschrijvingen Ingevulde Op gesprek Afmeldingen Summerschool / in traject * twijfel negatief positief studiedag Vragenformulieren retour 72 50 Juni, juli 28 8 2 17 7 26 26 178 48 Juni, juli 0 4 6 48 10 64 64 70 40 Juni 1 0 0 22 27 49 59 15 6 Augustus 0 Conform CD, niet 0 6 0 6 6 aangeboden 335 144 155 29 12 8 93 44 145
Verstuurde uitnodigingsbrieven
* De relatie tussen advies en inschrijving is onduidelijk. Het is op basis van de bestaande bronnen niet te achterhalen wie zich op basis van welk advies wel of niet heeft ingeschreven. De frequentie van de intakes is bijgesteld, er zijn minimaal een en maximaal drie intake rondes gehouden, in juni, juli en september. Het uitgangspunt om aanmelders zo snel mogelijk na aanmelding te spreken is voor de groep die zich tussen februari - mei heeft aangemeld niet behaald. Dat had te maken met het feit dat het een nieuwe activiteit was die niet stond ingepland in het jaarrooster; de bezetting was dus een probleem. 10
Er is een aanzienlijk verschil tussen het aantal geplande (maximaal 400) en het aantal gerealiseerde trajecten (155). Dat is te verklaren door een minder grote instroom; verder hebben niet alle aanmelders gebruik gemaakt van het intaketraject en een derde verklaring is dat bij geschiedenis niet alle aanmelders zijn uitgenodigd. De Pabo had minder instroom van onderwijsassistenten dan vorig jaar (72 nu itt 90 vorig studiejaar). Tijdens het intaketraject meldde een aantal aanmelders zich weer af. Slechts de helft van de aanmelders die het online assessment hebben gedaan kwam op gesprek. LVO Engels had juist meer aanmeldingen. Hoewel studenten tevreden waren over het onderdeel online assessment zijn er in verhouding weinig vragenformulieren volledig teruggestuurd. Er komen zestien (Engels) en negentien (geschiedenis) aanmelders op gesprek zonder dat ze het assessment hebben verstuurd. LVO Geschiedenis heeft ongeveer evenveel aanmelders als vorig studiejaar. T+L heeft alleen de voltijd instroom meegenomen in het project. Aangezien dat een relatief nieuwe en kleine opleiding is, zijn de aantallen klein. Geschiedenis en Theologie en Levensbeschouwing hebben beduidend minder gesprekken gevoerd dan gepland. De meerderheid van de aanmelders bij LVO Geschiedenis hoort tot de groep late aanmelders, in juli - augustus. Deze groep heeft niet aan de intake deel kunnen nemen vanwege problemen met de bezetting van het team in de zomermaanden. Er is door de opleiding besloten deze aanmelders in september niet meer uit te nodigen voor een gesprek. In totaal zijn in een ronde in juni 45 gesprekken gevoerd met toekomstige eerstejaarsstudenten die zich vroeg hadden opgegeven. Op enkele uitzonderingen na is iedereen op gesprek gekomen. Een klein aantal had het digitale materiaal niet ingevuld. Met hen is een gesprek gevoerd zonder input uit het assessment. Bij de teamcoördinator van Theologie en Levensbeschouwing ontstond in juni na aanvankelijk enthousiasme de angst dat door de verzwaarde intake en de digitale vorm aanmelders zouden worden afgeschrikt die wel geschikt zijn voor de studie. Na enige besprekingen is besloten om de aanmelders voor de deeltijd niet mee te nemen in het project, de voltijd wel. Dat verklaart de kleine aantallen bij T+L. In de maanden september – oktober, na inschrijving, zijn bij Pabo en Engels nog 38 intakes intakes uitgevoerd. Het ging daarbij om late aanmelders en om studenten die weliswaar voor de poort al waren uitgenodigd, maar daar pas op in gingen toen ze eenmaal binnen waren. Bij Pabo lag het eraan dat vanwege loting op andere opleidingen studenten pas in een laat stadium te horen kregen of zij worden toegelaten op de opleiding van hun eerste keuze. Daarnaast kon een aantal slb-ers niet op de korte termijn zoveel uren vrij maken. Bij Engels afstandleren had het te maken met het feit dat een aantal afstand leerders pas wilden investeren in een gesprek op locatie nadat zij waren ingeschreven. Deze gesprekken zijn dus intakes na de poort, die plaatsvonden in de eerste weken direct na de start. De gesprekken kregen daarmee een iets ander karakter. Niet zozeer de studiekeuze stond centraal maar de persoonlijke situatie en zicht op de opleiding. De vraag was meer of studenten hun draai hadden gevonden (sociale integratie) en de aansluiting konden maken (academische integratie). De gesprekken zijn als zinvol ervaren en zijn alle besloten met een studieadvies. Deze gesprekken zijn niet geëvalueerd. Er zijn geen gegevens beschikbaar ten behoeve van de eindevaluatie.
Digitale toets kennis en vaardigheden PO: Voor de pabo is een extra kans CITO-toets (Taal en Rekenen) gecreëerd. De CITO-toets draaide op locatie, online via Sharenet. We verwachtten een hoge deelname want alle eerstejaars moeten binnen een jaar de CITO-toets gehaald hebben. De druk in het eerste jaar is daardoor hoog. Mocht de student na 3 keer de toets niet hebben gehaald, dan moet hij/zij de opleiding verlaten. 11
LVO Geschiedenis: bij geschiedenis is een schriftelijke toets Nederlands gegeven (spelling werkwoorden, interpunctie, woordregels) en een kennistoets historische kennis, die bestaat uit een lijst met open vragen. De taaltoets Nederlands is komen te vervallen en zal afgenomen worden in de propedeuse, zodat studenten zich hier beter op kunnen voorbereiden. LVO Engels: Aanmelders moesten in 45 minuten een Engelstalig essay schrijven (Schrijfvaardigheid) en het intakegesprek van een half uur werd in het Engels gehouden (spreekvaardigheid). In eerste instantie was er een taaltoets Nederlands, deze is komen te vervallen en zal afgenomen worden tijdens de propedeuse, zodat studenten zich hier beter op kunnen voorbereiden. T&L: geen kennistoets. De toetsresultaten zijn aan het dossier van de instelling en het portfolio van de student toegevoegd. Individueel intake gesprek De gespreksvoerders bij Pabo en Theologie en Levensbeschouwing waren allen slb-ers. Bij Engels en Geschiedenis waren het de betrokken vakdocenten, omdat daar ook gesproken moest worden over de kennis en vaardigheden van het gekozen vak. Alle gespreksvoerders kregen ter voorbereiding op het intake gesprek van elke aanmelder de ingevulde vragenlijsten uit het assessment toegespeeld en konden met behulp van een indicatorenlijst een score bepalen. Deze vormde een belangrijke input voor het gesprek. Studieadvies Als resultaat van het gesprek kwam de gespreksvoerder tot een advies, dat werd ondertekend. Er waren drie adviezen mogelijk. 1. Doorgaan zonder bezwaar / 2. Doorgaan met opdrachten ten aanzien van loopbaanoriëntatie of ontwikkeling van kennis en vaardigheden in een maatwerk traject en/of Summercourse / 3. Niet starten, eventueel doorverwijzen naar andere opleiding. Advies en studieafspraken werden opgenomen in een niet bindend studieadvies dat ter plekke werd ondertekend op een doordrukformulier en aan de aanmelder werd meegegeven. Die aanmelders die het advies loopbaanoriëntatie of bijspijkeren kregen, werden uitgenodigd voor de studiedag voor een goed start (Engels en Geschiedenis) of voor de Summercourse (Pabo). De opleiding neemt het studieadvies op in het studentdossier en stuurt dat op naar de betrokken slb-er. Deze neemt in de eerste periode of na een half jaar (Engels afstandleren) contact op met de student.
Summercourse Geschiedenis: De meeste aanmelders wilden geïnformeerd worden over de zomercursussen, maar konden op zo’n korte termijn niet deelnemen of konden nog niet zeggen of ze deel wilden nemen. Uiteindelijk zijn de cursussen niet doorgegaan. Engels: De studiedag voor een goede start is bezocht door vier studenten die daar enthousiast over waren.
12
De studenten hebben een startdocument ontvangen waarin hun capaciteiten werden vermeld. De studenten geven aan dat als ze de datum eerder hadden geweten er meer animo voor was geweest. Voor de Summercourse bij Pabo waren 8 deelnemers. Allen hebben de taal en rekentoets gehaald. De Summercourse kan volgend jaar beter in de laatste week van de vakantie gepland worden om de kans op deelname te vergroten. De CITO- toets voor PO moet dan daarvoor al worden afgenomen, omdat de resultaten anders niet gebruikt kunnen worden voor de intakegesprekken. Geen van de opleidingen heeft de intakegesprekken laten voeren door de toekomstige slb-er. Pabo geeft aan dat dat in de bezetting voor de intakegesprekken volgend jaar wel moet worden gerealiseerd.
Risicoprofielen Is het risicoprofiel voor de studenten goed ingeschat? De School of Education had vier opleidingen geselecteerd met een te laag rendement en een diversiteit aan instromers. Toch was het mogelijk om met een min of meer gelijk intakeprogramma te werken. Het is niet gezegd dat de aanmelders die het intaketraject hebben doorlopen diegenen waren die dat het meest konden gebruiken, dat wil zeggen degenen die het meest twijfelden aan hun studiekeuze of het meeste capaciteitsproblemen hadden en beter af zouden zijn met een andere studiekeuze. De verwachting was namelijk dat er meer negatieve adviezen gegeven zouden worden. Mogelijk hebben juist de meest gemotiveerde en/of de beste studenten het intakeprogramma doorlopen. Een andere verklaring voor het ontbreken van negatieve adviezen is mogelijk te vinden in wat we hier maar even ‘beroepshouding’ zullen noemen. Studieloopbaan begeleiders en docenten zijn er eerder op gericht studenten binnenboord te halen en te houden dan afscheid van ze te nemen.
Kosten Kosten Intake Go, no go t/m aug 2009 Pabo
Gesprekken
Uren Intakers
Uren Organisatie
Totaal uren
Kosten Uren (50,- per uur)
Overhead 15 %
Kosten Instrument*
Totaal kosten
26 x 10,73 = 278, 98 64 x 10,73= 686,72 59 x 10,73= 633,07
10.743,98
413,23
15.486,72
241, 98
7015,57
118,90
26
54
128
182
9.100,-
1.365
Engels
64
38
188
226
13.300,-
1.500
Geschiedenis
59
52
80
111
5.550,-
832,50
13
Kosten per gesprek
TenL voltijd Totaal
6
5
56
61
3.050,-
457,50
155
149
444
580
31.000,-
4.155
6 x 10,73= 64,38 1.663,15
3.571,88
595,31
36.818,15
237,53
* Online assessment Instrument 4.540,-. Afschrijving in drie jaar = 1.513,33 : 141 studenten = 10,73 euro per student in 2009.
Eindoordeel op basis van de redeneerketen Interventie Welke activiteiten onderneem je?
Uitnodigingsbrief Kort na aanmelding wordt per post een uitnodigingsbrief verstuurd voor het vrijwillige intakeprogramma
Mechanismen Vooronderstellingen over onderliggende mechanismen die ervoor zorgen dat de interventie leiden tot de outcome. Antwoord op de vraag waarom werkt de interventie? Aanmelders voelen zich gezien, welkom geheten. Vroege binding na gebleken interesse.
Outcome Beschrijving van de te verwachten outcome (effecten) van de interventie: wat zijn de beoogde resultaten?
Eindoordeel Oordeel obv de behaalde resultaten
Alle aanmelders doen mee met het intakeprogramma.
De brieven zijn voor de groep vroege aanmelders niet snel na aanmelding verstuurd. Waarschijnlijk geldt: hoe vroeger hoe beter, ivm psychologie keuzeproces. Zeker geldt: late aanmelders zijn vroege uitvallers. Dus: tijdig investeren in de intake van vroege aanmelders. Intakerondes per maand, te beginnen in maart.
De brief is uitnodigend en motiverend. Helpt bij bewustwording rond studiekeuze.
Partnerschap opleiding en student.
De inhoud van de brief was goed. Respondenten op de eerste vragenlijst waren tevreden over duidelijkheid en toon van de brief. Toch gaan relatief weinig aanmelders in op de uitnodiging. Uit de toon van de brief mag meer onze
14
verwachting doorklinken over deelname. Deelname aan de intake zou vanzelfsprekend moeten zijn. Online informatiepakket met verwerkingsvragen
Kennistoets
Studiekeuzegesprek Over beeld van opleiding en beroep, motivatie en beschikbare kennis
Studieafspraken
Summercourse
Toegankelijke en systematische verwerking van de informatie over opleiding en beroep leidt tot een betere oriëntatie. Capaciteiten op belangrijke onderdelen in de opleiding worden getoetst en leveren een zelfbeeld op.
Aanmelders hebben een realistisch beeld van inhoud, zwaarte, nodige tijdsbesteding van de opleiding en een realistisch beeld van het beroep.
Overwegend positief geëvalueerd, maar relatief weinig ingevuld teruggestuurd. Handhaven als verplicht onderdeel van de intake en noodzakelijk voor het gesprek. Vragen mbt oriëntatie en voorlichting toevoegen.
Aanmelders hebben duidelijkheid over aanwezige kennis en kennisachterstand (weten waar de sterke en zwakke kanten zitten) op belangrijke onderdelen van de opleiding en weten wat hen te doen staat om succesvol te kunnen zijn.
Aanmelders voelen zich serieus genomen in hun keuzeproces, kunnen hun keuze ijken aan een deskundige gesprekspartner en ervaren binding voor de start. Zorgen voor actieve betrokkenheid en opheffen van achterstanden
Aanmelders kunnen de verwachtingen van de opleiding en hun eigen wensen met elkaar vergelijken en daarnaast kunnen ze ervaren wat het eerste contact hen doet.
Overwegend neutraal geëvalueerd. De toetsen zijn voor de aanmelders Engels meer een momentopname dan dat ze een gedragen zelfbeeld opleveren. Voor geschiedenis had de taaltoets NL weinig meerwaarde; toetsen van studiehouding en studievaardigheden mogelijk meer. De reken en taaltoets bij de Pabo heeft het bedoelde effect gehad. Het ritueel van een gesprek is zinvol. Aandacht op zich levert binding op. Evaluatie positief. De evaluatie van de specifieke doelen van het gesprek (beeld van de opleiding en beeld van het beroep) is matig. Mogelijkheid tot verbetering: relatie oriëntatie en voorlichting uitvragen; verbeteren van vaardigheden doorvragen, confronteren en advies / slecht nieuws gesprekken voeren. De werking van het studieadvies kan beter. De relatie tussen advies en inschrijving is onduidelijk. Er zijn studenten die met negatief advies toch zijn gestart en het na de eerste periode redelijk doen. Gegevens aan het einde van het jaar zeggen meer. Eerder aankondigen en later aanbieden. Probleem
Het kunnen
Aanmelders hebben duidelijkheid over nodige / wenselijke studieactiviteiten of nodige / wenselijke loopbaanactiviteiten voor een succesvolle start van de opleiding. Studenten starten met een duidelijke afspraak die motiverend en bindend werkt. Afspraken zijn input voor slb-traject. Aanmelders hebben eventuele achterstanden voor 15
Advies
wegwerken van gebleken achterstanden motiveert en zorgt voor succesvolle start Oordeel dat richting geeft: wel/niet starten met opleiding van mijn keuze
het begin de van opleiding weggewerkt, wat leidt tot een gemotiveerde start en minder uitval.
voor late aanmelders is dan wel om zich nog tijdig in te schrijven.
Zelfselectie: keuze bevestigen of juist andere opleidingskeuze maken. Het advies is input voor het slb-traject.
Slb-ers hebben het studieadvies gebruikt bij het eerste of tweede gesprek met de student. Het heeft geen zware betekenis, maar vormt een houvast in het gesprek over verwachtingen en realiteit.
Reflectie vooruit Lessons learned Organisatie en planning Plan tijdig de nodige inzet van degene die het intakeprogramma organiseren en uitvoeren, zowel docenten als ondersteunend personeel. Een intakeprogramma vergt veel logistieke en administratieve handelingen van de bedrijfsbureaus. Rond elk onderdeel van het intakeprogramma is namelijk communicatie met de aanmelder nodig of gewenst en er moeten van elke fase gegevens worden vastgelegd. De enorme hoeveelheid kwantitatieve gegevens en de behoorlijke papierwinkel rond intakes maken temeer duidelijk dat er een goed registratie- en student volgsysteem moet zijn in de instelling. Zeker als de samenhang met slb wordt gezocht. Kwaliteit van de intakegesprekken Een gespreksleidraad moest ervoor zorgen dat iedere gespreksvoerder alle van te voren geselecteerde onderwerpen daadwerkelijk besprak. De voorbeeldvragen hielpen daarbij. De indicatorenlijst hielp om de beoordeling te helpen objectiveren. Intakegesprekken zelf zijn intensief. Je kunt ze er niet ‘even tussendoor’ doen. Scholing en tijdige planning zijn voor het vervolg noodzakelijk. Kwaliteit van de gespreksvoerders Gespreksvoerders moeten zowel de beroepspraktijk als de opleiding goed kennen. Daarnaast moeten zij goed kunnen doorvragen, confronteren en een ‘slecht nieuws gesprek’ kunnen voeren. Extern ontwikkeld instrumentarium Als wordt gewerkt met digitale instrumenten die extern zijn geproduceerd, moet men voor het onderhoud en eventuele problemen ook daar terecht kunnen. Het instrument wordt immers niet opgenomen in de digitale infrastructuur van de instelling. 16
Summercourse De planning van een eventuele Summercourse moet tijdig plaatsvinden en aansluiten bij de gangbare zomerinvulling van jongeren. Het argument dat er in de zomer nog gewerkt kan worden aan vaardigheden is voor aanmelders zelf geen reden om deel te nemen. Planning tegen het einde van de zomervakantie of het begin van het studiejaar zal hopelijk een grotere deelname opleveren. Evaluatie en monitoring Het ontwerpen van evaluatie instrumenten is een ding; het gebruik en de inzet ervan een ander. De instrumenten die in het kader van de pilot zijn ontwikkeld zijn niet volledig en zorgvuldig ingezet. Daardoor ontbreken de nodige gegevens om verbanden te leggen, bijvoorbeeld tussen reden van uitval en tevredenheid over het intaketraject. Het Windesheim brede student volgsysteem Educator is lang niet bij alle opleidingen zo uitontwikkeld dat met een druk op de knop management en student informatie beschikbaar is. Bij de betrokken Go, no go opleidingen moeten studiepunten en uitvalgegevens met de hand worden verzameld. Een tijdrovende bezigheid. Voor de na-meting zomer 2010 en het opleveren van gegevens over studiepunten en uitval per 1 december moet hiermee rekening worden gehouden.
Verbeteringen Inmiddels is de School of Education gestart met de voorbereidingen voor een vervolg op Go, no go. Alle vier de opleidingen uit de pilot doen daaraan mee. In April van dit jaar gaan de eerste uitnodigingsbrieven de deur uit en zal de eerste intakeronde voor het studiejaar 2010-2011 plaatsvinden. De volgende verbeteringen moeten daarin worden doorgevoerd: 1. 2. 3. 4. 5. 6. 7. 8. 9. 10.
Het digitale assessment wordt uitgebreid met vragen over oriëntatie en voorlichting. Het digitale assessment wordt getoetst op toegankelijkheid voor studenten met een functiebeperking Maximaal twee weken na aanmelding wordt de uitnodigingsbrief verstuurd. De brief straalt vanzelfsprekendheid uit ten aanzien van de participatie aan het intaketraject. Toets voor Geschiedenis wordt herzien. Toetsen voor Engels krijgen andere weging / impact in het gesprek. (Toets pabo handhaven.) Het digitale assessment is voorwaarde voor een intakegesprek. Intakerondes per maand, te beginnen in april. Summercourse eerder bekend en later gepland, rond de introductie. Gespreksvoerders getraind in doorvragen, slecht nieuws, confronteren. Kwaliteitszorg: Kwantitatieve gegevens zijn volledig en betrouwbaar (schoolmanagement). Alle deelnemers aan het intaketraject en alle docenten krijgen tweemaal een evaluatieformulier, direct na het intaketraject en na vier maanden studie en leveren dat tijdig en ingevuld in (projectmanagement).
17
Er is een -geanonimiseerde- koppeling mogelijk tussen de gegevens per student (tevredenheid: eerste, tweede meting, exitgegevens; prestaties: studiepunten per periode; uitval en switchen: uitvalgegevens per periode.) (schoolmanagement)
Schaalbaarheid De vier opleidingen uit “Go, no go” hebben besloten om in 2010-2011 opnieuw intakes uit te voeren. De genoemde inhoudelijke en organisatorische verbeteringen worden doorgevoerd. Per februari is de bezetting voor het komend half jaar rond, zowel voor de uitvoering van de intakes zelf als voor de organisatie en de ondersteuning. Er zijn streefcijfers genoemd voor participatiegraad, aantallen adviezen positief, negatief, twijfel, aantallen uitvallers en omzwaaiers. Last but not least is afgesproken dat er meer betrouwbare gegevens uit de metingen naar voren zullen moeten komen. Zolang het Windesheim brede Educator nog niet voldoet zal dat handmatig moeten gebeuren. De bedrijfsbureaus worden daartoe in voldoende mate gefaciliteerd. De afdeling Afstandsleren van SoE is dit jaar voor alle opleidingen gestart met een zogenaamde ‘extra light versie’ van het intakeprogramma, afgeleid van Go, no go. Voor de februari instroom zal uitsluitend met een digitale vragenlijst worden gewerkt die algemene feedback geeft op beschikbaren tijd en computervaardigheden. Voor de september instroom is het de bedoeling het intaketraject uit te breiden met een toets vakinhoud en met een risicogroep telefonische gesprekken te voeren. Daartoe is in het kader van de disseminatietrajecten een aanvraag ingediend en gehonoreerd. Het project “Gesprek op afstand” is inmiddels van start gegaan.
Overdraagbaarheid De overdraagbaarheid van de ontwikkelde instrumenten en van de ervaringen is goed. Naast de afdeling Afstandsleren van SoE zal een aantal andere Schools in 2010 gebruik maken van opbrengsten en ervaringen in “Go, no go”om hun eigen besluit en ontwerp te maken rond intakes. Zo zal de School of Built Environment and Transport , deelnemer van de tweede Surf tender, gebruik maken van het digitale assessment en zal de School of Information Sciences gebruik maken van de producten van zowel SoE (eerste Surf tender) als SBET (tweede Surf tender). Ook de School of Management and Law en de School of Social Work zijn inmiddels geïnteresseerd en onderzoeken momenteel de mogelijkheid om intakes in enigerlei vorm te ontwerpen en in te zetten.
18
