Verslag Evaluatiebijeenkomst NSE 2014, 26 juni 2014, van 15.00 uur tot 17.00 uur bij SURF, Graadt van Roggenweg 340 te Utrecht Aanwezig: Anita Kuijpers (GfK), Cynthia de Gans (Inholland), Daphne Rijk (verslag, SK123), Dimphy Hooijmaijers (Fontys), Ine Kruithof (Codarts), Lex Sijtsma (voorzitter, SK123), Marianne Polderdijk (HU), Marieke Langeslag (SK123), Marloes Eenhuizen (EUR), Peter van de Vijver (GfK), Rudy Neggers (Tilburg University).
1. Opening Lex Sijtsma opent de vergadering en heet iedereen welkom. 2. Mededelingen en vaststellen agenda Omdat niet iedereen elkaar kent, volgt een korte voorstelronde. De agenda wordt ongewijzigd vastgesteld. 3. Terugblik NSE 2014 – algemeen NSE Bijblijvers Men is positief over de NSE Bijblijvers. Het is een handig middel om op het juiste moment als contactpersoon op de hoogte te zijn van wat er dan speelt. Men vindt daarom ook niet dat er teveel Bijblijvers verstuurd zijn. Voor Bijblijvers moet gelden dat wanneer er informatie gedeeld moet worden, er eentje verstuurd wordt. Contact via
[email protected] Fijn dat er een algemeen e-mailadres is. Het duurde soms wat langer voordat er een antwoord kwam. Naast het algemene e-mailadres is het fijn als SK123 en GfK ook voor dringende zaken telefonisch te benaderen zijn. Een algemeen telefoonnummer op de website plaatsen is hiervoor genoeg. www.nse.nl www.nse.nl is de link waar veel over gecommuniceerd wordt tijdens de veldwerkperiode. Dit is de pagina waar men naartoe gestuurd wordt om de NSE in te vullen. Het is echter geen rechtstreekse ingang naar de vragenlijst. Voor NSE 2015 zullen we nadenken hoe we beter over deze pagina kunnen communiceren en hoe deze goed is in te richten. Lost link tool De meeste aanwezigen zijn erg blij met deze tool. Er wordt binnen de instellingen veelvuldig gebruik van gemaakt, bijvoorbeeld door deze standaard klaar te zetten op alle desktops. Niet alle aanwezigen zijn bekend met de tool. Volgend jaar kunnen we hier dus nog beter over communiceren. Studiekeuzeinformatie.nl/nse Men vindt Studiekeuzeinformatie.nl/nse af en toe toch nog wel lastig om de informatie op te vinden. Er staat zo veel, dat je soms wat heen en weer aan het klikken bent voordat je hetgeen je zoekt gevonden hebt. Het boekje was daarin gemakkelijker. Op Studiekeuzeinformatie.nl is een verschil tussen algemene informatie en informatie voor de contactpersonen. Goed om nog eens te kijken of die indeling beter gemaakt kan worden volgend jaar. Wellicht kan er ook nog beter gezocht worden in de meta data. Op Studiekeuzeinformatie.nl staat wel een zoekknop overigens bovenin de pagina. Net als vorig jaar is het fijn om een soort digitaal boekje te maken dat men zelf kan printen. Vorig jaar was er een boekje voor het aanleveren van de studentgegevens en een printable planning. Als er een online te printen PDF/boekje wordt klaargezet, wil je daar de informatie over wat je als contactpersoon allemaal moet doen. Gevaar van boekjes is dat informatie niet meer kan worden aangepast indien er gedurende het jaar iets veranderd. Bij printboekjes zou men op de hoogte kunnen worden gesteld wanneer een pagina wordt gewijzigd.
Routeboek in papieren versie hoeft dus niet terug te komen. Zorg er wel voor dat op tijd alle juiste informatie op Studiekeuzeinformatie.nl beschikbaar is. Als er belangrijke wijzigingen zijn in planning/ proces of als er nieuws is omdat er bijvoorbeeld een storing is, zou men het fijn vinden om daar via een nieuwspagina van op de hoogte gehouden te worden. Studiekeuze123 zal voor volgend NSE jaar uitzoeken of het mogelijk is om een RSS hiervoor in te richten, die kan dienen als een soort status pagina. 4. Terugblik NSE 2014 – Voorbereiding periode Startbijeenkomst Dit jaar werd voor het eerst voorafgaand aan de Startbijeenkomst een bijeenkomst gehouden voor nieuwe contactpersonen waar zij alvast door het hele NSE proces werden heen gepraat. Dit is door de nieuwkomers als prettig ervaren. De Startbijeenkomst was verder een goede bijeenkomst. Overeenkomst(en) tot deelname Geen op- of aanmerkingen over. Teruglevering Sleutelbestand Op het proces van aanmelden voor het Sleutelbestand zijn geen opmerkingen. Wel wordt gevraagd of het Sleutelbestand niet al iets eerder terug geleverd kan worden volgend jaar dan dat dit jaar het geval was. Op die manier kan men meteen aan de slag met inrichting van de dashboards op het moment dat de NSE resultaten bekend zijn. Afgesproken wordt dat we dit in de planning volgend jaar naar voren halen. Ten opzichte van de conceptplanning van NSE 2015 wordt levering van koppelbestand verplaatst van 24 mei 2015 naar 18 mei 2015. Vragenlijst In NSE 2015 zal worden gewerkt aan het niet-trend gedeelte van de vragenlijst om deze te heroverwegen voor NSE 2016. Er wordt aangegeven dat het fijn zou zijn als de vragenlijst iets korter kan worden. Verder geen op- of aanmerkingen over. Aanleveren van studentgegevens Er waren veel instellingen die op het allerlaatste moment voor de deadline de studentgegevens wilden aanleveren. Doordoor zijn er problemen geweest met de techniek. Het systeem liep vast omdat de servers de drukte niet aankonden. Voor NSE 2015 wil GfK in technische zin kijken waar ze hierin verbeteringen aan kunnen brengen. Daarnaast is het voorstel om per instelling een verzoek te doen tussen bijvoorbeeld twee bepaalde dagen de bestanden te uploaden. Aan de hand van de uploadmomenten van vorige jaren kan GfK redelijk inschatten wanneer instellingen het bestand zouden kunnen leveren. Door deze maatregel hopen we de drukte op de servers beter te kunnen spreiden. Al bij de Startbijeenkomst zal een voorstellijstje worden voorgedragen. Hierbij blijft wel staan; het toegewezen moment is een verzoek en geen eis. De definitieve deadline zoals gesteld zal worden in de planning is wel een eis. De automatische controles die gedaan worden in de uploadmodule worden als prettig ervaren. Deze zullen zeker komend jaar ook worden gehandhaafd. Studiekeuze123 zal voor komend jaar extra toelichting en instructie opnemen over hoe men om moet gaan met aanleveren van samenwerkingsverbanden, joint degrees en dat studenten slechts alleen voor de hoofdopleiding waaraan zij staan ingeschreven dienen te worden aangemeld etc. Hoewel het voor de meeste contactpersonen die aanwezig zijn duidelijk is hoe hiermee om dient te worden gegaan, heeft Studiekeuze123 hier gedurende het jaar toch vragen over ontvangen. 5. Terugblik NSE 2014 – afnameperiode Benaderwijze van studenten (aantal/soort mailings/ inhoud) Voor wat betreft de benaderwijze van studenten zijn er weinig opmerkingen. Het is fijn dat zelf een extra zin mag worden aangeleverd en een eigen ondertekening kan worden gebruikt. Aandachtspunt voor volgend jaar is dat in het onderwerp van de uitnodiging ‘NSE’ weer expliciet wordt opgenomen. Studenten hebben dit jaar aangegeven geen mail te hebben gehad omdat ze het onderwerp niet herkend hebben omdat daarin geen NSE stond. Studiekeuze123 vraag hoe men het zou vinden als we de uitnodigingen en reminders meer doelgroep gericht gaan versturen. We denken hierover omdat we volgend jaar extra in willen
zetten op responsverhoging. Men vindt het een goed idee om een splitsing te maken in 1e en ouderejaars omdat het moeilijk lijkt de ouderejaars te laten invullen. Je zou eventueel een splitsing kunnen maken ook in voltijd/deeltijd, maar aangegeven wordt dat je ook weer niet te veel verschillende doelgroepen moet willen maken. Afstemming met de instellingen Afstemming over planning is belangrijk, zeker qua hoe en wanneer de veldwerkperiode is. Je wilt zoveel mogelijk rekening houden met alle vakanties en tentamenperiodes, maar men begrijpt ook dat het nooit zo te plannen is dat er helemaal niks samenvalt. Belangrijk is wel dat de laatste week niet weer in een vakantieperiode valt. Er wordt gevraagd of de afnameperiode misschien nog verder verkort kan gaan worden. Studiekeuze123 geeft aan dat je toch wel minimaal die acht weken nodig hebt in verband met je respons, en in verband met het feit dat sommige instellingen met tentamenperiodes zitten tijdens het veldwerk. Zij moeten ook voldoende tijd overhouden, zodat ze om die periode heen de NSE wel goed kunnen promoten. Respons en responsoverzichten Men vond de responsoverzichten qua indeling er fijn uitzien. Wel duurt het lang voordat de overzichten worden geladen, dat is vervelend. Er zal voor volgend jaar gekeken worden of hier iets aan gedaan kan worden. Daarnaast wordt aangegeven dat het fijn zou zijn als er nog een extra variabele door instellingen aangeleverd kan worden in het studentgegevens bestand dat wordt opgenomen in het overzicht. Zo kan een instelling ook nog splitsen op een eigen geleverde variabele. GfK zal uitzoeken of dit mogelijk is. Studiekeuze123 wil volgend jaar extra scherp inzetten op het verbeteren van de respons. Er wordt nu een inventarisatie gemaakt van welke acties allemaal bij zouden kunnen dragen aan een betere respons. Hiervoor wordt gekeken naar onderzoek wat hierover is gedaan en worden best practices uit de NSE van voorgaande jaren bekeken. Tijdens de Startbijeenkomst van volgend jaar zal hier verder op worden ingegaan. Tussenbijeenkomst Er zijn geen bijzonderheden hierover te noemen. Vanuit de kerngroep wordt de oproep gedaan dat wanneer men een interessant onderwerp heeft dat men besproken wil zien tijdens een bijeenkomst, of een leuke spreker weet, zij dit door kunnen geven via
[email protected]. 6. Terugblik NSE 2014 – terugkoppeling resultaten Levering van de bestanden De meeste instellingen hebben zonder problemen de bestanden kunnen downloaden. Instellingen (met name kleinere instellingen) die niet met SPSS werken missen NSE Online erg. Aangegeven wordt, dat op verzoek wel een Excel bestand geleverd kan worden. Nadeel hieraan is dat je in dit bestand niet kan werken met weging, en niet meer ziet waar een waarde voor staat. Dit jaar is NSE 2010-2014 uitgeleverd. Het bestand wordt echter steeds groter, daardoor kost het ook steeds meer tijd om de bestanden te genereren, maar ook om er berekeningen op los te laten. Het zou voordeel opleveren om een aantal jaar minder terug te gaan leveren. Gevraagd wordt hoe men hier tegenover staat. Er zou dan bijvoorbeeld alleen de laatste drie jaar geleverd worden. Men geeft aan dat dit intern uitgezocht zou moeten worden of dit problemen oplevert. Verdere inventarisatie is hier dus voor nodig. Wel wordt aangegeven dat onderwijscohorten eigenlijk al zodanig schelen van elkaar, dat vergelijking met meer dan drie jaar niet persé wenselijk zou zijn. Drie jaar leveren is dan wellicht genoeg. We spreken af dat we dit verder uitzoeken, ook onder de andere instellingen. De embargo periode blijft iets wat bewerkelijk is. Een van de contactpersonen geeft aan dat zijn voorzitter van het CvB al benaderd werd door een ander CvB-lid over NSE resultaten terwijl deze nog onder embargo waren. Dit is expliciet niet de bedoeling. Resultaten mogen slechts intern worden getoond, en pas extern worden besproken als de embargoperiode is verlopen. Studiekeuze123 zal hier volgend jaar nog weer expliciet over communiceren naar de contactpersonen.
Factsheets Men vindt de factsheet er heel mooi en veel beter uitzien dan vorige jaren. Wel was het heel vervelend dat er een fout in de factsheet bleek te zitten. GfK geeft aan dit ook heel vervelend te vinden. Volgend jaar zullen er nog meer controles op de factsheets worden uitgevoerd. Syntaxen Geen opmerkingen over. Niemand van de aanwezigen heeft de syntaxen hoeven gebruiken. Studiekeuzeconferentie Heel interessant programma, voor degenen die geweest zijn. Timing was niet handig met zelfde dag als levering resultaten. Voor de Slotbijeenkomst zou het fijn zijn als die niet op de dag van de levering van de resultaten is. Deze verplaatsen we naar 26 mei. 7. Voorstel planning NSE 2015 Er wordt een aantal aanpassingen gedaan en opmerkingen gemaakt bij de voorlopige planning zoals meegestuurd in de bijlage van de vergaderstukken: -
-
-
Instellingen hebben de mogelijkheid om de voorlopige resultaatbestanden die worden geleverd zelf ook te controleren. Allereerst komt het voorlopig Benchmarkbestand. Instellingen kunnen vóór 15 april 17.00 uur hierop reageren. Dit is meteen het laatste moment dat er wijzigingen kunnen worden doorgegeven in BRIN/CROHO/LOCATIE. Deze worden na de eerste controleronde vastgesteld. Daarna is nog controle op het instellingsbestand mogelijk. Hier kunnen wijzigingen doorgegeven worden over eigen vragen en labels, maar reacties op BRIN/CROHO/LOCATIE zijn dan niet meer mogelijk. We zullen dit expliciet communiceren zodat iedereen hier goed van op de hoogte is. Verder zullen we een instructie maken hoe de bestanden gecontroleerd kunnen worden. Oplevering van alle definitieve bestanden (onder embargo) wordt 15 mei in plaats van 16 mei zoals in de conceptplanning stond aangegeven. Dit omdat 16 mei op een zaterdag valt. De slotbijeenkomst wordt iets later gezet, naar dinsdag 26 mei, in plaats van donderdag 21 mei zoals in de conceptplanning stond. Reden is dat contactpersonen aangeven dat het lastig is om de dag van uitkomen van de resultaten niet op de eigen instelling aanwezig te zijn. Het Sleutelbestand zal geleverd worden op 18 mei (vóór 12 uur) in plaats van op 24 mei zoals aangegeven stond in de conceptplanning.
De definitieve planning zal als bijlage bij het verslag worden meegeleverd. Brainstorm aanpassing NSE planning in de toekomst Uit de evaluatie bleek dat alle redenen waarom men niet tevreden was over de periode van het veldwerk, neerkwam op het feit dat het veldwerk in een ongunstige periode uitgevoerd wordt en dat het fijner zou zijn als het veldwerk later start. Aan de andere kant is de levering van de resultaten – vlak voor de vakantie - ook altijd een issue waar instellingen mee worstelen. Men wil voordat de vakantie start zo snel mogelijk de eerste resultaten bekend hebben waarover nog gecommuniceerd kan worden. Scholieren moeten zich sinds dit jaar voor 1 mei aanmelden. De NSE resultaten komen bijna een maand later beschikbaar. Voor deze groep studenten is dat dus een beetje als mosterd na de maaltijd. Instellingen doen veel persberichten uit over de uitkomsten van de NSE, maar zijn die dan nog wel op een juist moment? Het idee wat daarom opkomt is om de NSE twee maanden te verlaten: -
-
Instellingen hebben ruimer de tijd om studentgegevens aan te leveren (wellicht zelfs de mogelijkheid om de februari instroom te verwerken hierin?) Het veldwerk loopt dan van maart t/m april i.p.v. jan/febr. In deze periode zit vrijwel nooit een vakantie (op enkele losse feestdagen na en heel soms valt carnaval erg laat). Doordat de enquête later in het jaar wordt uitgezet hebben eerstejaars studenten een nog beter beeld over de opleiding die ze volgen. Het leveren van de resultaten schuift dan ook twee maanden op. Je zou dan in de vakantieperiode uitkomen, namelijk eind juli. Dat is niet wenselijk. Voorstel is daarom om de resultaten begin van het studiejaar te leveren (bijvoorbeeld eerste week september). Er komt hierdoor minder druk te liggen bij het opleveren van de resultaatbestanden.
-
Moment van communiceren over de resultaten wordt een stuk relevanter, omdat je aankomende studenten die dat jaar gaan kiezen kan aanspreken.
Gevraagd wordt hoe de instellingen hier tegenover staan. Men zou het intern verder moeten bekijken hoe dit van invloed is op interne planningen, maar de aanwezigen zien niet meteen onoverkomelijke problemen en zien ook voordelen van deze planning. Wel zal dit natuurlijk bij alle instellingen verder geïnventariseerd moeten worden voordat hier een beslissing over wordt genomen, deze inventarisatie kan gedurende NSE 2015 plaatsvinden. Waar goed naar gekeken zal moeten worden is ook: Planning in afstemming met productie van Studie in Cijfers. Daar worden NSE resultaten voor gebruikt. Hoe zit het met planning van externe afnemers van de data als Elsevier en CHOI? 8. Verslag Evaluatie NSE 2014 – ter informatie Over het algemeen is de evaluatie positief ingevuld. Voor verbetering van het NSE traject, is het echter vooral interessant om te kijken naar verbeterpunten die worden aangedragen. Daarom zoomen we hier nog even op een aantal opmerkingen in: -
-
Servicedesk: reactie van reageren kan soms sneller: gaan we op letten komend jaar. Studiekeuzeinformatie.nl/nse: niet altijd duidelijk waar wat te vinden is en zorg dat alles op tijd is geüpdatet: gaan we op letten komend jaar. Bereikbaarheid: telefoonnummers van Studiekeuze123 en GfK zullen op de website blijven staan onder contact. Dit zijn twee algemene nummers waarbij de balie weet naar welke medewerker door te schakelen per onderwerp. Slotbijeenkomst: niet handig op zelfde dag als wanneer de data vrijkomen: plannenvolgend jaar de Slotbijeenkomst later. Periode van veldwerk: veelal te vroeg in het jaar: helaas kunnen we qua planning nooit iedereen helemaal tevreden krijgen, maar we hebben wel een voorstel qua aanpassing gedaan in de planning eerder in de vergadering. Inhoud van uitnodigingen: erg gericht op bachelorstudenten: voorstel is om uitnodigingen per doelgroep te bekijken, maar ieder geval 1ejaars versus ouderejaars. Inhoud van uitnodigingen: NSE in het onderwerp opnemen: gaan we doen voor NSE 2015 Frequentie reminders: altijd op zelfde dag dat reminders werden verzonden: we gaan uitzoeken of een bepaalde dag of timeslot bijdraagt aan een betere respons en zullen het verzendschema hierop aanpassen. Aanleveren van joint degrees blijft lastig: hier gaan we extra instructie op geven. Responsoverzichten werken traag: we gaan eraan werken om de perfomance te verbeteren Kwaliteit van techniek: jammer dat problemen die spelen niet meteen gecommuniceerd worden zodat contactpersonen hiervan op de hoogte zijn, ondanks het feit dat er hard aan gewerkt wordt en ze snel opgelost zijn: we gaan onderzoeken of een RSS feed/ status pagina hierin uitkomst kan bieden. Promotiemateriaal aanpassen is een goed idee: er blijken veel verschillende wensen te zijn. We gaan met een werkgroep begin NSE 2015 starten om te kijken wat er gemaakt kan worden.
9. Overige wensen NSE 2015 Vraag over routing in vragenlijst: In het resultatenbestand zie je als WO instelling soms toch resultaten bij vragen die alleen voor HBO zijn gesteld of juist andersom. Hoe kan dit? Dit heeft te maken met het feit dat studenten aan het begin van de vragenlijst gevraagd worden welke opleiding zij volgen. Soms geven zij hier een andere opleiding aan dan in de studentgegevens is aangeleverd. Zij volgen dan de routing van de instellingen die de student zelf heeft aangegeven. In het resultatenbestand wordt echter vastgehouden aan het studentgegevens bestand, qua onder welke opleiding de resultaten worden gehangen, en niet aan wat de student heeft aangegeven. Hierdoor kan het dus voorkomen dat deze rare routes voorkomen. GfK was al voornemens om voor volgend jaar te kijken of we daar op een betere manier mee om kunnen gaan. We zouden op zijn minst in een label kunnen aangeven bij welke studenten een andere opleiding is aangegeven dan zoals aangeleverd door de instelling. Promotiemateriaal Meningen over promotiemateriaal verschillen. Sommigen houden graag een tijd vast aan hetzelfde materiaal, anderen willen juist elk jaar iets anders, zodat het opvalt. De mogelijkheid
tot aanvullen met persoonlijke boodschap is in ieder geval gewenst. Na de zomer gaan we hiermee met een werkgroep aan de slag. 10. Rondvraag Geen opmerkingen verder. 11. Afsluiting Lex dankt iedereen voor zijn aanwezigheid en sluit de vergadering.
