Verslag van de Startbijeenkomst NSE 2014 d.d. woensdag 2 oktober 2013, van 13:00 – 16:00 uur Gehouden te: SURF (VK 5a)
1.
Presentatie SK123 en GfK Intomart over de NSE 2014
Lex Sijtsma opent de bijeenkomst om 13:00. Het programma van vandaag is eerder rondgestuurd. Daphne is er vandaag i.v.m. ziekte helaas niet bij. Inleiding Tom Dousma Tom Dousma leidt de middag in en geeft aan zich te willen richten op de toekomst. In 2013 was er met succes gericht op de respons, maar dit jaar zal het meer gaan over wat je als instelling met de resultaten van de NSE kan doen. Tom legt uit dat de NSE nooit een routine zal worden, omdat er ook dit jaar weer veel vragen en nieuwe ontwikkelingen liggen. Het blijft echter een boeiend veld, zeker omdat er ook veel mensen aan zet zijn met de resultaten. Het is daarom in eerste instantie de bedoeling om met goede cijfers te komen zodat in tweede instantie de kwaliteitszorg hiermee verbeterd kan worden. Al met al hoopt Tom op een nog beter jaar dan 2013. Nieuw in de NSE 2014 Lex gaat vervolgens verder met het programma. Allereerst zullen enkele zaken worden behandeld die niet direct met de uitvoering te maken hebben, maar die wel anders zijn t.o.v. de NSE 2013. De belangrijkste punten zijn:
De invulling van het team is veranderd. Vanuit GfK Intomart is Anita Kuiper nieuw. Dit jaar zal er een nieuw responsoverzicht worden gebruikt (bevindt zich nog in de testfase). De afgelopen tijd heeft een groep nagedacht over een nieuwe opzet hiervan. Zo zullen er nieuwe variabelen aan het overzicht worden toegevoegd en het overzicht wordt completer nu ook de opleidingen met 0 respons getoond zullen worden. Het overzicht zal bijna real-time zijn, aangezien het elke twee uur wordt ververst. Er zal dit jaar een onderzoek plaatsvinden naar het invullen van de NSE op smartphones. Omdat de lay-out van de enquete anders zal zijn op een smartphone, kan dit ook invloed hebben op de uiteindelijke resultaten. Als het onderzoek goed verloopt, zou de implementatie hiervan in 2015 kunnen plaatsvinden Per 1 juni 2014 stopt de NSE Online. Het is een relatief dure applicatie die weinig wordt gebruikt. Er wordt wel gezocht naar andere mogelijkheden om de data inzichtelijk te maken. Er wordt dit jaar gezocht naar een nieuwe opbouw van de factsheets die meer aansluit bij de behoefte van instellingen De klankbordgroep van de NSE zal komend jaar meer thematisch worden ingericht. Per thema zullen bijeenkomsten worden georganiseerd met en alle deelnemende instellingen zijn vrij om hierbij aanwezig te zijn. Na de veldwerkperiode zal er een non-respons onderzoek worden gehouden. Studenten die niet hebben meegedaan zal worden gevraagd om een korte enquete in te vullen over de reden hiervan De resultaatbestanden zullen iets anders worden ingericht, aangezien er meer vraag was naar achtergrondkenmerken. Pascal is hier nu nog druk mee bezig, maar in december zal hier meer informatie over komen.
Aanpassingen Routeboek Peter van de Vijver en Anita Kuiper vervolgen de presentatie door meer in te gaan op het proces van de NSE. Dit jaar zal vooral gericht zijn op enkele verbeteringen in het proces t.o.v. vorige jaar. Het routeboek zal dit jaar alleen digitaal beschikbaar worden gesteld. Veel informatie zal ook op de website van de NSE beschikbaar komen, al wordt wel aangeraden om een planning van de NSE uit te printen. Bij de planning zijn dit jaar ook de uren toegevoegd, zodat duidelijk wordt wanneer op een dag zaken aangeleverd moeten worden of resultaten bekend gemaakt worden. Belangrijkste aanpassing van de planning voor de NSE 2014 is dat het veldwerk twee weken korter zal zijn. Verdere belangrijke data zijn
22 november: deadline getekende basisovereenkomst en koppelingsgegevens. Vorig jaar maakte zo’n 30 instellingen gebruik van deze koppelingsgegevens. Er zal een berichtje worden gestuurd als de overeenkomst in goede orde is ontvangen 29 november: aanleveren instellingsvragen (deze mogen maximaal 5 minuten duren) 13 december: deadline aanleveren studentengegevens. Net als vorig jaar zijn er verplichte velden, voorkeursvelden en facultatieve velden. Ook zijn er dit jaar nieuwe velden (WO / HBO, onderdeel instelling en samenwerking). De velden zullen dit jaar weer gecontroleerd worden door een uploadtool. Deze zal dit jaar ook extra controleren op de actuele croho-codes. GfK Intomart geeft verder aan dat het mogelijk moet zijn om de nieuwe velden te koppelen aan de labels van de vorige jaren. Het wordt echter wel aangeraden om alsnog de labels te gebruiken, aangezien dit minder risico heeft (mocht de koppeling toch niet goed verlopen). Ook is het mogelijk om afwijkende studienamen in de responsoverzichten te tonen. Er wordt echter nog nagedacht over de wijze waarop ‘Studiejaar’ zal worden behandeld; het is lastig om hier een eenduidige definitie van te geven. Hier zal het komende jaar, wellicht met de klankbordgroep, nog verder over nagedacht moeten worden. 13 januari t/m 9 maart: Veldwerkperiode. Vanuit de zaal zijn er vragen over de hoeveelheid herinneringsmail; velen vinden dat dit er vorig jaar teveel waren. De reminder hadden veel effect, dus dit zal zo blijven. Wel zal dit jaar getracht worden om eerst de privemail aan te schrijven, aangezien dit een betere respons zal opleveren. Wellicht dat hierdoor minder reminders nodig zijn. Andere besproken punten m.b.t. de e-mails zijn: o Er wordt dit jaar weer een overzicht verstuurd met de data waarop de herinneringen worden gestuurd. o Het is nog niet duidelijk of het voor instellingen mogelijk is om zelf te kiezen naar welk e-maildres de mails gestuurd worden. Hier zal nog over nagedacht worden, maar Intomart heeft de voorkeur om overal hetzelfde te doen o Men krijgt niet twee e-mails op hetzelfde moment. Pas als er geen reactie komt op de uitnodiging die verstuurd is naar de privé-mail, wordt er ook een mail naar het mailadres van de instelling gestuurd. o Het is niet verplicht om in de kolom met privé-mailadressen alles te vullen Op 16 mei zullen de definitieve bestanden naar de instellingen worden gestuurd. Deze zijn eerst nog een week onder embargo.
Diensten GfK Intomart GfK Intomart legt vervolgens uit welke diensten zij dit jaar aanbieden. Het gaat hierbij om SPSS analyses, cijferoverzichten in excel, factsheets (er zijn hier nog wel bedenkingen bij
2
significantie), overzichten met de relative weights (waar per thema de invloed wordt bekeken), prio-analyses (t.o.v. concurrentie) en nog vele andere mogelijkheden. Enquete contactpersonen NSE Uit de enquete onder contactpersonen van de NSE naar de communicatie van de NSE binnen instellingen, bleek dat er geen sprake was van rare zaken. Wel bleek er behoefte aan kaders te zijn. Bijvoorbeeld over de redenen waarom een student de enquete zou moeten invullen. Lex licht toe dat hiervoor drie punten gebruikt kunnen worden; het helpen van aspirantstudenten, het verbeteren van de kwaliteit van de onderwijs en het geven van de eigen mening. Ook dit jaar zal er vanuit SK123 worden gelet op de communicatie vanuit instellingen over de NSE. Mochten er uitspattingen zijn, dan zal een instelling hier op worden aangesproken. Communicatie Dit jaar zal alle communicatie digitaal zijn. Informatie zal gedeeld worden via de site en via de LinkedIn groep. Als er belangrijke punten veranderen, dan zal dit via de nieuwsbrief worden gedeeld. Het promotiemateriaal van SK123 zal nog tegen het licht worden gehouden. De opzet van de beloningen zal dit jaar niet veranderen. 2.
NSE Dashboard
Nu de NSE Online zal worden stopgezet, wordt er gezocht naar alternatieven. Enkele instellingen zijn hier al mee bezig geweest en presenteren hoe zij met de gegevens van de NSE omgaan. Ted Barendse (TU Delft) Ted Barendse had al eens eerder een dashboard ontwikkeld, maar is nu verantwoordelijk voor de vertaling van de NSE gegevens binnen de TU Delft. De door hem ontwikkelde dashboards staan op het intranet en worden door verschillende groepen gebruikt. De afgelopen periode heeft hij de volgende producten ontwikkeld. Het grootste deel hiervan is handwerk.
TUD 2010-2013 (overgetypt uit factsheets, zeer veel informatie, lastig om iets in te vinden) TUD vs. WO (snel verschillen zien t.o.v. rest van het land) TUD en faculteiten TUD: inzoomen op vragen die onder de 3 scoren
Er wordt gevraagd hoe groot het verschil moet zijn om echt iets te betekenen. Hier is echter geen eenduidig antwoord op te geven. Verder wordt er gevraagd welk product op dit moment nog ontbreekt. Ted geeft aan dat een prioriteitenmatrix erg handig zou zijn. Yvonne Glorie (Inholland) Inholland maakt gebruik van een uitgebreide ICT-toepassing waarmee informatie gemakkelijk toegankelijk wordt gemaakt. De tool is zowel gericht op het uitgebreid tonen van themascores als de informatie uit losse vragen. Vanuit de zaal wordt gevraagd wat de toegevoegde waarde is t.o.v. de NSE Online. Yvonne legt uit dat met deze tool veel meer mogelijk is met verschillende vestigingen. Ook kunnen hier gemakkelijk percentages bij de scores worden weergegeven. Ook wordt er gevraagd of er een link is te zien tussen deze tool en de kwaliteitsverbetering. Een dergelijke link is altijd te zien, maar het is lastig om een duidelijke relatie aan te geven. Tenslotte wordt er naar het gebruik van deze tool gevraagd. Dit is op dit moment niet bekend, maar kan wel uitgezocht worden.
3
3.
Presentatie Pascal Brenders (SK123)
Pascal geeft een presentatie over hoe de kwaliteit van de data hoog kan worden gehouden. Hiervoor inventariseert hij echter welke vragen er op dit moment bij de aanwezigen leven. Hieruit komen de volgende vragen naar voren:
Contacturen, waarom niet vragen naar gemiddelde over lange periode? Welke vragen zouden er onder een thema moeten hangen? Definitie van bepaalde onderwerpen (bijv. studiejaar) Relatie studententevredenheid en kwaliteit Controle van vragen in enquete Kwaliteit van administratie bij instellingen Wat is de definitie van significantie? Wel of niet wegen? Kijken naar spreiding of alleen gemiddelden? Representativiteit
Pascal vervolgt zijn presentatie door te stellen dat het belangrijk is om te kijken naar de losse vragen, zeker met het oog op de veranderingen in de NSE 2013. Wat betreft de kwaliteit van de data kan op drie verschillende punten worden gelet 1.
2. 3.
4.
De betrouwbaarheid (Cronbach’s α). Het gaat hierbij om de interne consistentie en de herhaalbaarheid van een enquete. De vragen van de NSE scoren hier hoog (1 = betrouwbaar, 0 = onbetrouwbaar). De validiteit (unidimensioneel vs. multidimensioneel). Het hierbij om de vraag of je meet wat je wilt meten. Ook hier zit het bij de NSE goed. Representativiteit. Het gaat hierbij om de vraag of je met de enquete ook echt de mening van de populatie meet. Bij de NSE is er sprake van een relatieve oververtegenwoordiging van jonge vrouwen. Het is dus belangrijk om hier in het vervolg over na te denken.
Discussie over de NSE 2014
Cynthia de Gans (Hogeschool Inholland) leidt de discussie over de NSE 2014. De eerste vraag sluit aan bij de presentatie van Pascal. Aan de aanwezigen wordt gevraagd of er gestreefd moet worden naar een meer representatievere score en hoe dit gedaan zou kunnen worden. De vraag vanuit de aanwezigen is echter of jonge vrouwelijke studenten ook echt een afwijkende mening hebben t.o.v. de populatie. Dit is nog niet duidelijk, maar het is wel handig om te controleren. Het is echter wel duidelijk dat achtergrondkenmerken invloed hebben op de scores. Het is echter lastig om hierop te sturen. Eigenlijk is meer onderzoek nodig naar de redenen waarom bepaalde groepen wel en bepaalde groepen niet reageren.’ De volgende stelling gaat over de vraag de NSE zich veel meer op oudere studenten moet richten, omdat jongere studenten toch wel reageren. Er wordt meegedeeld dat oudere studenten de enquete vaak niet invullen omdat ze deze al vorig jaar hebben ingevuld. Daarnaast krijgen ze vaak ook niet de terugkoppeling waar ze op hopen, waardoor de motivatie om nog een keer mee te doen, lager wordt. Een goed idee zou bijvoorbeeld zijn om verder onderzoek te doen naar enquete-moeheid en wat hier aan te doen is. Een volgend vraagstuk richt zich op de wijze waarop resultaten van de NSE verder in de organisaties door kunnen sijpelen. Er worden nu al afspraken met OCW gemaakt waarbij de NSE cijfers gebruikt worden voor een evaluatie. Ook wordt aangeraden om de NSE cijfers
4
onderdeel te maken van de normale managementcyclus en af en toe een relletje te organiseren. Vanuit het publiek komt de vraag waarom de respons vorig jaar opeens zoveel hoger was. Een belangrijke reden hiervoor de grote aandacht (zowel bij de voorbereiding als vanuit het CvB) voor de NSE kunnen zijn. Als laatste wordt er gevraagd of er van tevoren een lijst met onderwerpen voor de klankbordgroep rondgestuurd kan worden, zodat instellingen kunnen kijken bij welke bijeenkomsten ze aanwezig zouden willen zijn.
5
