Verslag Tussenbijeenkomst NSE 2015

Verslag Tussenbijeenkomst NSE 2015 19 maart 2015 - Cursus- en vergadercentrum Domstad

Stand van zaken rond de NSE Bekijk de PowerPoint presentatie.

Over het algemeen is het veldwerk van de NSE 2015 naar tevredenheid verlopen. Er zijn een paar kleine technische issues geweest. Zo was er de eerste dag een kleine storing, waardoor studenten problemen hadden met het invullen van de enquête. Deze storing heeft maximaal 5 minuten geduurd. De laatste week waren er storingen na het verzenden van de last shot mailing. Teveel studenten probeerden in te loggen, waardoor het vastliep. De capaciteit is toen verruimd. Iedereen die hierover gemaild heeft, heeft een reactie ontvangen. De respons is dit jaar hoog. De populatie is dit jaar groter, met 712.280 uitgenodigde studenten. De absolute bruto respons is de hoogste ooit (278.647), de percentuele bruto respons is bijna gelijk aan 2013, hoewel het veldwerk in dat jaar 10 weken open stond. Hieronder een overzicht van de afgelopen jaren. De netto respons van 2015 is een schatting.

Dit is een uitstekende gezamenlijke prestatie van de instellingen, Studiekeuze123 en GfK! De last shot mailing heeft dit jaar veel meer opgeleverd dan voorgaande jaren, mede door de inspanningen van de instellingen. Zoveel zelfs, dat er tijdelijk technische problemen ontstonden, doordat veel studenten tegelijkertijd de enquête wilden invullen.

Vanuit de zaal komt de vraag of instellingen wel blij moeten zijn met die grote sprong op het eind. Eerder is uit de onderzoeksverantwoording gebleken dat hoe later studenten de enquête invullen, hoe negatiever ze zijn. Daarbij komen er berichten dat studenten alle reminders zo zat zijn, dat ze de NSE uiteindelijk extra kritisch invullen. Peter van de Vijver van GfK geeft aan dat het leeuwendeel in de eerste weken wordt ingevuld en dat de cijfers daarna amper veranderen. Maar we zullen ernaar kijken en er op de slotbijeenkomst op terugkomen. Wil Kwinten geeft als suggestie voor de onderwerpregel voor de last shot mailing: ‘Laatste kans om in te vullen’. Dit nemen we mee. Dit jaar is het aantal studenten dat de NSE heeft ingevuld op de smartphone bijna verdubbeld, van 8,2% in 2014 naar 14,9% in 2015.

Eigenlijk hadden we verwacht dat meer studenten hun smartphone zouden gebruiken bij het invullen van de enquête. Hoe denken de instellingen hierover?  Er is angst, omdat het via de smartphone vaak niet goed blijkt te werken.  Het vertrouwen is er niet. Wellicht werkt het bij de NSE wel, maar dat weten mensen niet vooraf.  Er zijn instellingen waar computerlokalen worden gereserveerd. Planning De planning van de opleveringsfase wijkt niet veel af van vorig jaar en is als volgt: Vrijdag 27 maart Oplevering Codeboek NSE 2015 (GfK) Vrijdag 10 april Opleveren voorlopig benchmarkbestand NSE 2015 (meerjarig) (GfK) Onder embargo Dinsdag 14 april Terugkoppeling controle op voorlopig benchmarkbestand NSE 2015 van instelling aan GfK (Instelling) Laatste mogelijkheid voor opmerkingen over BRIN/CROHO/LOCATIE Vrijdag 8 mei Opleveren voorlopig instellingsbestand NSE 2015 (meerjarig, inclusief instellingsvragen) (GfK) Onder embargo Prijswinnaars In week 16 worden de winnaars van de verschillende prijzen getrokken. Alle studenten die de laatste vraag hebben ingevuld maken kans. Via SPSS worden de studenten random getrokken, per prijs. Eerst wordt het collegegeld verloot, dan de Apple Watch en daarna de bol.com bonnen. Eerdere winnaars worden uitgesloten. Aan het einde van week 16 plaatsen we een overzicht online van de instellingen waar de prijzen gevallen zijn. De Apple Watch is niet op tijd leverbaar. We nemen contact op met de studenten die hem gewonnen hebben en zullen aangeven dat ze de Apple Watch ontvangen wanneer deze beschikbaar is. Controle resultaatbestanden De controle van de resultaatbestanden gaat dit jaar anders dan voorheen. Inhoudelijke opmerkingen kunnen alleen nog gemaakt worden op basis van het voorlopige benchmarkbestand. 14 april is de laatste mogelijkheid voor opmerkingen betreffende BRIN*CROHO*LOCATIE. GfK levert bij de oplevering van het voorlopige benchmarkbestand een lijst met tips waar gekeken moet worden en wat er gecontroleerd moet worden. Factsheets De factsheets worden dit jaar niet alleen in het Nederlands, maar ook in het Engels geleverd. Het ontwerp van de factsheets blijft dit jaar hetzelfde en wordt beschikbaar gemaakt als open source bestand. Het is mogelijk om een opleidingsspecifiek factsheet te krijgen. Hiervoor kunnen instellingen contact opnemen met GfK via [email protected]. Hogere respons Waarom is de respons dit jaar hoger dan voorgaande jaren? Was het de aangepaste lay-out voor de smartphone, het handboek voor docenten, de nieuwe posters, de actieve monitoring van de respons of de veranderde aanpak van instellingen? Dit alles heeft bijdragen aan de hogere respons. We komen erop terug in de evaluatie van de contactpersonen en de slotbijeenkomst. Extra week veldwerk De extra week veldwerk heeft niet veel effect gehad. Deze week is ingesteld omdat een instelling een groot deel van de studenten niet heeft aangeleverd. Hierdoor kwam de representativiteit in gevaar. Om de studenten van deze instelling de mogelijkheid te geven de NSE alsnog in te vullen, is er besloten om hen een extra week te geven. Omdat het technisch niet mogelijk was om de NSE alleen voor deze instelling een week langer open te zetten, hebben alle instellingen een extra week gekregen. De respons van de instelling om wie het gaat, is in de laatste week 15% toegenomen. Bij de overige instellingen was dit 0.8%. Alle enquêtes die in de laatste week zijn ingevuld, worden meegenomen. We hebben een controle ingebracht, waardoor we volgend jaar eerder op een soortgelijk probleem geattendeerd worden.

Ondanks de extra week veldwerk, willen we de originele planning aangehouden. Na het opleveren van het benchmarkbestand weten we zeker of dit haalbaar is. Non-respons onderzoek We vinden het interessant om te weten waarom studenten de NSE niet invullen. Eerder onderzochten we dit op basis van cijfers. Dit jaar doen we een kwalitatief non-respons onderzoek, waarin ongeveer 100 studenten geïnterviewd worden. We hebben 10 instellingen random geselecteerd, waarbij wel rekening gehouden is met de spreiding over het land. Van deze 10 instellingen ontvangen 1750 studenten een e-mail met de vraag of ze willen deelnemen aan het onderzoek. Wanneer ze dit willen, wordt er een afspraak gemaakt voor het interview. Er wordt vanuit de zaal gevraagd waarom studenten die niet hebben deelgenomen aan de NSE, wel zouden deelnemen aan dit onderzoek? Pascal Brenders van SK123 geeft aan dat je ziet dat reminders effect hebben. We hopen dan ook dat de groep die de NSE niet heeft ingevuld, alsnog mee wil doen. Er zit inderdaad een risico aan. De studenten die totaal niet mee willen doen bereik je nooit. Vanuit de zaal wordt er toegevoegd dat het face-to-face moeten aangeven waarom je iets niet doet, anders is dan anoniem een vragenlijst invullen. Daarnaast zijn er mensen die aangegeven dat ze blij zijn dat hun instelling niet geselecteerd is, omdat het negatief kan zijn voor de instelling. Instellingen willen ook graag de mening van studenten horen over andere zaken. Door deze mail kunnen studenten het zo zat zijn, dat ze nergens meer aan willen deelnemen. De instellingen ontvangen de resultaten van het non-respons onderzoek. We willen om de paar jaar een kwalitatief onderzoek uitvoeren. Volgend jaar wordt er een kwantitatief onderzoek gedaan. Verkleinen benchmarkbestand In het benchmarkbestand zijn de gegevens vanaf 2010 opgenomen. Veel instellingen gebruiken alleen de gegevens van de afgelopen 3 jaar. Daarnaast is het bestand inmiddels zo groot geworden, dat het veel tijd kost om het te bewerken. Hierom hebben we advies gevraagd bij de Klankbordgroep over de mogelijkheden om het benchmarkbestand te verkleinen. De Klankbordgroep gaf aan dat ze hier geen probleem in zagen. Daarom wordt het benchmarkbestand vanaf dit jaar verkleind uitgeleverd met de gegevens van 2013-2015. De gegevens 2010-2012 zitten in het benchmarkbestand van 2014. GfK levert syntaxen om beide te kunnen combineren. Deze pakken de gegevens uit de oudere jaren en plakken dit aan de laatste jaren. CHROHO mutaties worden hierin niet meegenomen. Voor instellingen waar de verkleining problemen oplevert, leveren we dit jaar, eenmalig, als extra service ook het bestand 2010-2015. Instellingen die dit willen ontvangen, kunnen het aanvragen via [email protected]. Evaluatie Halverwege april ontvangen de contactpersonen een uitnodiging voor deelname aan de enquête om de NSE 2015 te evalueren. Op dinsdag 26 mei vindt de slotbijeenkomst plaats. Tijdens deze bijeenkomst, waarvoor iedereen is uitgenodigd, kijken we naar wat er goed is gegaan en wat er beter kan. Er zijn al een aantal punten die we sowieso meenemen voor volgend jaar:  We bekijken de mogelijkheid of instellingen bij de studentgegevens een taal kunnen aanleveren, zodat studenten taalgerichte communicatie ontvangen.  Contactpersonen ontvangen zelf ook de enquête, zodat ze beter de vragen van studenten kunnen beantwoorden. Belangrijke data

Workshop ‘SPSS for dummies+’ Bekijk de Powerpoint presentatie.

Op de Tussenbijeenkomst van vorig jaar is er een vergelijkbare workshop gehouden. Toen bleek dat er best veel verschil in niveau binnen een de groep is. Vandaag zijn het vooral beginners en mensen met een gemiddelde ervaring. Er zijn slechts enkele gevorderden. Tijdens de workshop zullen de gevorderden naar hun ervaringen worden gevraagd. Wat doe ik voordat ik begin?  Als eerste stap maak je een kopie van het originele bestand.  Hou goed in de gaten met welk bestand je werkt; gaat het alleen om je eigen instelling (ja/nee), is het meerjarig (ja/nee)? Dat is belangrijk bij het berekenen van uitkomsten.  Controleer vooraf of de weging aanstaat. Als dit niet zo is, kom je niet uit op de juiste cijfers! Zet hem dus altijd standaard aan. Er zijn twee basisschermen: data view (de antwoorden van studenten) en de variable view (de opbouw van het bestand). Soms is het handig om de vragenlijst van de NSE er naast te houden, zodat beter te zien is in welke context de vraag is gesteld. Waar zitten de knoppen? Bekijk hiervoor slide 8 t/m 10 in de PowerPoint presentatie. Expert ervaringen: Welke knoppen zijn belangrijk?  De Custom Tables worden vaak gebruikt. Hier wordt aan toegevoegd dat het irritant is dat je bij tables de variabelen aan moet passen  Gebruik af en toe de filter of de split file functie. Hiermee zeg je tegen SPSS: eigenlijk zijn het twee bestanden. Het is makkelijk te splitsen. Zet dit af en toe aan, maar vergeet het niet uit te zetten! Menu- of syntaxgestuurd? Hoe werkt SPSS?  SPSS wordt aangestuurd op basis van commando’s.  Beginnende gebruikers geven die commando’s - vaak onbewust - door gebruik te maken van de beschikbare menustructuur. Daar wordt dan automatisch een commandosyntax van gemaakt.  Iets gevorderde gebruikers kunnen deze commando’s zelf aanmaken of bewerken.  Een groot voordeel van werken met syntaxen is dat je de bewerkingen kunt archiveren voor het volgende NSE-jaar en dan kunt hergebruiken. Geen dubbel werk meer dus.  Een simpel voorbeeld: WEIGHT BY Weegfactor. FREQUENCIES Inhoud. SPSS-commando’s opnemen in het syntaxscherm kan door:  Direct intypen van commando’s.  Het commando kopiëren voordat je opdracht geeft door gebruik PASTE-knop.  Het commando kopiëren uit je outputscherm. SPSS slaat syntax op in bestanden met extensie <.sps>. Deze kun je bewaren voor het volgende jaar.

SPSS-syntax: uitvoeren via “run”

Belangrijk voor archiveren: beschrijf de stappen Laat zien wat je doet door het toevoegen van commentaar. *Begin commentaar altijd met een sterretje en sluit af met een punt. SPSS “weet” dan dat het om een commentaar gaat en niet om een SPSS-commando. Je kunt zien of SPSS het goed begrepen heeft als de commentaartekst grijs wordt ipv zwart.

De gevorderde gebruikers geven aan liever syntaxgestuurd te werken. Het is sneller, zeker met de toelichting. Daarnaast is het makkelijker wanneer je met meerdere mensen aan het bestand werkt. Het berekenen van cijfers Bekijk hiervoor slides 18 t/m 24 in de PowerPoint presentatie. Uitwerking van enkele binnengekomen verzoeken Bekijk hiervoor slides 27 t/m 33 in de PowerPoint presentatie. Zelf benchmarks maken en berekenen Bekijk hiervoor slides 35 t/m 44 in de PowerPoint presentatie. Enkele tips van de gevorderde gebruikers:  Werken met Anova’s, om te kijken of het significant is.  Wees voorzichtig met hoe je zaken communiceert, zeker naar mensen die niet zoveel verstand hebben van onderzoek doen. Wanneer er voldoende animo is, wordt er een cursus gegeven. Studiekeuze123 stuurt hiervoor een uitnodiging. Vorig jaar stonden er syntaxen op de website. Deze blijven erop staan. Wanneer er vragen zijn, kunnen deze gemaild worden naar [email protected].

Discussieronde De deelnemers zijn uiteengegaan in drie groepen om een van de onderstaande onderwerpen te bespreken. Zie hier de conclusies: Privacy Het is goed om te weten welke student welke antwoorden gegeven heeft. Dit moet goed geborgd worden binnen de instelling. Vaak ligt de verantwoordelijkheid hiervoor bij één persoon of een klein team, dat op verzoek rapportages maakt. Zij zorgen ervoor dat de rapportages anoniem zijn. Daarmee blijven ook de resultaten anoniem. Dit moet ook goed worden opgenomen in de privacy reglementen van de instelling. Privacy blijft een tricky onderwerp. We zeggen altijd dat het benchmarkbestand anoniem is. Sommige opleidingen zijn echter zo klein, dat je alsnog kunt achterhalen wie wat heeft ingevuld. Hier moet zorgvuldig mee worden omgegaan. Er moet gezorgd worden dat deze resultaten niet op straat komen te liggen. Wanneer je het sleutelbestand gebruikt, kijk je naar de rendementsgegevens. Zijn studenten die goede cijfers halen positiever? Hier komen nooit echt spannende of schokkende zaken uit. Het zou interessant zijn om te kijken of bijvoorbeeld studenten die switchen van opleiding minder tevreden zijn over de opleiding of instelling. Maar dat soort analyses worden nog niet gedaan. Terugkoppeling resultaten Het terugkoppelen naar instellingsbesturen wordt goed gedaan, maar het terugkoppelen naar studenten en docenten kan beter. De resultaten worden gecommuniceerd, maar niet wat ermee gedaan wordt en wat er verbeterd wordt. Je wil docenten bereiken, zodat ze de resultaten kunnen gebruiken ter verbetering van het onderwijs. Je wil studenten bereiken over de resultaten en wat ermee gedaan wordt. Maar dan zit je veel op instellingsniveau. Studenten willen weten wat er binnen hun opleiding gebeurt. Hiervoor zouden bijeenkomsten georganiseerd kunnen worden waarin de instelling, docenten en studenten met elkaar in gesprek gaan over de resultaten. Daarnaast zouden factsheets per opleiding goed werken. Fictieve case: Promotie Wanneer je een onbeperkt budget zou krijgen, hoe zou je dat inzetten om de respons te vergroten? Het budget of de cadeaus die verloot worden, blijken van ondergeschikt belang. Een eerste stap om de respons te vergoten is het terugkoppelen van de resultaten van vorig jaar en aangeven wat hiermee gedaan is. Zo zien de studenten het belang van het invullen van de NSE en wordt er betrokkenheid gecreëerd. Deze betrokkenheid wordt ook gecreëerd wanneer studenten gevraagd wordt mee te helpen, bijvoorbeeld bij het vormen van een werkgroep die meedenkt, het inrichten van een informatiestand en andere studenten motiveren om de NSE in te vullen. Deze studenten hoeven geen salaris te ontvangen, maar het faciliteren in koffie, thee of een lunch geeft aan dat het werk van de studenten wordt gewaardeerd. Hier zijn geen grote budgetten voor nodig. Wanneer er budget is, zal dit vooral gaan zitten in het vrijmaken van tijd, voor docenten, opleidingscoördinatoren, de NSE contactpersoon etc. Het verspreiden van posters en flyers helpt bij het onder de aandacht brengen van de NSE, maar ook hier is geen groot budget voor nodig. Het is goed om de responspercentages te verspreiden, zodat er een vergelijking gemaakt kan worden tussen verschillende opleidingen, en studenten en docenten zich bewust worden. Avans geeft aan dat het vergelijken van de resultaten bij hen erg goed werkt. Er wordt een vergelijking getrokken tussen de verschillende opleidingen binnen Avans, maar ook tussen dezelfde opleidingen van verschillende instellingen. Met kleuren wordt duidelijk aangegeven waar Avans beter en slechter scoort. Dit draagt bij aan de bewustwording en geeft een impuls om de scores te verbeteren.