Verslag Informatiebijeenkomst JOB-monitor 2016 Locatie: Datum:
Huis Utrecht, Boorstraat 107 in Utrecht 22 september 2015
Agenda: 10.30 - 11.00 11.00 - 11.20
Inloop met koffie en thee Portefeuillehouder (Fatima Razzak) en projectmedewerker (Jettie Lensen) van de JOB-monitor stellen zich voor en geven een korte introductie over JOB en de JOBmonitor. Korte terugblik op de JOB-monitor 2014. Introductie JOB-monitor 2016: - Wat blijft hetzelfde? Wat wordt er anders? - Bespreking planning Onderzoeksbureau ResearchNed geeft uitleg over de onderzoeksopzet, het aanleveren van labels en het toevoegen van eigen vragen. Ruime gelegenheid tot het stellen van vragen.
11.20 – 11.30 11.20 - 11.45
11.45 - 12.15 12.15 - 13.00 Sprekers: Jettie Lensen Fatima Razzak Froukje Wartenbergh
Projectmedewerker JOB-monitor Algemeen bestuurslid JOB en portefeuillehouder JOB-monitor ResearchNed
Planning JOB-monitor 2016:
2015 18 september 22 september 13 oktober 12 november 2016 1 december 2015 t/m 11 maart 2016 12 januari 18 april* 26 april 26 mei*
Sluiting aanmelding deelnemende instellingen aan JOB-monitor 2016 Informatiebijeenkomst voor contactpersonen JOB-monitor 2016 Voortgangsoverleg gebruikersplatform Sluiting aanlevering labels en eventuele extra vragen Enquêteperiode
7 juni*
Voortgangsoverleg gebruikersplatform Definitieve instellingsrapportages worden opgeleverd Voortgangsoverleg gebruikersplatform Instellingsresultaten achter een inlogcode beschikbaar via online tool en oplevering landelijke data aan instellingen Presentatie landelijke gegevens tijdens feestelijke bijeenkomst
5 juli*
Eindevaluatie gebruikersplatform
*Data onder voorbehoud
1
Algemene informatie: Jettie Lensen heet iedereen welkom en bespreekt kort het programma. Vervolgens stelt ze zich voor als projectmedewerker JOB-monitor. Dit is de tweede keer dat zij als projectmedewerker is betrokken bij de JOB-monitor. Naast de JOB-monitor is zij ook verantwoordelijk voor de coördinatie van de LAKS-monitor, een tevredenheidsonderzoek onder leerlingen in het voortgezet onderwijs. Vervolgens stelt Fatima Razzak zich voor. Zij vertelt wat over JOB in het algemeen en waar JOB zich mee bezig houdt. Ze geeft aan dat ze graag de portefeuille JOB-monitor wilde beheren vanuit het bestuur. Ze heeft zelf inmiddels twee keer meegedaan aan de monitor. De eerste keer dat ze de monitor moest invullen had ze het gevoel dat ze dat ‘moest’ doen van school. Ze realiseerde zich toen niet dat het van belang is voor haar school om te weten wat de mening van studenten is. De tweede keer dat ze de monitor invulde was dan ook compleet anders, omdat ze toen lid was van de studentenraad en wist hoe belangrijk het was dat je als student je mening kon geven. Daarom wordt het ook haar doel om studenten zoveel mogelijk te betrekken bij de JOB-monitor en het belang ervan uit te leggen. Fatima benadrukt de doelen van de JOBmonitor: • •
Beeld krijgen van de tevredenheid van mbo-studenten over hun onderwijs, zowel op landelijk niveau als binnen de onderwijsinstelling. Studenten met de resultaten een handvat bieden om samen met de instelling het onderwijs te verbeteren.
Dan vertelt Jettie wat over de geschiedenis van de JOB-monitor. De monitor bestaat sinds 2001, in eerste instantie onder de naam ODIN. Sinds 2008 is onderzoeksbureau ResearchNed betrokken bij het onderzoek en sinds 2008 werd ODIN de JOB-monitor. Sinds 2010 is er een gebruikersplatform geïntroduceerd, waarin vertegenwoordigers van verschillende mbo-instellingen zitting nemen. Via dit platform kan de voortgang van de monitor besproken worden en is directe terugkoppeling van scholen naar JOB en andersom mogelijk. Dit platform zal ook tijdens de aankomende monitor weer actief zijn. Sinds de JOB-monitor 2014 doen alle mbo-instellingen van Nederland mee en voor het eerst ook een anders- en niet-bekostigde instelling: de Politieacademie en Hogeschool TIO. De nettorespons in 2014 was 255.851 studenten, dat is iets meer dan 51% van de totale populatie mbo-studenten. Een record! Naast het gebruikersplatform, waarin dit jaar voor het eerst ook naar alle waarschijnlijkheid ook studenten zitting nemen, komt ook de begeleidingscommissie weer actief bij elkaar. De begeleidingscommissie bestaat uit vertegenwoordigers van de belangrijkste partners van de JOB-monitor: Ministerie van OCW, DUO, MBOraad, ResearchNed en de Onderwijsinspectie. Het deskundigenpanel zal ook dit jaar ResearchNed adviseren over het verwerken van de data. De nieuwe site van de JOB-monitor is tegenwoordig geïntegreerd in de site algemene site van JOB. Het adres is: www.jobmbo.nl/monitor. De portal is te bereiken via: http://portal.jobmbo.nl/. Op de portal is alle informatie over de JOB-monitor 2016 terug te vinden. Onder het kopje informatie vind je het operationeel plan, een handleiding voor het aanleveren van labels, de informatiefolder etc. Ook vind je hier de vragenlijst terug. Tot slot komt hier t.z.t. promotiemateriaal op te staan, een handleiding voor docenten voor het afnemen van de monitor in de klas en verslagen van het gebruikersplatform en de informatiebijeenkomst. Kortom: Op de portal komt alle belangrijke informatie te staan die de contactpersonen moeten weten. Het is belangrijk om de portal dus goed in de gaten te houden.
2
Presentatie ResearchNed: Froukje Wartenbergh vertelt wat over de opbouw en de structuur van het onderzoek. Dit is eveneens na te lezen in het operationeel plan van de JOB-monitor (dat op de portal staat). Tot 12 november kunnen via de portal ook de labels en extra vragen worden ingeleverd. ResearchNed checkt de aangeleverde labels op dubbele pgn’s of ontbrekende pgn’s, maar het is belangrijk dat dit ook eerst door de instellingen zelf wordt gedaan. Ook raadt Froukje aan om zo dicht mogelijk op die 12 november te gaan zitten qua inleveren van de labels, omdat je dan zoveel mogelijk studenten kan meenemen die ook daadwerkelijk op 1 december als student staan ingeschreven. Bovendien is het belangrijk om niet zelf een selectie te maken van studenten, omdat het bestand van DUO straks leidend is. Het is wel mogelijk om in de eigen lijst de studenten die niet meegenomen worden (bijv. bedrijfsgroepen) een kenmerk mee te geven om ze er later uit te halen. Gebruik PGN om in te loggen op de JOB-monitor: Ook is het belangrijk om de afnemers van de monitor te informeren over het gebruik van het pgn (onderwijsnummer in het geval van buitenlandse studenten). Zij moeten weten dat dit wordt omgezet in een anoniem onderzoeksnummer, zodat zij hier ook de studenten over kunnen informeren. Jettie voegt hier later aan toe dat JOB zich bewust is van het feit dat studenten goed moeten worden geïnformeerd over de manier van inloggen. Daarom is JOB bezig met het ontwikkelen van een informatief filmpje voor studenten over de werking van het inloggen met je persoonsgebonden nummer. Meer informatie over het inloggen is terug te vinden in het operationeel plan en de informatiefolder (beide ook weer terug te vinden op de portal net als het filmpje zodra deze gereed is). De privacy van de deelnemers is dus gewaarborgd door de inlogfaciliteit via DUO. (zie ook sheet 12 van de presentatie). Inloggegevens voor de portal worden een dag na 22 september 2015 gemaild. Inloggen kan via http://portal.jobmbo.nl/.
3
Opmerkingen/vragen vanuit de kwaliteitszorgmedewerkers: 1 Zijn de rapportagelabels zoals die in de instellingsrapportage terug te vinden zijn ook opgenomen in de Excel en SPSS bestanden die we krijgen aangeleverd?
RN: Ja
2 Zijn de responslabels ook te zien in de instellingsrapportage?
RN: Nee, de rapportagelabels zijn bedoeld voor de instellingsrapportage en kun je terugzien in de databestanden. De responslabels zijn echt voor het bijhouden wie de monitor al heeft ingevuld en wie niet. De responslabels zijn bovendien ook vaak op zo’n laag niveau dat het niet handig is om die uit te splitsen in de instellingsrapportage.
3 Wordt het SPSS-bestand toegezonden of moet je dat opvragen?
RN: Dit bestand wordt toegezonden aan iedereen: je krijgt een inlogcode en dan kun je erbij.
4 We moeten de labels uiterlijk 12 november RN: Ja die tellen wel mee in het totaal maar vind je inleveren. Je hebt dadelijk een groep studenten die inderdaad niet terug in de labels. Maar dit verschil is na 12 november binnengekomen zijn, maar wel op 1 echt minimaal. december zijn ingeschreven. Die worden dan niet meegenomen in de labels. Tellen die wel voor het totaal van de instellingsrapportages? 5 Kunnen studenten die na 1 december zijn ingeschreven dan niet meedoen met de JOBmonitor?
RN: Nee, maar die studenten zijn ook niet zo interessant om te bevragen want die zitten pas net op de instelling. Die kunnen dus nog geen goede mening vormen van hun school en onderwijs. Jettie: Studenten die na 1 december staan ingeschreven kunnen dus ook niet inloggen op de monitor. Zijn ze wel van mening dat ze staan ingeschreven, dan is er iets mis gegaan met hun inschrijving bij DUO. Het inschrijvingenbestand van DUO is leidend of studenten wel of niet kunnen inloggen.
6 Hoe zit het met het inloggen van buitenlandse studenten? Die hebben meestal geen BSN.
RN: Nee, maar wel een onderwijsnummer. Dat is gewoon bekend bij DUO en daar kunnen ze mee inloggen. Het is wel belangrijk dat docenten een lijst hebben van die onderwijsnummers, aangezien deze minder makkelijk te achterhalen zijn voor de student dan pgn (paspoort/rijbewijs). Als je dus weet dat er veel buitenlandse studenten in een klas zijn, zorg dan dat docenten beschikking hebben over zo’n lijst. Bereid je hier dus goed op voor.
4
7 Vraag over bedrijfsgroepen: wij hebben een aanzienlijk percentage studenten buiten de school: dat betekent dat zij een aantal vragen niet kunnen beantwoorden. Hoe zit dat?
RN: De keuze is aan de instelling om te bepalen of deze studenten de JOB-monitor wel of niet moeten invullen. Als ze het invullen moeten ze alle vragen invullen, we kunnen niet die route wijzigen. Als je vindt dat ze niet in staat zijn om de vragen goed te beantwoorden en je wilt ze eruit filteren, dan kun je dat van tevoren aangeven in het labelbestand, dan zorgen we dat zij niet terugkomen in de rapportages en de respons alleen gebaseerd wordt op de reguliere studenten. Je kan deze studenten in het labelbestand het label ‘bedrijfsgroep’ geven in de eerste labelkolom.
8 Als je de monitor opstart, wat krijg je dan te zien?
Jettie: De olifant is niet meer, maar je krijgt duidelijk aangegeven wat je moet doen om naar de vragenlijst te gaan. Dat gaat via de website van JOB: www.jobmbo.nl/monitor Dit staat allemaal in de handleiding voor docenten en studenten die op de portal komt te staan zodra deze klaar is. Wij gaan dit met printscreens zo duidelijk mogelijk maken. Nu al kan je de knop naar de vragenlijst zien op de website, straks staat de vragenlijst hierachter.
9 Kosten aan de extra vragen, waar kunnen we dat vinden?
RN: Staat in de informatiefolder. Dat is €700,- voor de eerste vraag en €100,- voor eventuele vervolgvragen.
10 Wij willen graag 1 extra vraag stellen aan eerstejaars studenten (dus niet aan de rest), kan dat?
RN: Ja, dat kan. De studenten geven hun leerjaar aan bij de eerste vraag van de vragenlijst. Op basis van het antwoord op deze vraag krijgen de studenten de vraag voorgelegd of niet.
11 Ik ben voor het aanleveren van eigen vragen benieuwd wat andere scholen eerder hebben aangeleverd. Hebben jullie daar voorbeelden van?
Jettie: Nee, niet als één bestand. We zouden kunnen kijken of instellingen voorbeelden willen delen. Dan kunnen we een manier zoeken om dit te communiceren naar de rest. Misschien via de portal? ResearchNed gaat rondvraag doen onder instellingen die eigen vragen hebben aangeleverd om na te gaan of die vragen als voorbeeld mogen worden gebruikt.
12 Ik ben nieuw als contactpersoon van de JOBmonitor bij mijn instelling. Zijn er een soort van best practices voor het uitzetten van de monitor bij je instelling?
Jettie nodigt deze persoon uit voor het gebruikersplatform, want daarin worden al dit soort dingen uitgebreid besproken. Op de portal komen de verslagen te staan van alle bijeenkomsten. Deze zijn erg nuttig om te lezen. Op de portal staan ook nog de verslagen van het gebruikersplatform van de JOB-monitor 2014. Daar kan je ook al veel uithalen. In het gebruikersplatform kun je uitgebreid ervaringen uitwisselen. Ook het operationeel plan is aan te raden om te lezen als je nieuw bent (maar ook als je niet nieuw bent overigens).
5
13 Wordt er weer een training gegeven om te SPSSen?
RN: Ja dat kan, als er voldoende animo is. Wil je de training volgen? Stuur Jettie of ResearchNed dan een e-mail. Je leert tijdens deze training van alles: openen bestanden, maken van syntaxen, maken van tabellen, efficiënt maken van tabellen per team, toetsen van significantie, etc.
14 Worden eigen labels bruikbaar in de online tool? Jettie: Nee, dus dat betekent ook dat studenten de uitslagen per rapportagelabel niet kunnen zien. Dat was inderdaad vroeger wel zo, toen de data nog met het KIWI programma werd ontsloten. Toen snapten studenten dat programma echter niet dus hadden ze er ook niks aan. Het is wel een wens voor de toekomst om studenten ook de resultaten terug te koppelen per rapportagelabel, maar dat kan nu nog niet. Dit gebeurt nu alleen in de instellingsrapportages en de databestanden die alle scholen van ResearchNed ontvangen. 15 Op 7 juni worden de landelijke gegevens gepresenteerd aan de pers. Maar wij als instelling weten dit al eerder, mogen we dat dan naar buiten brengen?
Jettie: Aan jullie de vraag om dit niet te doen voor 7 juni. We geven jullie de resultaten eerder zodat je kans hebt om je voor te bereiden op eventuele vragen van buiten en als eerste inzicht te krijgen in je eigen resultaten. Het is niet de bedoeling dat jullie de resultaten naar buiten brengen voordat JOB dit landelijk doet, maar meer dan vriendelijk vragen om dit niet te doen als tegenprestatie voor dit inzicht, kunnen we als JOB niet doen.
16 Valt er nog wat te winnen voor studenten als ze de enquête invullen?
Jettie: Vorig jaar hadden we 10 ipods te verdelen, en op 255.581 studenten vonden we dat eigenlijk een wat karige incentive. Maar we hebben ook weinig budget voor grotere cadeaus. Ik wil dit daarom graag in het gebruikersplatform bespreken. Bij evaluaties wordt ook vaak aangegeven dat instellingen van mening zijn dat incentives niet nodig zijn. Voor ons is het heel veel werk om incentives te verspreiden, ook omdat de enquête anoniem is. We weten nu dus nog niet wat we dit jaar precies gaan doen hiermee, maar we willen wel graag studenten belonen. Het staat instellingen uiteraard vrij om zelf incentives te verloten aan hun studenten. De verloting kan ResearchNed (kosteloos) verzorgen.
17 Kunnen we, als er tussendoor vragen zijn, contact Jettie: Ja! Dat kan altijd! Je kan bellen naar JOB (020opnemen? 5244050) en mailen naar mij (
[email protected]). Ik ben er van maandag tot en met donderdag. Mocht je vraag meer van technische aard zijn en denk ik dat ResearchNed je vraag beter kan beantwoorden dan stuur ik je vraag altijd door. 18 Waar kunnen we het filmpje terugvinden over de Jettie: die staat op onze site: werking van de online tool? www.jobmbo.nl/monitor
6
