Verslag Informatiebijeenkomst JOB-monitor 2014 Utrecht, 24 september 2013 Agenda: 10.50 - 11.00 11.00 - 11.20
11.20 - 11.50 11.50 – 12.20 12.20 – 13.00
Inloop Portefeuillehouder JOB-monitor (Martijn Grul) en projectmedewerker JOBmonitor (Jettie Lensen) stellen zich voor. Zij introduceren de JOB-monitor 2014, bespreken de planning en stellen alle andere betrokkenen bij de JOB-monitor voor. Onderzoeksbureau ResearchNed geeft uitleg over de onderzoeksopzet, het aanleveren van labels en het toevoegen van eigen vragen. Onderwijs Innovatie Groep (OiG) stelt zich voor en geeft uitleg over de nieuwe vorm van online presentatie van de data. Ruime gelegenheid tot het stellen van vragen.
Sprekers: Jettie Lensen Martijn Grul Raoul Notté Kim Schut Froukje Wartenbergh Joyce Jacobs Danny Brukx
Projectmedewerker JOB-monitor JOB bestuurslid OiG OiG ResearchNed ResearchNed ResearchNed
Planning JOB-monitor 2014: 2013
1
15 september
Sluiting aanmelding deelnemende instellingen aan JOB-monitor 2014
24 september
Informatiebijeenkomst voor contactpersonen JOB-monitor 2014
29 oktober
Voortgangsoverleg gebruikersplatform
14 november
Sluiting aanlevering labels en eventuele extra vragen
2014 2 december 2013 t/m 28 maart 2014
Enquêteperiode
14 januari
Voortgangsoverleg gebruikersplatform
vanaf 16 april
Mogelijkheid om bij voldoende respons eigen voorlopige resultaten te ontvangen in een instellingsrapportage (pdf-bestand)
14 april
Voortgangsoverleg gebruikersplatform
2 juni
Instellingsresultaten achter een inlogcode interactief beschikbaar via de online ontsluitingstool
17 juni
Presentatie landelijke gegevens
17 juni
Oplevering instellingsrapportage inclusief landelijke resultaten (als pdfbestand en in de online ontsluitingstool)
begin juli
Eindevaluatie gebruikersplatform
Algemene informatie: Presentatie Jettie (zie ook opmerking 40 t/m 43, op pagina 7 en 8): JOB-monitor bestaat sinds 2001 onder de naam ODIN. Aan de eerste editie deden 29 instellingen mee en 57.000 studenten. Sinds 2007 is onderzoeksbureau ResearchNed betrokken bij het onderzoek en sinds 2008 werd ODIN JOB-monitor. Aan de editie van 2012 deden 64 instellingen mee en 225.000 studenten. Aan de JOB-monitor 2014 doen alle mbo-instellingen van Nederland mee en voor het eerst ook één NBI, Hogeschool TIO, en één anders bekostigde instelling, de Politieacademie. Doel is om meer dan 225.000 leerlingen mee te laten doen aan de JOB-monitor 2014. Doel van de JOB-monitor: • •
Beeld krijgen van de tevredenheid van mbo-studenten over hun onderwijs, zowel op landelijk niveau als binnen de onderwijsinstelling. Studenten met de resultaten een handvat bieden om samen met de instelling het onderwijs te verbeteren.
Voor deze editie van de JOB-monitor komt de begeleidingscommissie weer actief bij elkaar. De begeleidingscommissie bestaat uit vertegenwoordigers van de belangrijkste partners van de JOB-monitor: Ministerie van OCW, DUO, MBO-raad, ResearchNed en de Onderwijsinspectie. Ook het gebruikersplatform zal tijdens de JOB-monitor 2014 weer enkele malen een voortgangsoverleg hebben. Het gebruikersplatform bestaat dit jaar uit 16 instellingen. Het is niet meer mogelijk om je op te geven voor het gebruikersplatform. Het deskundigenpanel zal ook dit jaar ResearchNed adviseren over het verwerken van de data. Via de nieuwe site www.job-monitor2014.nl kan je naar de portal (via kopje “ medewerkers”) en t.z.t. naar de vragenlijst. Presentatie ResearchNed (zie ook opmerking 1 t/m 13 op pagina 4 en 5): Op de portal komt alle belangrijke informatie te staan die de contactpersonen moeten weten. Het is belangrijk om de portal dus goed in de gaten te houden. Hier kunnen tot 14 november ook de labels en extra vragen worden toegevoegd. De handleiding hiervoor is ook op de portal aanwezig. ResearchNed checkt de aangeleverde labels op dubbele pgn’s en/of ontbrekende pgn’s.
2
De privacy van de deelnemers is gewaarborgd door de inlogfaciliteit via DUO. (zie sheet 10 van de presentatie). Inloggegevens voor de portal worden in week 39 gemaild. Inloggen kan via http://portal.job-
monitor2014.nl/ Presentatie OiG (zie ook opmerking 14 t/m 39 op pagina 5 t/m 8): Naast onderzoek in het onderwijsveld houdt OiG zich ook bezig met advies en projectmanagement, maatwerk training en professionalisering. De nieuwe ontsluitingstool is ontworpen met de mbo-student in het achterhoofd. Tot nu toe is het alleen mogelijk om te vergelijken op instellingsniveau. De discussie die hierop volgt is in punt 14 t/m 39 na te lezen. Conclusie is dat zowel JOB als OiG zich samen met het gebruikersplatform gaan buigen over mogelijke oplossingen voor de problemen die door de kwaliteitzorgmedewerkers worden aangekaart. Na deze discussie wordt de tool uitgelegd aan de hand van print screens (zie sheet 29 t/m 34 van de presentatie) en later met de LAKS tool als voorbeeld (die is al verder in ontwikkeling).
3
Opmerkingen/vragen vanuit de kwaliteitszorgmedewerkers: 1 Kunnen we ook nog informatie van vorige jaren inzien?
RN: Die worden ook in de nieuwe tool ingeladen, dus die blijven beschikbaar.
2 Zijn de responslabels ook in de data terug te vinden?
RN: De rapportagelabels zijn bedoeld voor de instellingsrapportage en kun je terugzien in de databestanden. De responslabels zijn echt voor het bijhouden wie de monitor al heeft ingevuld en wie niet. Deze komen niet terug in de databestanden.
3 Kunnen we wel nog op crebo vergelijken?
In de databestanden die opgevraagd kunnen worden zitten de crebo gegevens (die komen uit BRON). Je kan dus op crebo vergelijken maar niet meer via de tool. Crebo staat in BRON dus hoeft niet apart aangeleverd te worden als label.
4 Hoe krijgen we respons te zien?
RN: Je ziet het absolute aantal ingevulde enquêtes en een percentage per aangeleverd label. Studenten die niet in het labelbestand aangeleverd door de instelling voorkomen maar wel een geldige inschrijving hebben bij DUO worden ook in het responsoverzicht opgenomen. Zij komen als ‘Zonder label’ in het overzicht te staan.
5 We kunnen nu 3 labels aanvragen. Onze opleidingsmanager wil graag op team niveau vergelijken, die vindt klas te specifiek.
RN: Je kan op zowel klas, afdeling als team vergelijken. Instellingen kunnen zelf bepalen welke labels ze aan willen leveren.
6 Zijn bedrijfsgroepen een apart label?
RN: Nee, studenten die vallen onder een bedrijfsgroep kunnen aangemerkt worden als zodanig door bij die studenten in het eerste label ‘bedrijfsgroep’ te zetten. De andere labels voor deze studenten kunnen leeg gelaten worden. Graag in de begeleidende mail ook aangeven dat u de bedrijfsgroepen uit de respons wilt houden.
7 Kunnen we de gegevensbestanden ook later aanvullen?
RN: Nee, je kan maar één keer een bestand aanleveren met daarin labels. Uiterlijk 14 november aanleveren, want er moet voldoende verwerkingstijd zijn. Studenten die tussen 14 november en 1 december (peildatum DUO) instromen kunnen wél meedoen aan de JOBmonitor maar hieraan kan geen label gekoppeld worden. Studenten die ná 1 december zijn ingestroomd kunnen de JOB-monitor niet invullen.
8 Komen de eigen aangeleverde vragen helemaal aan het einde van de vragenlijst?
RN: Ja.
9 Wanneer is de landelijke rapportage af?
Jettie: 17 juni is de deadline (in plaats van 14 juni).
10 Is de vragenlijst al definitief?
RN: Nee, er is bijvoorbeeld laatst nog gekeken naar het blok vragen over studeren met een beperking. Er komt nog een test met studenten, daarna wordt deze pas definitief. We zullen hem dan gelijk op de portal zetten.
4
11 Kan de vragenlijst korter?
RN: De vragenlijst lijkt lang, maar niet iedereen krijgt alle vragen en we hebben niet het idee dat het korter kan. Gemiddelde invultijd is 10-15 minuten. Opmerking: “Leerlingen ervaren het als lang.” We testen ook met niveau 1 en 2 studenten en het blijkt te doen. We gaan ook dit jaar weer de vragenlijst speciaal testen met niveau 1 studenten. Als studenten de vragenlijst te lang vinden kunnen ze de lijst ook in meerdere keren invullen. Opmerking: “Dat werkt vaak niet als het klassikaal wordt ingevuld”.
12 Wanneer is de lijst definitief?
RN: In Arnhem wordt getest met studenten met een beperking in de week van 21 t/m 25 oktober. Behalve de vragen over studeren met een beperking is de vragenlijst grotendeels hetzelfde als die van 2012. Aanvullend wordt waarschijnlijk een test met studenten niveau 1 uitgevoerd bij het Horizon College.
13 Hoe gaat het testen van de vragenlijst in zijn werk?
RN: We gaan kritisch met de studenten zitten en ze vinden dat heel leuk. We kijken of ze de vragen begrijpen en kunnen invullen. Soms moeten we wel dingen aanpassen n.a.v. zo'n test. Niveau 1 is wel de groep met de laagste respons.
14 Hoe kom je op het dashboard van de juiste instelling?
OIG: Als je inlogt zit je automatisch bij de juiste instelling. Opmerking: Dus potentiële studenten kunnen er niet bij? En de pers? OIG: Jawel, er komt ook een openbare inlog zodat potentiële studenten ook kunnen kijken en instellingen ook bij elkaar kunnen kijken. Opmerking: Met Kiwi kon je toch niet inloggen? Jettie: Jawel, dat kon wel.
15 Kun je straks nog wel je eigen rapportages aanklikken? Het ging wel heel traag en langzaam, maar je kon wel lekker labels aanklikken. Dat is toch jammer?
Jettie: Ja, dat vinden wij ook heel erg jammer. We gaan ook nog kijken of het wel nog mogelijk is. Zoals het in Kiwi kon is het inderdaad niet meer mogelijk, daar moet je het Excel en/of SPSS bestand voor gebruiken. Opmerking: Bij ons willen mensen wel weten hoe het team het doet, hoe een bepaalde klas het doet. Dus dat is cruciale informatie. RN: Je krijgt dat nog wel aangeleverd in de instellingsrapportages. OIG: gebruik op dit niveau was minimaal, dus daarom is gekozen voor het gebruikersgemak van de student. Die informatie moet je op een andere manier verkrijgen.
16 Wat is het verschil precies tussen inloggen en niet Jettie: Dat willen we in het gebruikersplatform en bij inloggen? JOB bekijken: moet alles openbaar? Kan, maar er kan ook gezegd worden dat het niet openbaar moet. 17 Opmerkingen over de mogelijkheid om alleen Op instellingsniveau vergelijken zegt niets. Wij online te kunnen vergelijken op instellingsniveau (17 hebben verschillende colleges, dus de t/m 23) studentenraad van de deellocaties kunnen daar
5
niets mee. Alleen de centrale studentenraad. 18 Opmerking:
De reden dat Kiwi zo weinig werd gebruikt was omdat het zo gebruiksonvriendelijk was, daarom gebruikten wij de instellingsrapportages. De reden was bekend, het ging om de gebruiksonvriendelijkheid.
19 Opmerking:
Voor ons als organisatie is het wel heel belangrijk wat hieruit komt, ook voor de inspectie. Dus dan moet er wel op de juiste manier geclusterd wordt.
20 Opmerking:
Ook voor de student is het belangrijk om onderscheid te maken tussen deellocaties, op instellingsniveau heeft die student hier ook niets aan.
21 Opmerking:
Wij leveren de student ook heel veel informatie aan. Jettie: Dat juichen wij alleen maar toe, ga vooral met studenten in gesprek. Dat kan ook allemaal nog steeds met Excel en studenten kunnen zelf aan de slag op instellingsniveau.
22 Opmerking:
De student zit in een klas, op een bepaalde opleiding, we praten daarover ook met de studenten. Met Kiwi ging dat niet vanwege gebruiksonvriendelijkheid. De student kan in dit geval alleen maar een algemeen beeld krijgen.
23 Opmerking:
Maar dan moeten we dus hopen op het Excel bestand, maar dat is voorlopig. RN: In juni zijn de bestanden en rapportages definitief. Vanaf half april kan de voorlopige data aangeleverd worden. Dit was de vorige edities ook zo.
24 Zitten er gewogen antwoorden in het excel bestand?
RN: Je moet zelf de wegingsfactor aanzetten, dat gaat makkelijker in SPSS.
25 Opmerking: Je hebt een docent, aangestuurd door een manager, daarboven weer bestuurders. Wij konden op ieders niveau rapportages maken en daar hechten wij zeer aan.
OIG en Jettie: De keuze voor deze manier van ontsluiting is heel duidelijk gemaakt met de achterban van JOB in ons hoofd. Als je weer meteen op alle niveaus gaat vergelijken dan krijg je weer de situatie zoals die was, die niet optimaal was. Deze gebruikerstool moet je niet vergelijken met Kiwi, het is echt iets anders. Uiteraard nemen we deze opmerkingen allemaal mee om te kijken hoe we aan jullie behoeftes kunnen voldoen.
26 We kunnen nu 3 labels aanleveren, waarom RN: Je komt heel snel op te kleine groepen uit, maken jullie er niet 4 of 5 van? Zodat je de waarbij de gegevens niets meer zeggen. Bovendien rapportage op klas, afdelingen, teams, locaties etc.? is de anonimiteit niet meer te garanderen. 27 Bij ons zijn er teams (laagste label), zij willen Jettie: Via de Excel/spss bestanden kun je dat graag van hun team de uitsplitsing hebben. Hoe krijg allemaal achterhalen. ik dat nu voor elkaar? Wij gaan als daar behoefte aan is ook organiseren dat jullie met die Excel bestanden aan de slag kunnen om de data te gebruiken zodat iedereen gewoon nog zijn werk kan doen.
6
28 Er is een inventarisatie geweest onder gebruikers om te kijken welke overzichten mensen wilden maken. Is dat nu ook gebeurd? Er is eind januari een bijeenkomst geweest en daar is toen ook geïnventariseerd.
Jettie: Ik ken deze bewuste inventarisatie misschien niet, daar ga ik naar op zoek. Mijn voorganger ging in februari weg en ik ben in juni aangesteld. Mede op basis van de overdracht van mijn voorganger (notulen gebruikersplatform, evaluaties, draaiboek etc)is de beslissing voor een andere tool genomen.
29 Opmerking: Deze tool levert een schijnbeeld op, ik denk dat jullie de student hiermee niet echt bedienen. Je hebt onvoldoende inzicht in de specifieke locaties. De keuze is gemaakt om de student te bedienen, maar het lijkt erop dat dit niet iets is wat de studenten kunnen gebruiken, vrees ik.
Jettie: Ik leg jullie uit waar de keuze op gebaseerd is. De keuze is ook gemaakt door JOB bestuur. Ik begrijp jullie bezorgdheid. Wij nemen alles ook zeker mee. Uit de notulen en evaluaties van voorgaande edities kwam echter naar voren dat er weinig tot geen gebruik werd gemaakt van KIWI, door studenten helemaal niet. Kwaliteitzorgmedewerkers maakten vooral gebruik van Excel/spss bestanden en instellingsrapportages. Dat kan nog steeds.
30 Opmerking: De tweede doelstelling van de folder Jettie: De bezwaren zijn erg duidelijk, wij gaan daar is toch nog steeds een doelstelling? Want op naar kijken en u kunt het wel laten zien met behulp instellingsniveau vlakt het alles ongelofelijk uit. Het van de instellingsrapportages (labels). is zo algemeen dan. 31 Opmerking: Ik wil voorstellen dat we allemaal standaard de bestanden aangeleverd krijgen. Nu is het zo dat we weer een aparte medewerker erop moeten zetten om die rapportages voor aparte teams en locaties te maken.
Jettie: Dat is een optie.
32 Is er door studenten gekeken naar deze tool?
Martijn: Ja, er is gekeken met onze achterban in het maandelijks overleg met meerdere voorzitters van studentenraden. Die waren allemaal positief gestemd, maar een echte evaluatie kon nog niet plaatsvinden aangezien er nog geen resultaten in staan. We wisten wel dat het op instellingsniveau was.
33 Hoe ziet dat dashboard er precies uit? Zie je daar OIG: Respons kan je zien, maar niet in het ook hoeveel respons er is geweest? resultatenoverzicht. Dat zie je pas als je verder klikt. Je kan in het dashboard jouw school vergelijken met een vergelijkingsgroep. En als we in de toekomst wellicht in gaan voeren dat je op opleidingsniveau kan kijken zou je dat hier ook kunnen kiezen. 34 Zit er in de rapportage op de tool ook een vergelijking met andere jaren?
Ja.
35 Is de vijfpuntsschaal samengevoegd in een driepuntsschaal?
Ja, in het rapport wel, maar een niveau dieper kan je wel alles uitgesplitst zien.
36 Kan je een groep scholen aanklikken waar je jezelf mee vergelijkt?
Je kan niet zelf zo'n groep maken, maar je kan wel aanklikken dat je wilt vergelijken met bijvoorbeeld ROC, vakschool of AOC en met kleine, middelgrote of grote instellingen. De precieze vergelijkingsgroepen worden samen met het gebruikersplatform samengesteld.
37 Wij vergelijken graag met de G4, dus dat zouden we graag willen blijven doen.
Dat moet mogelijk kunnen worden gemaakt.
7
38 Zijn de verschillen tussen rode en groene bolletjes significant?
Nee, het zijn nu gewoon verschillen. Maar we kunnen er ook voor kiezen een marge hier in aan te brengen, dus dat het bv 5% verschil moet zijn om rood of groen te worden. We zullen kijken naar de beste manier om de verschillen zo helder mogelijk te communiceren.
39 Zijn die keuzes zoals bij opmerking 37 al gemaakt?
Jettie: Nee, deze keuzes en bijvoorbeeld ook de vergelijkingsgroepen willen we in overleg met het gebruikersplatform maken.
40 Hoe verloopt de communicatie over de JOBmonitor?
Jettie: Op de portal staat alles, dus het is aan te raden om de portal goed in de gaten te houden. Bij belangrijke momenten zal ik jullie ook per mail op de hoogte houden.
41 Hoe vindt de communicatie naar de studenten plaats?
Jettie: De communicatie naar studenten toe wordt door zowel JOB als door jullie gedaan. Jullie krijgen van ons posters en een argumentenkaart om de JOB-monitor uit te leggen aan studenten. Martijn: We zijn bezig met een campagnebureau en we willen actief bezig met social media. De resultaten gaan we ook betrekken in de social media campagne.
42 Gaan jullie communiceren over de privacy van studenten? Dat blijft een ding.
Jettie: Daar zijn we ons van bewust. We gaan daar ook zeker mee bezig en we nemen er verantwoordelijkheid in om dat goed uit te leggen.
43 Klassikale invulmomenten werden door de posters van JOB moeilijk gemaakt: daar staat in dat je het nu kan invullen. Maar dan ondermijn je klassenmomenten.
Jettie: Het is inderdaad mogelijk om individueel de JOB-monitor in te vullen. We kunnen aan studenten communiceren dat de JOB-monitor per klas ingevuld wordt. Studenten kunnen dan eerst navragen of ze de JOB-monitor nog klassikaal gaan invullen, voordat ze hem zelf invullen. Je kan als docent wel controleren of de student ook echt de monitor heeft ingevuld. Dit wordt aangegeven zodra de student heeft ingelogd. Opmerking: Als de student al zelf de monitor heeft ingevuld heeft hij/zij de hele les niets te doen. Jettie: Dan moeten we in overleg besluiten wat voor instellingen het meest wenselijk is.
8
