Verslag Gebruikersplatform JOB-monitor 2014

Verslag Gebruikersplatform JOB-monitor 2014 Datum:

14 april 2014

Tijd:

11.00 uur tot 13.00 uur

Locatie:

Zaalverhuur7, Boothstraat 7, Utrecht

Aanwezig:

Ronald Rondas (ROC Arcus), Bob Leunk (ROC van Amsterdam en Flevoland), Marianne Maasland (Regio College), Hedy Beumkes (Albeda College), Karin Dekkers (Sint Lucas), Tessy Duncker (ROC Tilburg), Lammert Folkerts (ROC van Twente), Pollyan van Swigchem (Graafschap College), Anne-Marie Gootjes (Media College), Peter Thewissen (ROC Leeuwenborgh), Clara Verblauw (Horizon College) Froukje Wartenbergh (ResearchNed), Joyce Jacobs (ResearchNed), Jettie Lensen (JOB) Linjo de Kruijf (Grafisch Lyceum Utrecht), Kitty Mathijsen (ROC Koning Willem I College), Marlies Kooijmans (Rijn Ijssel), Gerda Broens (ROC Nijmegen), Henk ter Telgte (AOC de Groene Welle), Peter van der Blom (Media College)

Afwezig:

Agenda: 1. Opening en welkom 2. Doorlopen actiepunten uit notulen 14-01-2014 3. Afname monitor: a. Rondje scholen: hoe is de afname gegaan? Wat zijn positieve/negatieve zaken? b. Zijn er al punten voor evaluatie (naast actiepunt 1 en 2 van de vorige notulen)? c. Verdeling iPods 4. Update JOB-monitor 2014: a. Uiteindelijke respons b. Nogmaals toelichting op het aantal onbekende studenten en de grootte daarvan. Hoe zit dat bij andere instellingen? Kan DUO hier nog een toelichting bij geven? (Bob Leunk). c. Bespreking tijdschema van nu t/m de presentatie resultaten d. Uitleg landelijke presentatie 17 juni: pers, presentatie aan minister, ontvangst instellingsrapportages e. Bespreking met deskundigenpanel: nieuwe afspraken, weging/cleaning, verantwoording 5. Update online presentatietool a. Bespreking in begeleidingscommissie b. Functioneel ontwerp en testfase c. Instellingsdashboard openbaar 6. Vragen aan gebruikersplatform: a. Instellingsrapportages: deze worden standaard aangeleverd uitgesplitst naar vraag en zijn voor alle instellingen opgesteld in eenzelfde format. Dit heeft te maken met het feit dat de aangeleverde labels per instelling sterk verschillen. Is er bij 1

andere instellingen behoefte aan de rapportages uitgesplitst per label? En is dat haalbaar voor ResearchNed? (Hedy Beumkes) b. Wat voor een inlogcodes willen jullie voor de online tool? Hoe wil je die ontvangen? c. Wanneer vindt de evaluatie plaats? Voorstel: di 1 juli / do 3juli. Of na de vakantie? di 2 sept / do 4 sept. d. Instructiemiddag OiG tool bespreken. Wat is de noodzaak? Studenten en kwaliteitszorgmedewerkers samen? Wanneer moet die plaatsvinden? 7. Cursus door ResearchNed 8. Rondvraag en afsluiting Belangrijkste opmerkingen: 1.

Jettie opent de bijeenkomst en heet iedereen welkom.

2.

Actiepunten uit de vorige notulen worden kort besproken. Actiepunten van 14 januari 2014:

Besproken:

Actiepunt 1

Vragenlijst evalueren bij de laatste bijeenkomst van het gebruikersplatform (o.a. het gebruik van competenties).

Blijft staan voor de evaluatie

Actiepunt 2

Manier van inloggen evalueren bij de laatste bijeenkomst van het gebruikersplatform.

Blijft staan voor de evaluatie

Actiepunt 3

Uitzoeken wat er precies in de deelnameovereenkomst staat en of dit niet in conflict is met de manier waarop nu de data wordt ontsloten op instellings- en opleidingsniveau.

Jettie heeft dit uitgezocht. De deelnameovereenkomst die instellingen tekenen is niet in conflict met de manier waarop dit jaar de data online ontsloten wordt (dus instelling x opleidingsniveau/domein).

Actiepunt 4

Organiseren van een instructiemiddag om uitleg te geven over de werking van de nieuwe data ontsluitingstool.

Omdat de tool veel gebruiksvriendelijker is en er een uitgebreide handleiding komt, is een aparte instructiemiddag voor kwaliteitzorgmedewerkers niet nodig. Wel worden alle contactpersonen van de JOBmonitor uitgenodigd voor de presentatie van de landelijke resultaten op 17 juni, waar zij samen met studentenraden een presentatie krijgen over de nieuwe data ontsluitingstool.

Actiepunt 5

ResearchNed zal een precieze omschrijving maken van de SPPS-cursus om de data van de JOB-monitor te kunnen analyseren. Alle instellingen ontvangen een uitnodiging.

Inmiddels hebben alle instellingen een uitnodiging voor een SPSS-cursus ontvangen. Jettie benadrukt dat deze cursus buiten JOB wordt georganiseerd.

2

3.

Afname van de JOB-monitor wordt besproken. Alle leden van het gebruikersplatform vertellen over hun ervaring tijdens de afname. SintLucas: Afname is goed verlopen, afgezien van een paar klassen waarbij de afname wat lastiger ging. Horizon College: Afname is zonder noemenswaardige problemen verlopen. Jettie heeft namens het CvB een brief ontvangen over een klas die de monitor niet wilde invullen omdat ze in moesten loggen met het BSN. Deze klas had net bij burgerschap geleerd dat ze nooit zomaar persoonlijke informatie moesten invullen op internet. JOB heeft een reactie gestuurd en uitleg gegeven hierover. Het gebruik van BSN zal worden geëvalueerd. Regio College: Afname ging moeizaam. Had mede te maken met het invullen via BSN. Bovendien was het lastig om goed te kunnen controleren of iedereen de monitor goed had uitgezet. Je kon niet controleren wie dat al had gedaan en wie niet, men voelde zich niet verantwoordelijk. De aangeleverde responslabels werkten hierbij niet voldoende. Regio College werkt veel met ROC Spiegel en hierbij kan je de op respons individueel niveau volgen. ROC Tilburg: Respons is beter dan twee jaar geleden. Op intranet werd de JOB-monitor olifant geplaatst met elke twee weken het aantal respondenten daarbij. Dat werkte goed. De hoogte van de respons werd vergeleken met die van andere instellingen waardoor er een positief wedstrijdelement ontstond. Media College: Geen problemen met de afname. Eerder is bij JOB al aangegeven dat Media College vindt dat er te veel tekst wordt gebruikt bij het inloggen op de monitor. Dat zorgt voor onduidelijkheid. Het was soms lastig voor studenten om snel te vinden waar je de monitor op de site in kon vullen. Jettie heeft eerder al aangegeven dat hier naar gekeken zal worden. Enige tekst was echter nodig om te voorkomen dat studenten twee keer op de groene verder knop bij de inlogfaciliteit van DUO zouden drukken, en op die manier tien minuten moesten wachten om weer in te kunnen loggen. ROC Twente: Het is een grote operatie geweest maar de respons is hoger dan twee jaar geleden. Goede ondersteuning van de communicatieafdeling. Daardoor was iedereen goed op de hoogte, en werd de respons goed gevolgd door iedereen. Er werd steeds een top 10 van de respons van andere ROC’s gemaakt, dus ook het wedstrijdelement werd hier gebruikt. De communicatieafdeling heeft ook gezorgd dat er een klassenuitje kon worden gewonnen en door één student een iPad. ROC Leeuwenborgh: Betere respons dan de vorige keer. Intern was er iets fout gegaan met het aanleveren van de labels. Dit is snel opgepakt door JOB en ResearchNed en inmiddels verholpen. Iedere twee weken werden de responscijfers op de schermen in de school getoond in combinatie met de JOB-monitor olifant. Op die manier ging de JOBmonitor leven binnen de school. De responscijfers zijn niet afgezet tegen andere scholen. ROC Arcus: Respons ook behoorlijk hoger dan de vorige monitor. Er hebben zich geen problemen voorgedaan. Interne vragen waren door JOB vooraf vaak al getackeld. Graafschap College: Ook betere respons dan de vorige keer. Afname ging goed. Er wordt opgemerkt dat de respons lager leek door studenten die niet gelabeld zijn. Hier wordt later tijdens de bijeenkomst op ingegaan. Responslabels werkten verder goed. Je ziet zo goed waar er nog aan getrokken moet worden. BBL-studenten en stageklassen (derde klassers) blijven lastig te bereiken. Inloggen via BSN zorgde af en toe voor problemen. 3

ROC van Amsterdam en ROC van Flevoland: Op beide instellingen is er sprake van een verhoogde respons ten opzichte van de vorige keer. Dit keer is er intensief samengewerkt met de centrale studentenraad. Wat betreft het inloggen met BSN is de suggestie om op de inlogsite van DUO nogmaals aan te geven dat de privacy van studenten gewaarborgd is. Dus dat ook DUO zelf de privacy garandeert. Voor de rest is alles prima verlopen. Albeda College: Ook een hogere respons dit keer. Elke twee weken werd er een responsoverzicht gestuurd naar de directie en CvB. Die keken hier goed naar. Behalve problemen met inloggen via BSN geen andere problemen. Er zaten nog wel studenten in de aangeleverde labelbestanden waarvan later bleek dat ze tijdens de veldwerkperiode hun diploma hadden behaald. Hier moet dus intern op gelet worden. Contact met JOB was snel en goed.

4.

iPods zijn inmiddels verloot in de afgesproken verhoudingen: 1 vakschool, 1 AOC en 3 ROC’s. In sommige gevallen heeft JOB (na overleg met de contactpersoon van de instelling) de studenten zelf benaderd, in andere gevallen is of wordt dit door de instellingen gedaan. De winnaars van de iPod zitten op de volgende instellingen: - Grafisch Lyceum Rotterdam (vakschool) - Citaverde College (AOC) - ROC van Amsterdam (ROC) - Scalda (ROC) - Horizon College (ROC) Respons:

5.

Jettie geeft aan dat de uiteindelijke netto respons 255.859 studenten betreft. Dit is 51% van het totaal aantal mbo studenten. JOB is hier erg blij mee en bedankt de aanwezigen van het gebruikersplatform voor hun inzet. De netto respons is met 40.257 studenten gestegen ten opzichte van de vorige keer.

6.

Bob Leunk (ROC van Amsterdam en Flevoland) vraagt of er een toelichting kan worden gegeven over het aantal anonieme studenten dat niet gelabeld is. Hij vraagt aan de andere aanwezigen over daar ook behoefte is om er achter te komen wie deze studenten zijn. Die behoefte is er.

7.

Froukje (ResearchNed) geeft aan dat zij geen persoonskenmerken van deze onbekende groep kunnen zien (de monitor is immers anoniem). Er is wel gekeken met DUO waar deze groep vandaan komt. Het gaat hier vooral om examendeelnemers, maar ze kunnen deze groep er niet uithalen, omdat er ook veel examendeelnemers wel gelabeld zijn. Daarnaast bevat deze groep wellicht ook deelnemers die nog niet door de administratie van DUO zijn verwerkt en daarom nog staan ingeschreven. Zoals ook gecommuniceerd in het operationeel plan wordt de selectie van DUO aangehouden voor het berekenen van de respons en niet het labelbestand dat instellingen sturen aan ResearchNed. Iedereen die in de selectie van DUO zit kan immers de JOB-monitor invullen. Omdat DUO verder niets met de aangeleverde labels doet, blijft de kans op zo’n onbekende groep bestaan. Een tip van Froukje is om in elk geval alle studenten aan te leveren en in het bestand aan te geven welke studenten meegenomen moeten worden in het onderzoek en welke niet. Alleen dan kan ResearchNed ze eruit houden.

8.

Instellingen gaan zelf niet rapporteren over deze groep zonder labels, dus in feite is er niet echt een probleem, aldus Froukje. Bob Leunk (ROC van Amsterdam) geeft aan dat hij intern hierover vragen krijgt en dat hij wil weten waar deze studenten vandaan komen, omdat hij naar zijn weten alle studenten een label heeft gegeven. 4

9.

Jettie stelt voor dat er in de toekomst een aparte uitleg zal worden gegeven over de niet gelabelde studenten, zodat de contactpersonen van de JOB-monitor intern aan kunnen geven hoe deze groep tot stand kan komen en dat deze groep geen problemen hoeft op te leveren voor de analyse die instellingen doen. Voorlopige instellingsrapportage t/m presentatie resultaten:

10.

Jettie bespreekt de stappen vanaf nu tot en met de presentatie van de resultaten.

11.

Vanaf 16 april kunnen er bij ResearchNed voorlopige instellingsrapportages worden opgevraagd. Deze rapportages bevatten nog geen clusterscores en ook nog geen vergelijking met het landelijk gemiddelde.

12.

Hedy Beumkes (Albeda College) vraagt of er grote verschillen zijn tussen de resultaten van de voorlopige en de definitieve instellingsrapportages. Froukje (ResearchNed) geeft aan dat dit meestal niet het geval is.

13.

Instellingen gebruiken de voorlopige instellingsrapportages in sommige gevallen voor inspectiebezoeken. De inspectie heeft nu nog geen nieuwe cijfers. Clara Verblauw (Horizon College) benadrukt dat de instelling altijd als eerste de cijfers moeten krijgen, voordat de inspectie of andere partijen deze informatie in handen krijgt. Dat is ook de afspraak. Jettie geeft aan dat de inspectie inmiddels wel om de nieuwe cijfers heeft gevraagd. Jettie zal zorgen dat er duidelijkheid komt rondom de levering van data rondom de inspectie, en dat er voor gezorgd wordt dat de cijfers als eerste bij de instellingen komen. Actiepunt 1

14.

De presentatie van de landelijke resultaten vindt plaats in Den Haag op 17 juni. Hoogstwaarschijnlijk wordt het landelijke rapport door de minister van Onderwijs in ontvangst genomen. De leden van het gebruikersplatform geven aan graag samen met de studentenraad bij de presentatie aanwezig te willen zijn. De vorm van de presentatie van twee jaar geleden, waarin er aan verschillende tafels gebrainstormd werd over de resultaten van de JOB-monitor, was goed en voor herhaling vatbaar. Iedereen kan zich vinden om een combinatie van beleidsmakers en studentenraden te betrekken bij de presentatie op 17 juni. Deskundigenpanel:

15.

Op 7 april zijn met het deskundigenpanel alle stappen van de onderzoeksverantwoording doorgenomen. Een online versie hiervan komt binnenkort op de portal te staan. Veranderingen ten opzichte van twee jaar geleden zijn dat de ‘n’ in de openbare ontsluitingstool van 20 naar 15 is gegaan, zodat waardevolle informatie over bijvoorbeeld kleine opleidingen beschikbaar blijft, zonder dat de privacy in het geding komt. De grens van n=5 voor de instellingsrapportages blijft wel gehandhaafd. Uitbreiding online ontsluitingstool:

16.

De uitbreiding van de online ontsluitingstool is momenteel in volle gang. Na de input van het gebruikersplatform tijdens de vorige bijeenkomst is ook nog de begeleidingscommissie bijeengekomen om de uitbreiding van de tool te bespreken. De begeleidingscommissie bestaat uit alle belanghebbende partijen binnen de JOB-monitor. Dit zijn JOB, COMBO, ResearchNed, ministerie van OCW (zij zitten de commissie voor), MBO-raad, DUO en de Inspectie. Er is een functioneel ontwerp naar alle leden van de begeleidingscommissie gestuurd ter goedkeuring.

17.

Jettie laat kort zien hoe de tool er nu uit ziet en wat de veranderingen zijn.

18.

Jettie geeft aan dat er per instelling een instellingsdashboard komt met de positieve percentages van de clusterscores ten opzichte van het landelijk gemiddelde. Dit is ter vervanging van de oude instellingspagina’s die de Inspectie gebruikte en die KIWI destijds heeft gemaakt. Deze worden dus nu vervangen door de instellingsdashboards. Hierbij wordt duidelijk gemaakt dat deze instellingsdashboards van JOB komen en niet van de Inspectie.

5

Vragen van JOB aan Gebruikersplatform: 19.

Naar aanleiding van de vraag van Hedy Beumkes (Albeda College) wordt besproken of er een andere manier van uitsplitsing in de (voorlopige) instellingsrapportages mogelijk is. ResearchNed heeft eerder al aangegeven dat het niet mogelijk is om de rapportages uit te draaien op labelniveau omdat elke instelling verschillende labels aanlevert. In sommige gevallen (bijvoorbeeld als er wordt gevraagd om uitsplitsing naar crebo) zou het dan gaan om honderden afzonderlijke rapportages, waardoor een rapportage te groot wordt. Daarom is in samenspraak met het gebruikersplatform in 2012 besloten om de instellingsrapportages uit te splitsen per vraag waarbinnen de resultaten van de labels getoond worden.

20.

Hedy Beumkes (Albeda College) geeft aan dat zij veel werk moet verzetten om de resultaten uit te splitsen per label. Sommigen in het gebruikersplatform beamen dat het verwerken van de resultaten naar wens van de instelling inderdaad veel werk is. Anderen geven aan hulp te krijgen van experts op het gebied van Excel of SPSS. Weer anderen geven aan zelf met de materie overweg te kunnen. Een suggestie van Anne-Marie Gootjes (Media College) is om een stagiair Onderwijskunde (of andere sociale wetenschap) in te huren die de data kan bewerken. JOB en ResearchNed geven aan dat de folder van ResearchNed meer informatie biedt om de data op verschillende manieren te (leren) analyseren.

21.

Op de vraag hoe de leden van het gebruikersplatform denken over het verspreiden van de inlogcodes om in te kunnen loggen op de tool, wordt geantwoord dat zij het liefst als gebruikersnaam de naam van hun eigen instelling willen. Hierbij wordt een wachtwoord aangemaakt door JOB. Ook studenten krijgen van JOB een inlogcode om hun instelling te kunnen vergelijken met andere instellingen. Per instelling wordt er dus één keer een inlogcode aangemaakt voor medewerkers, en één keer voor studenten. Deze inlogcodes kunnen gebruikt worden door meerdere personen tegelijkertijd.

22.

Marianne Maasland (Regio College) vraagt of er een verschil zit tussen wat medewerkers achter de inlog kunnen zien en wat studenten kunnen zien. Jettie geeft aan dat er geen verschil tussen zit, maar dat JOB zowel onder de beleidsmedewerkers als onder de studentenraden de inlogcodes zal verspreiden. Om deze groepen te onderscheiden wordt er een onderscheid gemaakt in inlogcodes. Op de vraag of er dan ook kan worden gecontroleerd of studenten inloggen of niet, moet Jettie het antwoord schuldig blijven. Zij zoekt dit na. Actiepunt 2

23.

De wens van het gebruikersplatform is dat de evaluatie zo kort mogelijk na de afronding van het JOB-monitor project plaatsvindt. Dus het liefst voor de zomervakantie, als de ervaringen nog vers zijn. Clara Verblauw (Horizon College) merkt op dat hierbij de tool dan nog niet geëvalueerd kan worden. Daarom wordt afgesproken dat ResearchNed in juni al het evaluatieformulier online zet, zodat dit desgewenst direct na afronding van het project in kan vullen. Een week na de zomervakantie zal de fysieke evaluatie plaatsvinden, zodat ook het gebruik van de tool geëvalueerd kan worden. Voorlopige datum voor de evaluatie is dinsdag 9 september 2014.

24.

Wat betreft de evaluatie wordt afgesproken dat in elk geval het gebruikersplatform bijeenkomt. De mening van de contactpersonen van andere instellingen wordt meegenomen via het evaluatieformulier. Mochten andere instellingen echter ook fysiek bij de evaluatie willen zijn, dan is dat mogelijk.

25.

Wat betreft een instructiemiddag door OiG over de nieuwe tool: zie nr. 2 actiepunt 4.

26.

Wat betreft de cursus SPSS door ResearchNed: zie nr. 2 actiepunt 5. Contactpersoon voor de cursus van ResearchNed is Steffie Hampsink. Tel: 024-3594475. E-mail: [email protected]

27.

Er zijn geen verdere vragen en Jettie sluit de bijeenkomst af.

6

Actiepunten: Actiepunt 1

Jettie zal duidelijkheid verschaffen voor instellingen over de levering van de data aan de inspectie.

Actiepunt 2

Jettie gaat na of het mogelijk is om te zien of studenten inloggen in de nieuwe tool of niet.

7