JOB MONITOR 2012 OPERATIONEEL PLAN In dit operationeel plan vindt u aanvullende informatie over de verschillende onderdelen van de onderzoeksopzet: de middelen die worden ingezet om de doelstellingen van de JOB-monitor te realiseren. We lichten de afname van de enquête toe, geven een aantal tips om de respons als school te stimuleren, geven uitleg over de manier waarop labels en eigen vragen via de portal kunnen worden aangeleverd en gaan in op de analyse en ontsluiting van de onderzoeksresultaten.
Inhoudsopgave Inhoudsopgave 1. Afname enquête a. Digitale afname met het PGN b. Waarborgen privacy c. Methodes om de respons te stimuleren d. Responsoverzichten e. Vragenlijst f. Toevoegen en aanleveren eigen vragen
p.3 p.3 p.4 p.5 p.5 p.5
2. Analyse en ontsluiting onderzoeksresultaten a. Aanleveren labels b. Datacleaning c. Weging d. Digitale ontsluiting e. Instellingsresultaten f. Landelijke onderzoeksresultaten g. Gebruik data door derden
p.6 p.6 p.7 p.7 p.7 p.8 p.8
3. Communicatie, kosten en planning a. Portal b. Informatiebijeenkomst c. Gebruikersplatform d. Kosten e. Planning f. Contact
p.8 p.8 p.9 p.9 p.9 p.10
2
1. Afname Afname van de enquête a. Digitale afname met het PGN De enquête voor de JOB-monitor wordt digitaal afgenomen, zodat studenten de vragenlijst onafhankelijk van tijd en plaats kunnen invullen, dus ook thuis of op hun stageplaats, zolang er maar een computer met internetverbinding is. Een bijkomend voordeel van digitale afname is dat studenten het invullen van de vragenlijst tussentijds kunnen afbreken en op een later moment weer hervatten. Als de enquête volledig is ingevuld, wordt daarvan op het scherm melding gemaakt. Die melding verschijnt ook op het moment dat een student een tweede keer probeert in te loggen, terwijl hij / zij de enquête al volledig heeft ingevuld. Daarmee kan een student dus aantonen de enquête al te hebben ingevuld. Studenten loggen in met hun persoonsgebonden nummer (PGN), zodat er een koppeling kan worden gelegd met de achtergrondkenmerken in BRON. Daardoor hoeven vragen over bijvoorbeeld de vooropleiding, het leerjaar en de leerweg niet meer aan de student te worden gesteld, maar is terugkoppeling op al die verschillende niveaus in BRON wel mogelijk. Op welke niveaus u de resultaten uitgesplitst wilt krijgen, kunt u aangeven door het aanleveren van labels. Het inloggen met het PGN betekent wel dat bijvoorbeeld illegale studenten zonder PGN de enquête niet kunnen invullen. b. Waarborgen privacy De privacy van de respondent is bij het inloggen met het PGN als volgt gewaarborgd. Het inloggen op de speciaal voor de JOB-monitor ingerichte en ontworpen website (www.jobmonitor2012.nl) gebeurt onzichtbaar op de server van de Dienst Uitvoering Onderwijs (DUO). Het PGN wordt daar gekoppeld aan een onderzoeksnummer van ResearchNed. Met dat onderzoeksnummer wordt de respondent toegelaten om de enquête in te vullen op de servers van ResearchNed. ResearchNed en JOB kunnen dit anonieme onderzoeksnummer niet herleiden en hebben daardoor op geen enkele wijze toegang tot het PGN en de persoonsgegevens van de respondent en DUO heeft aan de andere kant geen toegang tot de door de student gegeven antwoorden. ‘
’
Daarnaast dienen zowel ResearchNed als DUO de bepalingen uit de Wet Bescherming Persoonsgegevens (WBP) na te leven en is ResearchNed gebonden aan de Gedragscode voor verwerking van persoonsgegevens bij onderzoek en statistiek van de VBO. DUO is naast de WBP gebonden aan het eigen beleid en aan de wetten waarvan de uitvoering aan haar is opgedragen. Kortom, de privacy van de respondent is bij het inloggen met het PGN volledig gewaarborgd. Het is van belang dat zowel studenten als (onderwijzend) personeel, dat aanwezig is bij het klassikaal/groepsgewijs afnemen van de enquête, daarvan op de hoogte zijn. JOB zal daar daarom op de inlogsite en in het promotiemateriaal duidelijk aandacht aan besteden. Wij vragen u om ook vanuit de instelling het (onderwijzend) personeel te informeren over de manier waarop de privacy van de respondenten in het onderzoek gewaarborgd is. Dat kan bijvoorbeeld door middel van de instructiebrief die JOB en ResearchNed daarvoor zullen schrijven en die te vinden zal zijn op de portal. In die brief staat ook dat u bij problemen met het inloggen/invullen van de enquête contact kunt opnemen met JOB. 3
c. Methodes om de respons te stimuleren Om betrouwbare uitspraken te kunnen doen over de tevredenheid van studenten over het onderwijs op uw onderwijsinstelling en alle gewenste, lagere niveaus binnen de onderwijsinstelling, zoals opleiding of team, is voldoende respons noodzakelijk. JOB zet zich in om de respons op het onderzoek te stimuleren, maar daarvoor is ook de inzet van de onderwijsinstelling vereist. •
Stimuleren respons door JOB
JOB stimuleert de, met name individuele, deelname van studenten aan het onderzoek op de volgende manieren: - Promotiemateriaal Promotiemateriaal dat voor de campagne wordt ontwikkeld, wordt na de zomervakantie aan de deelnemende onderwijsinstellingen verstuurd, zodat u het voor het begin van de enquêteperiode onder de studenten kunt verspreiden. Het promotiemateriaal krijgt een uniform karakter en biedt informatie over de landelijke opzet van het onderzoek, maar gaat niet in op de manier waarop de enquête op de individuele onderwijsinstelling wordt georganiseerd. - Beloningen Onder de respondenten worden door JOB beloningen verloot. - Mailing aan studenten ResearchNed kan op uw verzoek ook een mailing verzorgen aan alle studenten van uw onderwijsinstelling om het onderzoek onder hun aandacht te brengen en ze te stimuleren aan het onderzoek deel te nemen. Het enige wat u daarvoor hoeft te doen is een bestand met mailadressen aan ResearchNed versturen. Op de portal vindt u na de zomer een standaardtekst die ResearchNed vervolgens aan uw studenten mailt, maar u kunt natuurlijk ook uw eigen mailtekst aanleveren. Dit brengt geen kosten met zich mee. •
Stimuleren respons door de onderwijsinstelling
Naast dat JOB de respons op het onderzoek op verschillende manieren stimuleert, wordt ook van de deelnemende onderwijsinstellingen verwacht dat ze de respons op het onderzoek stimuleren. Tijdens het vorige onderzoek is een aantal onderwijsinstellingen daar heel actief mee bezig geweest en met resultaat. Vooral de organisatie van klassikale /groepsgewijze afname van de enquête door de school bleek bij het vorige onderzoek een positief effect op de respons te hebben. Naast de organisatie van de afname blijken ook het verspreiden van promotiemateriaal, het verloten van incentives aan teams, het verstrekken van informatie over het onderzoek aan studenten en docenten en het versturen van brieven/(herinnerings-)mails om studenten ertoe aan te sporen de enquête in te vullen een positief effect te hebben op de respons. Dat wordt ook bevestigd door de ervaringen van andere scholen die in de evaluatie van het vorige onderzoek naar voren kwamen.
4
Daarnaast bleek daaruit ook dat informatie over het onderzoek, een hyperlink naar de inlogsite en pop-ups op (het studentengedeelte van) de website van de school en het stimuleren van studenten om de enquête in te vullen door de studentenraden een positieve invloed hadden op de respons. De respons onder BBL-studenten adviseren we te stimuleren door de BPV-coördinatoren. Hopelijk dienen deze tips voor het stimuleren van de respons op het onderzoek als inspiratie voor de manier waarop uw school dat kan doen. d. Responsoverzichten Hoe de respons verloopt kunt u volgen door middel van de responsoverzichten op de portal die wekelijks worden bijgewerkt. De totale respons van alle deelnemende onderwijsinstellingen afzonderlijk is zichtbaar op het openbare gedeelte van de website. De responspercentages uitgesplitst naar de door u aangeleverde labels is zichtbaar op een besloten deel van de website waarvoor u, zodra we uw aanmelding en contactgegevens hebben ontvangen, een wachtwoord krijgt toegestuurd. e. Vragenlijst De vragenlijst voor de JOB-monitor 2012 hebben we, omwille van de continuïteit en de vergelijkbaarheid, niet drastisch willen wijzigen. Toch zijn er een aantal aanpassingen gedaan. Die aanpassingen komen voort uit de evaluatie van het vorige onderzoek, maar zijn ook het resultaat van een gesprek over de vragenlijst met de Onderwijsinspectie. We hebben er zo voor gezorgd dat alle onderdelen van deelnemerstevredenheid waarover verantwoording moet worden afgelegd in de vragenlijst zijn opgenomen. Met de onderzoeksresultaten kan dus, mits voldoende respons is behaald, aan de Onderwijsinspectie verantwoording worden afgelegd over deelnemerstevredenheid. Eind september 2011 wordt de vragenlijst nog onder studenten van verschillende opleidingen, leerjaren en niveaus getest om na te gaan of de vragen duidelijk worden gesteld en eenduidig worden opgevat. Er verandert dus hooguit nog iets aan de formulering van de vragen, maar de inhoud ervan ligt vast. Het invullen van de vragenlijst duurt ongeveer 10 à 15 minuten. Een voorbeeld van de vragenlijst (met een toelichting op de wijzigingen) vindt u binnenkort op de portal van het onderzoek. f. Toevoegen en aanleveren eigen vragen Een ander voordeel van digitale afname van de enquête is dat het voor de onderwijsinstelling mogelijk is de vragenlijst aan te vullen met eigen vragen. Vragen waarover u als onderwijsinstelling graag iets van uw studenten zou willen weten. Vragen over bijvoorbeeld de identiteit van de school of vragen die de studentenraad hun medestudenten zouden willen stellen. Er kunnen maximaal tien eigen vragen aan het eind van de vragenlijst worden toegevoegd, mits deze geformuleerd zijn in de stijl van de JOB-monitor (5-puntsschaal). De kosten voor onder meer het programmeren en analyseren van die vragen bedragen €700,voor de eerste en €100,- voor eventuele vervolgvragen. Realiseert u zich bij het toevoegen van eigen vragen aan de vragenlijst wel dat iedere extra vraag die aan de vragenlijst wordt toegevoegd een verlies aan concentratie bij het invullen ervan betekent en de kans dat studenten voortijdig stoppen vergroot. Eigen vragen kunnen via een mailprogramma op de portal worden aangeleverd.
5
2. Analyse en ontsluiting onderzoeksresultaten a. Aanleveren labels JOB vindt het belangrijk dat de resultaten van de JOB-monitor worden gebruikt om het onderwijs binnen de instelling te verbeteren. Daarvoor is het van belang dat de resultaten worden ontsloten op niveaus die bruikbaar zijn voor de onderwijsinstelling. De school kan daarom in de vorm van labels maximaal 3 niveaus aangeven waarop zij de resultaten uitgesplitst wil zien, zoals bijvoorbeeld het niveau van afdelingen of teams. Het is aan de instelling om te bepalen wat een interessant analyseniveau is. Het is daarbij goed om in het achterhoofd te houden dat om de resultaten uit te splitsen op een laag analyseniveau wel voldoende respons gerealiseerd moet worden om betrouwbare uitspraken te kunnen doen. De hoogte van de benodigde respons hangt af van de grootte van de groep waarover gerapporteerd moet worden. Hiervoor bestaat een vaste formule. ResearchNed kan desgewenst voor u voorrekenen welke respons in uw geval moet worden nagestreefd. De aangeleverde labels worden gebruikt: • om de respons in de responsoverzichten naar uit te splitsen gedurende het veldwerk; • als analyseniveau voor de vaste instellingsrapportage die na de dataverzameling in een PDF-bestand aan u verstrekt wordt; • als uitsplitsingsvariabele in de interactieve tabellengenerator op internet (alleen zichtbaar voor de instelling zelf). Het is uiteraard ook mogelijk om hiervoor geen eigen labels aan te leveren maar te kiezen uit de variabelen die standaard in het BRON-bestand (waaraan de enquêteresultaten gekoppeld zullen worden) aanwezig zijn. Een combinatie van eigen labels en BRON-labels is eveneens mogelijk. Zowel de responsoverzichten als de vaste instellingsrapportages worden telkens uitsluitend uitgesplitst naar de drie niveaus van uw keuze. Daarnaast is het uiteraard mogelijk om in de interactieve tabellengenerator op internet alle mogelijke uitsplitsingen (op voorwaarde van voldoende respons) te maken. De eigen instellingslabels moeten op individueel studentniveau (op basis van het persoonsgebonden nummer / onderwijsnummer) worden aangeleverd door de instelling. Hiervoor is op de portal een aanleverfaciliteit ingericht. Indien een instelling de labels onverhoopt niet op persoonsniveau kan aanleveren, zullen de labels als extra vraag aan de enquête worden toegevoegd. Hoe de labels aangeleverd kunnen worden staat precies beschreven op de portal, onder het tabblad ‘Achtergrond’. b. Datacleaning Ondanks de mogelijkheden die de software waarmee de enquête wordt geprogrammeerd biedt voor uitsluiting van specifieke antwoordcombinaties, is een datacleaning noodzakelijk. Hierin worden alle niet-geldige enquêtes uitgesloten, bijvoorbeeld de respondenten die niet tot de doelgroep behoren, enquêtes die slechts voor een te klein deel zijn ingevuld of enquêtes waarvan de invultijd te kort is geweest om ze als serieus te beschouwen. 6
c. Weging De verdeling van de respons wordt vergeleken met de populatie op basis van een aantal essentiële kenmerken (opleidingsrichting, leerweg, geslacht en landelijk ook instelling). Om ervoor te zorgen dat de resultaten representatief zijn voor de hele populatie binnen een instelling, is het namelijk van belang dat de verdeling binnen de responsgroep lijkt op die van de populatie. Doen we dat niet, dan zegt het resultaat niet zozeer iets over de instelling maar over de opleidingen die meer of minder toevallig zijn geselecteerd voor het onderzoek. Ter voorbeeld: vrouwelijke studenten zijn doorgaans meer geneigd een vragenlijst in te vullen en oordelen doorgaans positiever over hun opleiding. Wanneer we het algemene oordeel over een instelling waar een gelijk aantal vrouwen en mannen studeren nu baseren op de oordelen van een ongewogen responsgroep die voor 70% uit vrouwen bestaat, creëren we ten onrechte een te positief beeld. De weegfactor is bepaald door de proportie van een subgroep in de totale populatie te delen door de proportie van dezelfde subgroep in de totale responsgroep. Bijvoorbeeld: als een groep studenten 15% van de populatie vertegenwoordigt en 10% van de responsgroep, dan is de weegfactor: 15 gedeeld door 10 is 1,5. De weegfactor van deze subgroep wordt dan bepaald op 1,5 wat wil zeggen dat de groep anderhalf keer meeweegt in de resultaten. Door het toepassen van datacleaning en weging zijn de onderzoeksresultaten van de JOB-monitor betrouwbaar en representatief. d. Digitale ontsluiting De landelijke onderzoeksresultaten en de instellingsresultaten van de JOB-monitor 2012 zullen, tot op het niveau van de opleidingsrichtingen, openbaar worden gemaakt via de interactieve online ontsluitingstool. Met de online ontsluitingstool is het mogelijk interactief tabellen samen te stellen in plaats van alleen statische overzichten weer te geven. Op dit moment wordt de online ontsluitingstool op basis van de punten in de evaluatie van het vorige onderzoek heringericht en gebruiksvriendelijker gemaakt. Daarna zullen we de online ontsluitingstool uitgebreid laten testen door (kwaliteitszorg)medewerkers en contactpersonen van scholen en studenten. Ook de onderzoeksresultaten en trenddata van voorgaande metingen worden, na deze testfase, via de vernieuwde ontsluitingstool beschikbaar gesteld. e. Instellingsresultaten Bij de JOB-monitor 2012 is het mogelijk na het afronden van de dataverzameling binnen een instellingen in de vorm van een PDF-bestand een instellingsrapportage met de eigen instellingsresultaten te ontvangen. Dat kan al vanaf half april, mits de respons op dat moment voldoende is om voor de betreffende onderwijsinstelling de enquêteperiode af te sluiten. Of de respons al dan niet voldoende is, hangt af van de vulling op het laagste analyseniveau. Als instellingen hebben aangeven de resultaten op creboniveau te willen ontvangen, bekijken we of op dat niveau voldoende (opgeschoonde) respons is om representatieve uitspraken te doen. Dit alles zal in nauw overleg met de instelling plaatsvinden. Op 15 juni 2012 wanneer de landelijke gegevens bekend worden gemaakt, ontvangen 7
deelnemende instellingen opnieuw een PDF-bestand met de instellingsrapportage waarin, ter vergelijking, ook de landelijke onderzoeksresultaten zijn opgenomen. f. Landelijke onderzoeksresultaten Over de resultaten op hoofdlijnen zal een landelijk rapport geschreven worden, toegankelijk voor een breed publiek. Dit rapport zal op 15 juni 2012 gepresenteerd worden en vanaf dat moment ook openbaar zijn. Van dit rapport wordt eveneens een pdf-versie vervaardigd. Alle landelijke tabellen, uitgesplitst naar alle achtergrondkenmerken worden net als bij het vorige onderzoek beschikbaar gesteld via de online-tabellen-generator. g. Gebruik data door derden derden Mits de onderzoeksresultaten van de JOB-monitor betrouwbaar en integer worden verwerkt, stelt JOB ze voor onderzoek en publicatie ter beschikking aan derden. Partijen tekenen daarvoor een gebruikersovereenkomst, waarin onder andere is vastgelegd dat de data niet op een lager niveau dan instelling x opleidingsrichting mogen worden gepubliceerd. Dit is ook het aggregatieniveau waarop de resultaten openbaar beschikbaar zijn via de online ontsluitingstool. De data en resultaten blijven te allen tijde eigendom van JOB.
3. Communicatie, kosten en planning Gedurende de looptijd van het onderzoek, gestart bij de voorbereiding dit voorjaar, wordt u op verschillende manieren geïnformeerd over de stand van zaken m.b.t. (de opzet van) het onderzoek. a. Portal De portal www.job-monitor2012.nl/portal is het centrale informatiepunt gedurende het onderzoek. Hier vindt u dit operationeel plan, achtergrondinformatie bij het onderzoek, antwoorden op veelgestelde vragen en een vragenformulier. Dit vragenformulier kunt u gebruiken wanneer u uw vraag niet terug kunt vinden in de lijst met veelgestelde vragen. Het vragenformulier wordt na verzenden automatisch doorgestuurd naar JOB. JOB beantwoordt de inhoudelijke vragen over het onderzoek en stuurt de onderzoekstechnische vragen door aan ResearchNed. Ook kunt u via de portal uw labels en eigen vragen aanleveren en gedurende de enquêteperiode de responsoverzichten van uw onderwijsinstelling wekelijks inzien. Hiervoor is een deel van de portal afgeschermd en alleen toegankelijk voor u met een eigen inlogcode. Deze code ontvangt u zodra u zich voor deelname aan het onderzoek heeft aangemeld. b. Informatiebijeenkomst Informatiebijeenkomst Op donderdag 22 september aanstaande vindt een informatiebijeenkomst plaats. Contactpersonen van scholen die zich aanmelden voor deelname aan het onderzoek 8
krijgen tijdens deze bijeenkomst een toelichting op de onderzoeksopzet. Er wordt uitgelegd hoe eigen vragen en labels kunnen worden aangeleverd en tijdens de informele borrel worden ‘good practices’ met betrekking tot het organiseren van de afname van de enquête en het stimuleren van de respons gedeeld. c. Gebruikersplatform Om gedurende het onderzoeksproces rechtstreeks met de instellingen in contact te blijven wordt een gebruikersplatform ingesteld. Het gebruikersplatform bestaat uit maximaal 15 contactpersonen die gedurende het onderzoek vier keer onder voorzitterschap van JOB in Utrecht bij elkaar komen. De leden van het platform dienen elkaar en de overige contactpersonen van intercollegiaal advies over de manier waarop de respons het beste kan worden gestimuleerd. Ook fungeert het platform als doorgeefluik voor (antwoorden op) vragen en signalen uit het veld. Iedere contactpersoon kan zich voor het gebruikersplatform aanmelden door een mail te sturen naar Leila Odeh van JOB (
[email protected]). Omdat de leden in type instelling, grootte en geografische ligging een afspiegeling dienen te zijn van alle deelnemende onderwijsinstellingen, vindt op basis daarvan de selectie plaats. d. Kosten De deelname aan de JOB-monitor 2012 is geheel kosteloos. Dit geldt uiteraard niet voor het toevoegen van eigen vragen. e. Planning Planning De volgende data zijn van belang om te onthouden. 2011 1 september
Sluiting aanmelding deelnemende instellingen aan JOB-monitor 2012
22 september
Informatiebijeenkomst voor contactpersonen JOB-monitor 2012
11 oktober
Voortgangsoverleg gebruikersplatform
16 november
Sluiting aanlevering labels en eventuele extra vragen
2012 5 december 2011 t/m Enquêteperiode 30 maart 2012 10 januari
Voortgangsoverleg gebruikersplatform
vanaf 16 april
Mogelijkheid om bij voldoende respons eigen resultaten te ontvangen in een instellingsrapportage (pdf-bestand)
24 april
Voortgangsoverleg gebruikersplatform
9
1 juni
Instellingsresultaten achter een inlogcode interactief beschikbaar via de online ontsluitingstool
15 juni
Presentatie landelijke gegevens
15 juni
Oplevering instellingsrapportage inclusief landelijke resultaten (als pdf-bestand en in de online ontsluitingstool)
begin juli
Eindevaluatie gebruikersplatform
f. Contact Blijven er na het lezen van dit operationeel plan en het raadplegen van de portal nog vragen onbeantwoord? Neem dan gerust contact op met Leila Odeh van JOB. Zij is van maandag tot en met woensdag telefonisch (020 5244050) of per mail (
[email protected]) bereikbaar.
10
