Operationeel Plan voor Scholen LAKS-monitor 2016
Voorwoord In dit operationeel plan vindt u aanvullende informatie over de verschillende onderdelen van de LAKS-monitor 2016. We bespreken de middelen die worden ingezet om de doelstellingen van de LAKS-monitor 2016 te realiseren. Deze doelstellingen zijn: 1. Een helder en betrouwbaar beeld geven van de leerlingentevredenheid, zowel binnen de onderwijsinstelling als op landelijk niveau. 2. De onderzoeksresultaten op dusdanige wijze ontsluiten dat leerlingen(raden) en scholen er direct mee aan de slag kunnen om (samen) de onderwijskwaliteit te verbeteren. In dit operationeel plan lichten we eerst de procedure van het afnemen van de enquête toe. We geven tips om de respons te stimuleren en we geven uitleg over de manier waarop eigen vragen aan de LAKS-monitor 2016 kunnen worden toegevoegd. Ook wordt toegelicht hoe u, door mee te doen aan de LAKS-monitor, ook mee kan doen aan Scholen op de Kaart (voorheen Vensters voor Verantwoording). Vervolgens gaan we in op de analyse en ontsluiting van de onderzoeksresultaten. Dit operationeel plan is van toepassing voor de scholen die direct via het LAKS meedoen aan de LAKS-monitor. Voor scholen die meedoen via Kwaliteitscholen wijkt de situatie op onderdelen af van de beschrijving in dit operationeel plan. Dit geldt voor de aanmelding en de resultatenterugkoppeling.
2
Inhoudsopgave 1. Aanmelden a. Stap 1: Aanmelden via het aanmeldformulier b. Stap 2: Klassen aanmelden en extra opties via het aanmeldportaal
p.4 p.4 p.4
2. Afnameperiode en vragenlijst
p.5
3. Methodes om de respons te verhogen a. Stimuleren respons door LAKS b. Stimuleren respons door onderwijsinstelling c. Responsoverzichten
p.6 p.6 p.6
4. Analyse en terugkoppeling onderzoeksresultaten a. Data cleaning b. Weging c. Digitale ontsluiting d. Landelijke onderzoeksresultaten e. Instellingsresultaten f. Andere mogelijkheden
p.6 p.6 p.7 p.7 p.8 p.8 p.8
5. Communicatie
p.8
6. Kosten en Planning a. Kosten b. Planning
p.9 p.9 p.9
3
Aanmelden Stap 1: Aanmelden school via het aanmeldformulier Vanaf 20 mei kunt u uw school aanmelden voor deelname aan de LAKS-monitor 2016. Hiervoor is op de website www.laks-monitor.nl een aanmeldformulier ingericht. Aanmelden voor deelname aan de monitor geschiedt op vestigingsniveau. Hiervoor heeft u het brinvestigingsnummer nodig waarmee uw vestiging bij DUO bekend is. Als u niet weet wat de brinvestigingscode (bijv. 00AA01) van uw schoollocatie is, dan kunt u de code opzoeken via www.cfi.nl. Als uw aanmelding bij het LAKS is binnengekomen ontvangt u van ons een bevestiging per mail. U kunt later ook uw aanmelding terugvinden in de aanmeldingslijst op de portal: http://portal.laks-monitor.nl/. Aanmelden voor deelname aan de monitor is mogelijk tot 27 november 2015. Stap 2: Klassen aanmelden en extra opties via het aanmeldportaal Klassen aanmelden: Als u zich heeft aangemeld voor deelname aan de LAKS-monitor 2016, kunt u tot 18 december 2015 terecht op het aanmeldportaal om de deelnemende klassen aan te melden. U beslist zelf hoeveel klassen u deel laat nemen aan de LAKS-monitor en uit welk leerjaar/niveau deze klassen komen. Zo heeft elke school de vrijheid om zelf accenten te leggen. Wanneer u geïnteresseerd bent in de tevredenheid van de leerlingen van uw gehele school, is het belangrijk dat zo veel mogelijk klassen van alle leerjaren en niveaus meedoen. U ontvangt per aangemelde klas een inlogcode. Met deze inlogcode kan tijdens de afnameperiode van de LAKS-monitor (van 18 januari 2016 t/m 18 maart 2016) de gehele klas inloggen. Scholen op de Kaart: Dit jaar is LAKS de samenwerking aangegaan met de VO-raad. Dit heeft er voor gezorgd dat de vragen die opgesteld zijn voor Scholen op de Kaart om de tevredenheid van leerlingen te meten (voorheen Vensters voor Verantwoording), opgenomen zijn in de LAKS-monitor. Daarbij zijn er ook vragen opgenomen over de sociale veiligheid, ook deze zijn opgesteld in samenwerking met de VO raad. Het LAKS zorgt ervoor dat de antwoorden op de vragen voor Scholen op de Kaart worden doorgestuurd naar de VO-raad. LET OP! U dient later wel zelf nog de data te publiceren in het beheervenster van VvV/Scholen op de Kaart. Toevoegen van eigen vragen: Ook kunt u via het aanmeldportaal, indien u dit wenst, vijf eigen vragen invullen om toe te voegen aan het eind van de algemene LAKS-monitor vragenlijst. Dit is een optie als u als onderwijsinstelling graag iets van uw leerlingen zou willen weten over zaken die specifiek uw instelling of leerlingen betreft. Als u voor deze optie kiest, ontvangt u naast de instellingsrapportage ook een extra rapportage met daarin uw extra vragen en de resultaten. De vragen moeten echter wel aansluiten op onderstaande antwoordcategorieën:
4
heel ontevreden heel weinig heel veel moeite heel makkelijk zeer eens helemaal niet nooit
heel tevreden heel veel helemaal geen moeite heel moeilijk zeer oneens zeer zeker altijd
U betaalt voor het toevoegen van de eerste vraag € 350,- en voor iedere vervolgvraag € 50,Afnameperiode LAKS-monitor en vragenlijst De LAKS-monitor kan afgenomen worden tussen 18 januari en 18 maart 2016. In totaal heeft u dus 8 weken om alle klassen die u heeft opgegeven de monitor in te laten vullen. Scholen kunnen de afname binnen deze periode dus zelf inplannen. De vragenlijst van de LAKS-monitor beslaat 13 thema’s en het aantal daadwerkelijke vragen is afhankelijk van de routing. De vragenlijst is in nauw overleg met scholen, de vo-raad en uiteraard leerlingen tot stand gekomen. De vragenlijst voor 2016 kunt u terugvinden op http://portal.laks-monitor.nl. Om er zeker van te zijn dat de vragenlijst voor iedereen te begrijpen is, is de vragenlijst getest met een aantal VMBO –BBL leerlingen. Voor de start van de afname van het onderzoek ontvangt u van het LAKS digitaal een docentenhandleiding die u kunt verspreiden onder alle docenten die de afname van de enquête per klas begeleiden. Deze docentenhandleiding wordt ook op http://portal.laksmonitor.nl/ geplaatst, zodat de handleiding te allen tijde online te raadplegen is. De LAKS-monitor 2016 kan alleen digitaal worden afgenomen. Leerlingen kunnen de enquête dus op een computer, telefoon of tablet invullen. LAKS raadt het echter aan om de afname klassikaal te organiseren. Klassikale afname verhoogt de respons en biedt docenten de mogelijkheid om vragen van leerlingen te beantwoorden. Bovendien kan zo in één keer de inlogcode verspreid worden onder leerlingen. Digitale afname maakt het mogelijk om de enquête zo te programmeren dat leerlingen alleen vragen hoeven te beantwoorden die voor hen relevant zijn. Een leerling die in het begin van de vragenlijst invult dat hij of zij op het vmbo zit, zal bijvoorbeeld geen vragen over profielkeuze krijgen. Een leerling die pas in de eerste klas zit, krijgt geen vragen over voorbereiding op het examen voorgelegd etc. Hierdoor is de vragenlijst korter dan deze op het eerste gezicht misschien lijkt. Het invullen van de vragenlijst kost leerlingen twintig tot dertig minuten. Elke klas logt in met de eigen inlogcode (per klas verkregen) op de vragenlijst. Zorg dat de inlogcodes voor de enquête van de klassen die u heeft aangemeld samen met de docentenhandleiding tijdig worden verspreid onder de docenten die het klassikaal invullen van de LAKS-monitor 2016 begeleiden! Wij raden scholen aan (vanuit praktische overwegingen) om voor de afname 1 lesuur in te roosteren in een computerlokaal en een opdracht gereed te hebben voor de leerlingen die klaar zijn met het invullen van de enquête. 5
Methodes om de respons te verhogen Om betrouwbare uitspraken te kunnen doen over de tevredenheid van leerlingen over het onderwijs op uw school, is voldoende respons noodzakelijk. Het LAKS zet zich in om de respons op het onderzoek te stimuleren, maar daarvoor is ook de inzet van uw school vereist. Stimuleren respons door LAKS Het LAKS stimuleert de deelname van scholieren aan het onderzoek door te kiezen voor een klassikale afname. Daarnaast ontwikkelt LAKS promotiemateriaal om de bekendheid van de LAKS-monitor op school te vergroten. Begin 2016 wordt er een gratis promotiepakket verstuurd aan scholen met daarin posters, infoflyers, gadgets etc om de LAKS-monitor onder de aandacht te brengen bij leerlingen. Zo is er ruim de tijd om voor de enquêteperiode het promotiemateriaal in de school en onder de docenten en leerlingen te verspreiden. Tevens zal er een promotiefilmpje door LAKS gemaakt worden dat kan worden gebruikt op de beeldschermen die in de school hangen. Daarnaast is LAKS vanaf half oktober bezig met de naamsbekendheid van de LAKS-monitor te vergoten via social media en de leerlingenraden. Stimuleren respons door de onderwijsinstelling Naast dat het LAKS de respons op het onderzoek op verschillende manieren stimuleert, wordt ook van de deelnemende scholen verwacht dat ze de respons op het onderzoek stimuleren. Uit de vorige edities van de LAKS-monitor bleek dat medewerking van de school bij de organisatie van klassikale afname, het verspreiden van promotiemateriaal en het verstrekken van informatie over het onderzoek aan scholieren én docenten een positief effect heeft op de respons. Zo kunnen we samen de LAKS-monitor 2016 tot een succes maken! Responsoverzichten Hoe de respons verloopt kunt u tijdens de afnameperiode volgen door middel van de responsoverzichten op de online portal. Deze worden wekelijks bijgewerkt. Per deelnemende school wordt de brutorespons afzonderlijk gepresenteerd. Het aantal ingevulde enquêtes vóór de datacleaning wordt afgezet tegen het aantal aangemelde leerlingen. Met behulp van de rekentool op het aanmeldportaal kunt u zien of dat u het benodigd aantal leerlingen heeft om tot representatieve resultaten te komen voor de klassen die u heeft aangemeld. Analyse en terugkoppeling onderzoeksresultaten Datacleaning Zodra de afnameperiode is afgelopen gaat het onderzoeksbureau ResearchNed aan de slag met de resultaten. De eerste stap bestaat uit datacleaning. Ondanks de mogelijkheden die de software waarmee de enquête wordt geprogrammeerd biedt voor uitsluiting van specifieke antwoordcombinaties, is een datacleaning noodzakelijk. Er worden drie checks gedaan. 6
Allereerst wordt gekeken of de hoofdvragenlijst van de LAKS-monitor volledig is ingevuld. Wanneer leerlingen de vragen van Scholen op de Kaart of de schoolspecifieke vragen niet hebben ingevuld, worden ze wel meegenomen in de analyse. Ten tweede worden enquêtes waarvan de invultijd te kort is geweest om ze als serieus te kunnen beschouwen, niet meegenomen in de analyse. Als laatste wordt gekeken naar het antwoordpatroon. Van leerlingen die op het merendeel van de vragen hetzelfde antwoord geven (telkens score 1, 2, 3, 4 of 5), wordt de vragenlijst niet meegenomen. Weging De verdeling van de respons wordt vergeleken met de populatie op basis van een aantal essentiële kenmerken (leerjaar, schoolsoort en geslacht). Om ervoor te zorgen dat de resultaten representatief zijn voor de hele populatie, is het van belang dat de verdeling binnen de responsgroep lijkt op die van de populatie. Doen we dat niet, dan zegt het resultaat niet zozeer iets over de tevredenheid van alle leerlingen in het voortgezet onderwijs maar eerder over de klassen die zijn geselecteerd voor het onderzoek. Bijvoorbeeld: meisjes zijn doorgaans meer geneigd een vragenlijst in te vullen en oordelen doorgaans positiever over hun school. Wanneer we het algemene oordeel over een school waar een gelijk aantal meisjes en jongens lessen volgen, nu baseren op de oordelen van een ongewogen responsgroep die voor 70% uit meisjes bestaat, creëren we ten onrechte een te positief beeld. De weegfactor wordt bepaald door de proportie van een subgroep van de totale populatie te delen door de proportie van dezelfde subgroep in de totale responsgroep. Bijvoorbeeld: als een groep leerlingen 15% van de populatie vertegenwoordigt en 10% van de responsgroep, dan is de weegfactor: 15 gedeeld door 10 is 1,5. De weegfactor van deze subgroep wordt dan bepaald op 1,5. Dat wil zeggen dat de groep anderhalf keer meeweegt in de resultaten. Door het toepassen van datacleaning en weging zijn de onderzoeksresultaten van de LAKSmonitor betrouwbaar en representatief voor het gehele voortgezet onderwijs. Digitale ontsluiting De landelijke onderzoeksresultaten en de schoolresultaten van de LAKS-monitor 2016 zullen net als bij de voorgaande edities openbaar worden gemaakt via een online ontsluitingstool. LAKS heeft in 2014 een nieuwe data ontsluitingstool geïntroduceerd. Deze tool is gebruiksvriendelijk en overzichtelijk voor iedereen die met de resultaten aan de slag wil. Omdat LAKS het belangrijk vindt dat ook leerlingen(raden) aan de slag kunnen met de resultaten is de tool op zo’n manier opgezet dat het ook voor leerlingen makkelijk is om de resultaten in te zien. De onderzoeksresultaten en trenddata van de twee voorgaande metingen worden via de ontsluitingstool eveneens beschikbaar gesteld. De tool vergelijkt op vestigingsniveau en kan bekeken worden middels een inlogcode. U kunt hier ook uw school vergelijken met specifieke scholen, of scholen bij u in de regio of van dezelfde grootte. U kunt dus zelf vergelijkingsgroepen samenstellen waarmee u uw school wilt vergelijken. LET OP: dit betekent ook dat andere scholen die hebben meegedaan, ook uw resultaten kunnen bekijken. Maar alleen op vestigingsniveau (niet uitgesplitst naar jaarlaag, niveau of 7
klas) en ALLEEN via de inlogcode. Landelijke onderzoeksresultaten Er zal een landelijk rapport geschreven worden over de hoofdlijnen van de resultaten, dat toegankelijk zal zijn voor een breed publiek. Dit rapport zal eind juni gepresenteerd worden en vanaf dat moment ook openbaar zijn. De LAKS-monitor contactpersonen krijgen per post een versie toegestuurd. Daarnaast wordt het rapport in pdf-vorm online beschikbaar gesteld. Er komt ook een beknopt landelijk overzicht op de online resultaten tool te staan. Instellingsresultaten Eind mei 2016 ontvangen alle scholen hun eigen resultaten onder embargo. Naast de mogelijkheid om de resultaten van de eigen school (achter een inlogcode) te selecteren in de online tool, worden de schoolresultaten op nog drie andere manieren aangeboden. (Overigens krijgt u eerst onder embargo de resultaten van uw eigen school te zien. Pas halverwege juni zullen de resultaten in de online tool worden getoond.) Allereerst ontvangen scholen een factsheet waarin op één pagina de schoolresultaten (geen uitsplitsingen; percentage tevredenheid) zijn weergegeven. Met behulp van een kleurcodering wordt in deze factsheet direct zichtbaar gemaakt wat de sterke en zwakke punten van de school zijn. Daarnaast ontvangen alle scholen een figurenrapportage. Hierin staan alle resultaten van uw school inclusief uitsplitsingen naar niveau, leerjaar en geslacht. Nieuw dit jaar is de terugkoppeling van resultaten op klasniveau afgezet tegen het schooltotaal. De laatste terugkoppeling van resultaten bestaat uit het aanbieden van databestanden met daarin de geanonimiseerde eigen schoolresultaten op scholierniveau (zowel Excel als SPSS-format). Zodra het landelijk rapport is gepresenteerd ontvangt uw school eveneens het schooltotaal afgezet tegen het landelijk totaal (zonder uitsplitsingen). Alle bestanden zijn via een inlogcode te downloaden op de online portal van de LAKS-monitor. Andere mogelijkheden Standaard wordt de data van de LAKS-monitor op brinvestigingsniveau teruggekoppeld. Dit geldt voor de resultaten in de online ontsluitingstool, in de instellingsrapportage en in de factsheet. Het LAKS vindt het belangrijk dat de resultaten van de LAKS-monitor worden gebruikt om het onderwijs binnen de instelling te verbeteren. Daarvoor is het van belang dat de resultaten worden ontsloten op niveaus die bruikbaar zijn voor de onderwijsinstelling. Indien u de resultaten (ook) op een ander dan hiervoor genoemd niveau teruggekoppeld wilt hebben, is het verstandig tijdig contact op te nemen met het onderzoeksbureau ReseachNed om de mogelijkheden te bespreken. Communicatie Tijdens de wervingsfase van het onderzoek hebben alle scholen van Nederland een brief ontvangen van LAKS. Hierin zijn in het kort de hoofdlijnen van het onderzoek uiteengezet. De portal http://portal.laks-monitor.nl/ is het centrale informatiepunt gedurende het onderzoek. Hier vindt u onder andere dit operationeel plan, de definitieve vragenlijst, de antwoorden op veelgestelde vragen en er is de mogelijkheid om zelf uw eigen vragen te 8
stellen. U kunt op de portal ook terecht voor de docentenhandleiding, informatie over de aanmelding van klassen, het responsoverzicht en de vragenlijst in de vorm van een PDFbestand. De portal zal gedurende het project gevuld worden met bovenstaande en eventueel andere bruikbare bestanden. Houd de portal dus altijd goed in de gaten! Voor het bijhouden van de respons en het downloaden van de eigen resultaten ontvangt u een inlogcode van onderzoeksbureau ResearchNed. U kunt het LAKS van maandag t/m donderdag bereiken per telefoon of e-mail. Telefoon: 020-5244060 E-mail:
[email protected] Vragen over de inhoud van het onderzoek worden door het LAKS afgehandeld, onderzoektechnische vragen worden doorgestuurd naar het onderzoeksbureau ResearchNed. Kosten en Planning Kosten Deelname aan de LAKS-monitor 2016 is geheel gratis. LAKS en ResearchNed zorgen er voor dat de resultaten van de Scholen op de Kaart kosteloos worden doorgestuurd naar Schoolinfo. Alleen wanneer u met ResearchNed overeenkomt dat u de resultaten op een aangepaste wijze wilt ontvangen, zijn daar kosten aan verbonden. Dit geldt ook voor het aanleveren van extra schoolspecifieke vragen. Mocht u zelf vragen willen toevoegen aan de LAKS-monitor 2016, dan betaalt u, zoals eerder vermeld, voor de eerste vraag een bedrag van €350,- en voor elke vervolgvraag €50,-. U kunt maximaal vijf eigen vragen toevoegen. Planning De volgende data zijn voor u als school van belang om te onthouden (onder voorbehoud): Tot en met 27 november 2015 27 november t/m 18 december 17 december 2016 4-8 januari 2016 18 januari-18 maart 2016 23 mei 2016
Aanmelden stap 1 School aanmelden: via www.laks-monitor.nl Aanmelden stap 2 Klassen aanmelden, VvV, eigen vragen invoeren: via het aanmeldportaal Ontvangst docenthandleiding Ontvangst promotiemateriaal door scholen Afname periode Instellingsresultaten op de portal beschikbaar
13 juni 2016
Resultaten in online resultatentool beschikbaar
21 juni 2016 1 juli 2016
Presentatie landelijke resultaten Evaluatie 9
