Vragenlijst Pedagogisch Klimaat 4 - 8 jaar Group Climate Instrument for Children (GCIC) 4-8
Handleiding Juni 2015
Auteurs:
Eefje Strijbosch (Juzt) Peer van der Helm (Hogeschool Leiden, UvA)
Aan de ontwikkeling van de vragenlijst hebben meegewerkt: Jan-Willem Eikelenboom, Els Kuijpers, Eline van de Veerdonk, Lisanne Toonders (Maashorst) Bregje Beekers, Inge Wouters, Judith Beernink (Juzt) Coleta van Dam (Praktikon), Laura van Voorst (Horizon)
Validering van de vragenlijst is mogelijk gemaakt door medewerkers en kinderen van: Juzt Stichting Maashorst Combinatie Jeugdzorg Lindenhout Mutsaersstichting Entrea
1
Leeswijzer Voor u ligt de handleiding van de Vragenlijst Pedagogisch Klimaat 4-8 jaar. Internationaal hanteren we de titel Group Climate Instrument for Children (GCIC) 4-8. In deze handleiding zullen we de afkorting GCIC 4-8 gebruiken. Het inleidende hoofdstuk beschrijft wat de aanleiding was om de vragenlijst te ontwikkelen. Vervolgens worden de theoretische uitgangspunten besproken; het startpunt voor de formulering van de items van de GCIC 4-8. In het hoofdstuk daarna leest u hoe de vragenlijst tot stand is gekomen. Validiteit en betrouwbaarheid werden onderzocht; daarvan worden de resultaten weergegeven in het hoofdstuk ‘Valideringsonderzoek’. Het hoofdstuk ‘Afname en scoring’ beschrijft hoe de vragenlijst in de praktijk wordt afgenomen en verwerkt. Tot slot het hoofdstuk ‘Toepassing van de vragenlijst’, waarin aan de hand van een voorbeeld wordt verteld hoe de uikomsten van de GCIC 4-8 in de praktijk kunnen worden benut. De vragenlijst zelf, en de plaatjes behorend bij de antwoordcategorieën zijn opgenomen als bijlage.
Inleiding De behoefte aan een vragenlijst voor kinderen met betrekking tot het thema pedagogisch klimaat, kwam bij Juzt en Maashorst voort uit hun gezamenlijke project “Jij mag er zijn!”. Dit project maakt deel uit van het Brabants meerjaren onderzoeksprogramma “Samen Sterker”1 (samenwerking tussen de Brabantse organisaties voor Jeugd & Opvoedhulp, Lectoraat ‘Werkzame Factoren in de Zorg voor Jeugd’ HAN, Provincie Noord Brabant). In “Jij mag er zijn!” wordt beoogd om het rendement aan jeugdigen van 4 tot 14 jaar in 24-uurs setting in de jeugdzorg te verbeteren door via de Plan-Do-Check-Act cyclus te werken aan een open en positief pedagogisch klimaat. De beleving van het pedagogisch klimaat door de kinderen zelf, is een belangrijke graadmeter om na te gaan of beoogde veranderingen daadwerkelijk optreden; echter een geschikt instrument om dit in beeld te brengen ontbrak nog. De behoefte aan een dergelijk instrument bleek ook bij andere organisaties actueel; niet alleen ten behoeve van de zorg in 24-uurs setting, maar ook in de daghulp (MKD, naschoolse dagbehandeling). Peer van der Helm is gevraagd te begeleiden bij het ontwikkelen van de vragenlijsten, gezien zijn expertise op het gebied van leefklimaatonderzoek. Naast de huidige versie voor 4-8 jaar, is er ook een versie ontwikkeld voor jeugdigen van 8 tot 14 jaar. Meer informatie over de GCIC 8-14 is te lezen in de desbetreffende handleiding. Beide vragenlijsten zijn tot stand gekomen in samenwerking tussen praktijkprofessionals en onderzoekers.
1
‘Samen Sterker’ is tot stand gekomen met subsidie van de provincie Noord-Brabant
2
Uitgangspunten Complexe gezinsproblematiek en gedragsproblemen maken geen onderscheid in leeftijd. Jaarlijks wordt een substantieel aantal jonge kinderen behandeld en begeleid in een 24-uurs setting. Als een kind uit zijn of haar thuisomgeving wordt gehaald, mag dit nooit langer zijn dan nodig, en moet dit altijd ten goede komen aan de ontwikkeling van het kind. Dit geldt in het algemeen, en is bij jonge kinderen wellicht nog lastiger te bepalen dan bij oudere jeugd. De theoretische uitgangspunten voor ontwikkeling van de GCIC 4-8 zijn in de basis gelijk aan die voor de versie van 8-14 jaar (Strijbosch et al, 2014). De vier pedagogische basisdoelen, geformuleerd voor de kinderopvang (Riksen-Walraven, 2004), en de belangrijkste dimensies van een open leefklimaat (Van der Helm, 2011). Deze leeftijdsgrenzen zijn niet willekeurig gekozen. Met zes à zeven jaar is er vaak een omslag in de ontwikkeling van het kind te zien, vergeleken met de fase daarvoor. Kinderen gaan meer logisch en rationeel denken, begrijpen veel meer en kunnen beter het perspectief van anderen zien. De dimensies van een groepsklimaat zijn vergelijkbaar, echter de invulling van deze dimensies, en daarmee uiteraard de inhoud van de vragen, is verschillend. Bij de ontwikkeling van de GCIC 4-8 is, net als bij de variant voor 8-14 jaar, in de basis gebruik gemaakt van de Prison Group Climate Instrument (PGCI) (Van der Helm, 2011). Althans, waar het gaat om de dimensies waaruit een groepsklimaat bestaat. Repressie, steun, groei, en sfeer op de groep. Basisbehoeften van het jonge kind zijn onder meer veilige hechting aan anderen, autonomie en identiteit, gerespecteerd worden in eigen behoeften en emoties, spontaniteit en spel en een prettige plek om te zijn, realistische grenzen (Schaffer, 2000; Singer et al. 2010). De dimensies van groepsklimaat worden voor kinderen tussen 4 en 8 jaar als volgt verbonden met hun basisbehoeften: Support groepsleiding -> Veilige hechting aan anderen. Doelen, groei, afwezigheid repressie -> Spontaniteit en spel. Autonomie, identiteit, groei, afwezigheid repressie. Wel structuur en realistische grenzen -> Gerespecteerd worden in eigen behoeften. Atmosfeer -> Veiligheid, prettige plek om te zijn.
Ontwikkeling van de GCIC 4-8 De GCIC 4-8 is in samenwerking tussen onderzoekers en praktijkprofessionals tot stand gekomen. Op basis van de eerder genoemde theoretische uitgangspunten, is allereerst een conceptvragenlijst met 30 items opgesteld. Deze conceptversie is besproken in een brainstormsessie van twee uur met pedagogisch medewerkers van Maashorst en Juzt (begeleid door Peer van der Helm, HS Leiden / UvA). De opdracht aan de PM-ers was om vanuit hun ervaring met de doelgroep, als het ware door de ogen van het kind, te beoordelen welke items er nodig waren om de lading van het thema te dekken. In onderzoekstermen wordt ook wel gesproken over het bevorderen van de ‘ecologische validiteit’, wanneer experts een dergelijke rol spelen in de totstandkoming van (bijvoorbeeld) een vragenlijst (Araújo, Davids, & Passos, 2007).
3
Naar aanleiding van deze bijeenkomst is een aantal items geschrapt (bijvoorbeeld te abstract of te ingewikkeld geformuleerd), een aantal items is hergeformuleerd, en er zijn nieuwe items bij gekomen. Dit leidde tot een nieuwe conceptversie met 40 items. Deze versie is uitgezet binnen zes organisaties (Juzt, Maashorst, Combinatie Jeugdzorg, Lindenhout, Mutsaersstichting, Entrea), in totaal bij 116 kinderen van 25 verschillende groepen. Met behulp van de dataset die dit opleverde, kon de vragenlijst gevalideerd worden. Op basis van de analyses van het valideringsonderzoek, zijn uiteindelijk 20 items overgebleven. Dit is de versie die door Juzt en Maashorst wordt ingezet binnen het project “Jij mag er zijn”. Meer over het valideringsonderzoek is te lezen in het volgend hoofdstuk.
Valideringsonderzoek Op basis van de uitkomsten bij de validering van de GCIC 8-14, was het uitgangspunt een tweefactor oplossing. De verwachting was dat de kinderen gezien hun jonge leeftijd onderscheid maken tussen positieve aspecten en negatieve aspecten van het pedagogisch klimaat; vind ik het fijn op de groep, ja of nee. Voor een confirmatieve factoranalyse is gebruik gemaakt van het statistisch programma AMOS-18. Eerst zijn items met een lage lading op de latente variabelen verwijderd, en vervolgens items die hoog met andere items correleren. In de factoroplossing zijn meetfouten met elkaar gecorreleerd.
Fit-maten: -
RMSEA = 0.021
-
CFI = 0.633
-
TLI = 0.965
Op basis van een dataset met 116 cliënten van 4-8 jaar in Jeugd & Opvoedhulp (30 residentieel, 86 gespecialiseerde dagbehandeling), zijn de betrouwbaarheidscoëfficiënten als volgt: Schaal ‘Open klimaat’: Cronbach’s α = 0,75 Schaal ‘Gesloten klimaat’: Cronbach’s α = 0,72
Afname en scoring Aanwijzingen voor afname De vragenlijst is geschikt om periodiek af te nemen bij alle kinderen van een of meer groepen. (Juzt en Maashorst nemen de vragenlijst 2x per jaar af). De afname vindt 1-op-1 plaats. Er wordt gewerkt met geplastificeerde kaartjes met daarop de vragen, en antwoordbakjes (waar / beetje waar / niet waar; aangeduid met duimpjes, zie scoringsformulier). De vragen worden voorgelezen, en het kind mag de vraag in één van de
4
antwoordbakjes doen. De antwoorden mogen ter plekke gescoord worden op het formulier, maar dit kan ook naderhand, bij het leegmaken van de bakjes. Afname wordt bij voorkeur uitgevoerd door iemand die bekend is bij de kinderen, maar niet rechtstreeks betrokken. Zoals een stagiaire van de locatie, of een pedagogisch medewerker van een andere groep op de locatie. Vóór de afname van de vragenlijst ontvangen ouders een informatiebrief. Ze krijgen de gelegenheid om deelname van hun kind te weigeren. Richtlijn is dat ouders een week de tijd krijgen om eventueel bezwaar te maken tegen deelname van hun kind. Het is aan te raden dat een PM-er van de groep bijtijds bij kinderen aankondigt dat iemand hem/haar even komt ophalen om een spelletje te doen (een spelletje met vragen over hoe het is op de groep). Neem de vragenlijst zo mogelijk af in een spelkamer. Dit biedt de kans om het kind tussendoor even pauze te geven (bijv. 5 minuten spelen; m.n. voor de kleinste kinderen belangrijk i.v.m. concentratiespanne). Leg uit dat het een spelletje is waarbij geen foute antwoorden bestaan. Alles wat het kind zegt is goed. Zeker voor de kleinste kinderen is het aan te raden om bij elke vraag te herhalen wat de bakjes betekenen. Bijv. “Dit bakje staat voor dat je graag speelt op de groep, dit bakje is dat je een beetje graag speelt op de groep, en dit bakje betekent dat je niet graag speelt op de groep”. Als je twijfelt of het kind de vragen begrijpt (of zo maar wat antwoordt), stel dan tussendoor wat controlevragen zoals weet je wie je mentor is?, weet je wat pesten is? etc. Merk je dat de vragen écht te hoog gegrepen zijn voor het kind, maak het spelletje dan wel af, eventueel op een eenvoudiger manier. Noteer dit soort bevindingen op het scoreformulier. Reken per afname op 10 à 15 minuten. Kanttekening leeftijd, kalenderleeftijd 4 is soms te jong om de vragen te kunnen begrijpen; let op de ontwikkelingsleeftijd.
Scoring De GCIC 4-8 bestaat in totaal uit 20 items. Deze zijn verdeeld over twee schalen: Open Klimaat (11 items) en Gesloten Klimaat (9 items). In bijlage 1 is aangegeven welke vragen horen bij welke schaal. Aan de antwoordcategorie ‘waar’ wordt score 3 toegekend, aan ‘een beetje waar’ score 2 en aan ‘niet waar’ score 1. De schaalscores van een gescoorde vragenlijst worden berekend door per schaal de itemscores op te tellen, en te delen door het aantal items binnen de schaal. Er komt een gemiddelde schaalscore uit, die een indicatie geeft van de mate waarin de jeugdige een open dan wel gesloten klimaat ervaart in de groep. De scores op de vragenlijst worden op groepsniveau benut. Het gaat immers over het pedagogisch klimaat in een bepaalde groep. Bereken, om de scores op groepsniveau te benutten, eerst de gemiddelde schaalscores van alle kinderen in de groep; en vervolgens de gemiddelde schaalscore van de hele groep. Het is aan te raden om ook op itemniveau de groepsgemiddelden te berekenen, zodat een meer genuanceerd beeld ontstaat van de positieve en de aandachtspunten die de kinderen aangeven over het pedagogisch klimaat.
5
In tabel 2 staan – naast de gemiddelden (M) en standaarddeviaties (SD) - de percentielscores voor de GCIC 4-8 vermeld, zowel op schaal- als itemniveau. Deze geven een indicatie van wat een lage, gemiddelde of hoge score is. Als richtlijn voor een lage, gemiddelde of hoge scores, hanteren we hier de grenswaarde van het 25e en het 75e percentiel. Bekijken we bijvoorbeeld de schaal Open Klimaat, dan zien we dat een score van 2,36 of lager behoort tot de 25% laagste scores binnen de onderzochte populatie. Een score van 2,82 of hoger behoort tot de 25% hoogste scores. De middelste score binnen de onderzochte populatie (50e percentiel) is 2,64. Geadviseerd wordt om bij het rapporteren van scores, aan te geven in welk kwartiel deze vallen aan de hand van onderstaande tabel.
Tabel 2. Gemiddelden, standaarddeviaties en percentielscores M
SD.
Percentiel 5
10
25
50
75
90
95
Schaal Open klimaat
2,61
,353
1,91
2,09
2,36
2,64
2,82
2,91
3,00
Vind je het fijn op de groep?
2,52
,763
1,00
1,00
2,00
3,00
3,00
3,00
3,00
Als je iets vraagt, geeft groepsleiding dan antwoord?
2,50
,665
1,00
2,00
2,00
3,00
3,00
3,00
3,00
Krijg je soms een knuffel/kroel van groepsleiding? Als je boos bent, vraagt de groepsleiding dan wat er is? Als je iets leuks wilt vertellen, luistert de groepsleiding dan?
2,40
,796
1,00
1,00
2,00
3,00
3,00
3,00
3,00
2,45
,788
1,00
1,00
2,00
3,00
3,00
3,00
3,00
2,59
,646
1,00
1,00
2,00
3,00
3,00
3,00
3,00
Is het fijn om op de groep de spelen
2,71
,609
1,00
2,00
3,00
3,00
3,00
3,00
3,00
Is het speelgoed op de groep leuk?
2,62
,648
1,00
2,00
2,00
3,00
3,00
3,00
3,00
Speel je op de groep vaak met andere kinderen?
2,64
,617
1,00
2,00
3,00
3,00
3,00
3,00
3,00
Vind je het fijn nieuwe dingen te leren op de groep?
2,66
,646
1,00
2,00
3,00
3,00
3,00
3,00
3,00
Mag je altijd meespelen op de groep?
2,29
,728
1,00
1,00
2,00
2,00
3,00
3,00
3,00
Is het eten lekker op de groep?
2,58
,673
1,00
1,30
2,00
3,00
3,00
3,00
3,00
Schaal Gesloten klimaat
1,68
,443
1,11
1,22
1,33
1,67
2,11
2,33
2,56
Als je zeurt, krijg je dan je zin op de groep?
1,25
,588
1,00
1,00
1,00
1,00
1,00
2,00
3,00
Als je iets wilt hebben op de groep, pak je het dan?
1,81
,903
1,00
1,00
1,00
1,00
3,00
3,00
3,00
Ben je bang op de groep?
1,61
,772
1,00
1,00
1,00
1,00
2,00
3,00
3,00
Word je gepest op de groep?
1,81
,826
1,00
1,00
1,00
2,00
3,00
3,00
3,00
Pakken ze speelgoed van je af op de groep?
1,85
,861
1,00
1,00
1,00
2,00
3,00
3,00
3,00
Zijn de groepsleiders vaak boos op jou?
1,62
,713
1,00
1,00
1,00
1,00
2,00
3,00
3,00
Slaan kinderen je soms op de groep?
1,91
,816
1,00
1,00
1,00
2,00
3,00
3,00
3,00
Bijten kinderen je soms op de groep? Botsen kinderen expres hard tegen je aan op de groep?
1,58
,813
1,00
1,00
1,00
1,00
2,00
3,00
3,00
1,90
,879
1,00
1,00
1,00
2,00
3,00
3,00
3,00
6
Toepassing van de vragenlijst De GCIC 4-8 kan periodiek worden afgenomen om een indruk te krijgen van het pedagogisch klimaat beoordeeld door de kinderen. Dit is aan te raden, omdat het gaat om een momentopname waarbij meerdere factoren een rol spelen. Het verhaal bij de scores omvat altijd verschillende aspecten/factoren, dit wil niet zeggen dat de meting weinig zegt. De kracht zit ‘m nu juist in de herhaling. Welke patronen zie je wanneer je de scores van opeenvolgende perioden naast elkaar legt? Het kan bijvoorbeeld zijn dat de scores in de eerste perioden sterk fluctueren en in de loop van de jaren stabiliseren. Het kan ook zijn dat de metingen in het voorjaar altijd een betere score opleveren dan de metingen in het najaar. Elk team volgt z’n eigen patronen, en speelt in op de scores door hierover samen het gesprek aan te gaan. Wanneer bijvoorbeeld in een bepaalde periode is ingezet op het bespreken van pestgedrag, kan middels de GCIC 4-8 getoetst worden of de kinderen daadwerkelijk minder pestgedrag ervaren dan de periode daarvoor; mits je toen ook een meting hebt gedaan. In combinatie met de GCIC kan ook een vragenlijst door de pedagogisch medewerkers worden ingevuld. De LGWCI (living group work climate instrument) is een vragenlijst die aansluit bij de vragenlijst over het pedagogisch klimaat.
7
BIJLAGE 1: de vragenlijst pedagogisch klimaat 4-8 / GCIC 4-8
Datum van afname: Organisatie: Team/ groep: Geslacht kind: Geboortedatum kind: Code (clientreg.nr+ initialen)
O/G* 1. 2. 3. 4. 5.
O O O O O
6. 7. 8. 9.
O O O O
10. 11.
G G
12. 13. 14. 15. 16. 17. 18. 19. 20.
G G G G G G O G O
Items Support groepsleider Vind je het fijn op de groep? Als je iets vraagt, geeft groepsleiding dan antwoord? Krijg je soms een knuffel/kroel van groepsleiding? Als je boos bent, vraagt de groepsleiding dan wat er is? Als je iets leuks wilt vertellen, luistert de groepsleiding dan? Spel/doelen Is het fijn om op de groep te spelen? Is het speelgoed op de groep leuk? Speel je op de groep vaak met andere kinderen? Vind je het fijn nieuwe dingen te leren op de groep? Structuur en grenzen Als je zeurt krijg je dan je zin op de groep? Als je iets wil hebben op de groep, pak je het dan? Veiligheid en onderling contact Ben je bang op de groep? Wordt je gepest op de groep? Pakken ze speelgoed van je af op de groep? Zijn de groepsleiders vaak boos op jou? Slaan kinderen je soms op de groep? Bijten kinderen je soms op de groep? Mag je altijd meespelen op de groep? Botsen kinderen expres hard tegen je aan op de groep? Is het eten lekker op de groep?
Scoring Waar
__ - __ - ____ ___________ ___________ m/v __ - __ - ____ ___________
Beetje waar
Niet waar
* O = vragen behorend bij de schaal open klimaat; G = vragen behorend bij de schaal gesloten klimaat
Antwoordplaatjes
8
