Werkt Gedragswerk? Evaluatie project Gedragswerk
Juni 2009
Evaluatieonderzoek Gedragswerk, juni 2009
1
Inleiding Met het Ministerie van OCW is afgesproken dat in het schooljaar 2008 – 2009 een evaluatie zou worden uitgevoerd van Gedragswerk. Dit met als doel concreet inzicht te verschaffen in de effectiviteit van Gedragswerk. Deels maakt Gedragswerk de effectiviteit jaarlijks al zichtbaar in haar rapportages. Het gaat dan om procesresultaten zoals (1) het aantal regio’s waarin een actieve rol wordt gespeeld, (2) het aantal onderwijsprofessionals dat een relatie onderhoudt met Gedragswerk en (3) de mate waarin website en hulpmiddelen worden uitgezet in het onderwijsveld. In beperkte mate werd ook al enkele keren inzicht gegeven in het aantal leerlingen dat mede door toedoen van Gedragswerk weer aan boord werd geholpen. Als aanvulling op deze informatie was de ambitie om in het schooljaar 2008 – 2009 ook in beeld te brengen in welke mate Gedragswerk daadwerkelijk de gewenste resultaten boekt. Gedragswerk wil: . 1. Een concrete en krachtige impuls geven aan de omvang en kwaliteit van de regionale samenwerking rondom leerlingen met gedragsproblemen; 2. Een concrete en krachtige impuls geven aan de handelingsbekwaamheid van de betrokken regionale actoren; 3. Met als gewenst resultaat een vermindering van het aantal leerlingen dat niet het passende onderwijs krijgt waarop zij recht hebben. Centrale vraag van het evaluatie onderzoek werd: In welke mate slaagt Gedragswerk er in de drie kernambities te realiseren?
Onderzoeksmethode Onderzoekspopulatie Gedragswerk speelt sinds vier schooljaren een actieve rol in – inmiddels – ruim 70 regio’s. De regionale betrokkenheid van Gedragswerk kwam tot stand in (tijdelijke) netwerken waarin enkele duizenden onderwijsprofessionals participeerden. Deze professionals zagen Gedragswerk aan het werk, namen de al dan niet aanwezige resultaten waar en ontwikkelden een visie op het project. Tot de populatie van dit evaluatie-onderzoek behoren al diegenen die in de voorbije jaren Gedragswerk aan het werk zagen. Deze populatie is verspreid door het gehele land. Het gaat onder meer om coördinatoren van samenwerkingsverbanden PO en VO, RMC-coördinatoren, AB-ers, IB-ers, leerlingbegeleiders, zorgcoördinatoren, schoolleiders, leerkrachten, vertegenwoordigers van beroeps- en belangenorganisaties, professionals werkzaam in de sfeer van gezondheidszorg, justitie, maatschappelijk werk, enzovoorts. Ouders maken geen deel uit van de onderzoekspopulatie.
Evaluatieonderzoek Gedragswerk, juni 2009
2
Aanpak Dit evaluatieonderzoek werd uitgevoerd met gebruikmaking van Internet. Op de website www.gedragswerk.nl werd een enquête opgenomen die elektronisch kon worden ingevuld en verzonden. Dit had als grote voordeel het gebruiksgemak voor zowel de respondenten (snel en gemakkelijk in te vullen, zonder de rompslomp van een papieren versie die ook nog eens verzonden dient te worden, alleen de noodzakelijke vragen verschijnen in beeld) als voor Gedragswerk (efficiëntere verwerking van de response en snellere data-analyse). Deze enquête bestond uit 16 vragen (zie de titels van de in deze rapportage opgenomen staatjes). Respondenten werden geworven met een persoonlijke oproep per brief of mondeling door de sparring partners en per e-mail. Hiervoor werd gebruik gemaakt van het actuele adressenbestand van Gedragswerk dat 1.320 relaties omvat. Daarnaast werd op www.gedragswerk.nl het onderzoek onder de aandacht gebracht van bezoekers en attendeerden de sparring partners relaties op het onderzoek. De verkregen response werd verwerkt door Drs Cristel Verdonk, freelance onderzoeker verbonden aan marketingadviesbureau Quanta NpM. Hierbij werd gebruik gemaakt van Excel.
Resultaten Kenmerken respondenten In totaal ontvingen wij 173 ingevulde enquêtes. Hiervan bleken er 15 onbruikbaar. Deels doordat alleen de eerste 2 of 3 vragen werden beantwoord (n=12), deels omdat uit de beantwoording van de open vragen bleek dat het hier niet ging om serieuze response (n=3). Resteerden 158 bruikbare enquêtes. Staat 1 laat zien dat de respondenten afkomstig zijn uit alle provincies. Vooral Brabant en ZuidHolland zijn sterk vertegenwoordigd. Staat 1. Provincie Brabant Zuid-Holland Groningen Utrecht Limburg Gelderland Overijssel Noord-Holland Zeeland Drenthe Friesland Flevoland
Herkomst respondenten: provincies Absoluut
Evaluatieonderzoek Gedragswerk, juni 2009
38 32 16 12 10 10 10 8 6 6 6 4 158
Percentage 24,05 20,25 10,13 7,59 6,33 6,33 6,33 5,06 3,80 3,80 3,80 2,53 100
3
Veruit de meeste respondenten zijn afkomstig uit het primair onderwijs (staat 2). Daarnaast is bijna de helft van de respondenten coördinator (staat 3).
Staat 2.
Herkomst respondenten: organisaties waarin werkzaam
Organisatie SWV PO Basisonderwijs (Voortgezet) Speciaal onderwijs SWV VO REC Anders SBO Voortgezet onderwijs Gemeente (o.a. leerplicht)
Staat 3.
Absoluut 58 22 22 20 14 8 6 4 4 158
Percentage 36,72 13,92 13,92 12,66 8,86 5,06 3,80 2,53 2,53 100
Herkomst respondenten: functies
Functie Coördinator Lid van het bestuur Schoolleider/directeur (Beleids) adviseur/medewerker Bovenschoolse directeur Anders Intern begeleider Ambulant begeleider Leerkracht (Leerling) Zorgcoördinator
Absoluut 72 22 20 16 10 6 4 4 2 2 158
Percentage 45,57 13,92 12,66 10,13 6,33 3,80 2,53 2,53 1,27 1,27 100
Aard van de ervaring met Gedragswerk Het leeuwendeel van de respondenten kent Gedragswerk van de tweemaandelijkse mailingen. Op de tweede plaats staat de samenwerking met een sparring partner. Uit staat 4 kan daarnaast worden afgeleid dat de 158 respondenten gemiddeld gebruik maken van 1,9 dienst van Gedragswerk.
Staat 4.
Aard van het contact met Gedragswerk
Contact Ik ontvang de brieven met hulpmiddelen Ik was gedurende langere tijd betrokken bij een initiatief waarin een sparring partner van Gedragswerk participeerde Ik nam deel aan een workshop ‘hordelopen’ Ik voerde een eenmalig (advies)gesprek met een sparring partner van Gedragswerk Als onderdeel van bredere studiedagen Ik nam deel aan een workshop ‘er ligt een kind op tafel’ Ik nam deel aan een workshop op maat specifiek voor onze organisatie of regio Ik nam deel aan een workshop ‘de rugzak ingezet’
Absoluut 110 52
Percentage 37,16 17,57
36 30
12,16 10,14
28 14 14
9,46 4,73 4,73
12 296
4,05 100
(Meerdere antwoorden mogelijk)
Evaluatieonderzoek Gedragswerk, juni 2009
4
Staat 5 laat zien dat de respondenten vooral zelf het initiatief namen om met Gedragswerk in contact te komen. Op de voet gevolgd door respondenten die melden dat Gedragswerk de eerste stap heeft gezet. In deze gevallen werd de hulp van Gedragswerk weliswaar ingeroepen door een regionale contactpersoon, maar was het de sparring partner die contact opnam met de overige veldpartijen om tot een eerste overleg te komen.
Staat 5.
Wie nam het initiatief tot contact?
Initiatief Ikzelf Gedragswerk Een of meerdere collega’s in organisatie, instantie of verband waar ik werkzaam ben Een of meerdere collega’s buiten organisatie, instantie of verband waar ik werkzaam ben
Absoluut 62 52 24
Percentage 39,24 32,91 15,19
20
12,66
158
100
De staatjes 6 en 7 tonen hoeveel personen betrokken waren bij de initiatieven. Staat 6 gaat over in totaal 2.470 personen, voor het merendeel betrokken bij kleinere initiatieven waar tot 20 professionals bij waren betrokken. Het merendeel hiervan blijkt uit de eigen verbanden afkomstig te zijn (staat 7): 1.300 betrokkenen komen uit de eigen kringen (zoals samenwerkingsverband of REC). Staat 8 laat zien dat betrokken afkomstig waren uit meer dan 60 sectoren. Met coördinatoren, schoolleiders, bovenschools directeuren en zorgcoördinatoren voorop (staat 9).
Staat 6. Aantal 0 1 t.m. 9 10 t.m. 19 20 t.m. 29 30 t.m. 39 40 of meer
Het totaal aantal personen betrokken bij ditzelfde initiatief (zowel in de eigen organisatie, instantie of verband, áls daar buiten) Absoluut 2 40 30 20 8 16 116
Percentage 1,72 34,48 25,86 17,24 6,90 13,79 100
(blanco: 42) Staat 7. Aantal 1 t.m. 9 10 t.m. 19 20 of meer
Het totaal aantal personen betrokken bij ditzelfde initiatief (alleen de eigen organisatie) Absoluut 100 12 26 138
Percentage 72,46 8,70 18,84 100
(blanco: 20)
Evaluatieonderzoek Gedragswerk, juni 2009
5
Staat 8.
In welke sectoren waren de bij dit initiatief betrokken personen werkzaam?
Sector Basis Onderwijs Samenwerkingsverband PO (Voortgezet) Speciaal Onderwijs Samenwerkingsverband VO Regionaal Expertise Centrum Speciaal Basis Onderwijs Voortgezet Onderwijs Gemeente (o.a. leerplicht) Praktijkonderwijs Bureau Jeugdzorg MBO Jeugdzorg/AWBZ instellingen RMC regio Ouder/verzorger Provincie Zorginstelling Anders
Absoluut 78 70 60 58 56 52 44 42 30 28 18 18 14 8 6 6 6 594
Percentage 13,13 11,78 10,10 9,76 9,43 8,75 7,41 7,07 5,05 4,71 3,03 3,03 2,36 1,35 1,01 1,01 1,01 100
(Meerdere antwoorden mogelijk) Staat 9.
Welke functies vervulden de bij dit initiatief betrokken personen?
Functie Coördinator Schoolleider/directeur Bovenschoolse directeur Zorgcoördinator Leerkracht Leerplichtambtenaar Ambulante begeleider Lid van het bestuur Ouder/verzorger Intern begeleider Anders, namelijk: Wethouder
Absoluut 102 84 50 46 44 34 30 30 10 8 8 4 450
Percentage 22,67 18,67 11,11 10,22 9,78 7,56 6,67 6,67 2,22 1,78 1,78 0,89 100
(Meerdere antwoorden mogelijk) Wat was de concrete aanleiding voor de betrokkenheid van Gedragswerk? In totaal beantwoordden 93 respondenten deze vraag (meerdere antwoorden mogelijk). Als redenen voor de betrokkenheid van Gedragswerk werden genoemd: 37 maal: 34 maal: 23 maal: 19 maal: 10 maal:
Advies nodig rondom een concreet en actueel vraagstuk (zoals thuiszittende leerlingen, knelpunten in de regionale samenwerking, of problemen in de communicatie) De aangeboden informatie is zinvol Wij werken aan de vorming van een regionaal netwerk. De vragen of problemen die dat met zich meebrengt, waren de aanleiding Activiteiten in het kader van passend onderwijs Het aanbod van Gedragswerk sprak ons aan
Evaluatieonderzoek Gedragswerk, juni 2009
6
De ervaren effectiviteit Gedragswerk is effectief. De staten 10 tot en met 15 laten zien dat: • Ruim 80% van de respondenten waarbij samenwerking aan de orde was, kenbaar maakt dat Gedragswerk een (sterk) positief effect had (staat 10); • Bijna 80% van deze respondenten vindt dat sprake was van een (sterk) positief effect op kwaliteit, ruim 60% van de respondenten ziet een (sterk) positief effect op het resultaat van de samenwerking en op de bevordering van de actieve deelname van diegenen die nodig zijn. Samenwerking bevorderen blijft, ook met de inzet van Gedragswerk, lastig.Bijna de helft van de respondenten is van mening dat Gedragswerk hierop geen of een negatief effect had. Iets meer dan 40% van de respondenten ziet een (sterk) positief effect (staat 11). • Ook voor wat betreft de handelingsverlegenheid bevestigen de respondenten de effectiviteit van Gedragswerk. Ruim 70% van diegenen waarvoor dit een issue was, merkt dat de noodzakelijke kennis toeneemt, ruim 60% is van mening dat noodzakelijke vaardigheden worden ontwikkeld en dat de motivatie toeneemt door Gedragswerk. • Tot slot is 60% van de respondenten van mening dat Gedragswerk een positieve bijdrage levert aan het realiseren van passend onderwijs. De resterende 40% ziet dat resultaat niet. • Staat 14 laat zien dat naar de mening van dertig van de 158 respondenten de rol van Gedragswerk (mede) tot gevolg heeft dat leerlingen worden geholpen. Deze dertig respondenten schatten dat circa 340 leerlingen aan boord werden gehouden of geholpen in de trajecten waar zij bij waren betrokken. • Een derde van de respondenten verwacht dat deze resultaten structureel zijn. Een kwart denkt tijdelijk. • Ruim driekwart van de respondenten geeft aan Gedragswerk aan te bevelen bij collega’s (staat 16).
Staat 10.
Welk effect had Gedragswerk op de mate waarin samenwerking tot stand kwam?
Samenwerking is aan de orde bij Van deze 116 respondenten: Sterk positief Positief Niet positief/niet negatief Negatief Sterk negatief
Absoluut 116
Percentage 100,00
16 78 18 4 0 116
13,79 67,24 15,52 3,45 0,00 100
Evaluatieonderzoek Gedragswerk, juni 2009
7
Staat 11.
Welk effect had Gedragswerk op vier kenmerken van samenwerking? (116 respondenten waarbij samenwerking aan de orde was) Sterk positief 16
Positief
Neutraal
Negatief
76
24
0
Sterk negatief 0
(13,8%) 11
(65,5%) 63
(20,7%) 42
(0,0%) 0
(0,0%) 0
(9,5%) 18
(54,3%) 58
(36,2%) 36
(0,0%) 4
(0,0%) 0
(15,5%) 14
(50%) 46
(31,0%) 52
(3,4%) 4
(0,0%) 0
(12,1%)
(39,7%)
(44,8%)
(3,4%)
(0,0%)
De kwaliteit van de samenwerking De resultaten van de samenwerking De actieve deelname van al diegenen die nodig zijn De moeite die u moet doen om de samenwerking in stand te houden en tot goede resultaten te brengen
Staat 12.
Welk effect had Gedragswerk op de handelingsverlegenheid van diegenen die bij dit initiatief waren betrokken? (64 respondenten waarbij handelingsverlegenheid aan de orde was) Sterk Positief
Positief
Neutraal
Negatief
9
39
16
0
Sterk negatief 0
(14,1%) 12
(60,9%) 30
(25,0%) 20
(0,0%) 2
(0,0%) 0
(18,8%) 11
(46,9%) 38
(31,3%) 15
(3,1%) 0
(0,0%) 0
(17,2%)
(59,4%)
(23,4%)
(0,0%)
(0,0%)
Het vergroten van de noodzakelijke kennis Het versterken van vaardigheden Het ontwikkelen van de noodzakelijke motivatie
Staat 13.
In welke mate leverde Gedragswerk een relevante bijdrage aan het realiseren van passend onderwijs voor leerlingen die op dat moment tussen wal en schip vielen? Absoluut 63 78 17 158
In het geheel niet In beperkte mate In sterke mate
Staat 14. Aantal 0 1 t.m. 4 5 t.m. 9 10 t.m. 29 30 en meer
Percentage 39,87 49,37 10,76 100
Voor hoeveel kinderen werd een oplossing gerealiseerd (mede) door toedoen van Gedragswerk? Absoluut 30 14 4 8 4 60
Percentage 50,00 23,33 6,67 13,33 6,67 100
(blanco: 98)
Evaluatieonderzoek Gedragswerk, juni 2009
8
Staat 15.
In welke mate zijn de geboekte resultaten tijdelijk of blijvend van aard?
Resultaten ontbreken Resultaten zijn tijdelijk Resultaten zijn structureel
Staat 16. Ja Nee Misschien Geen mening
Absoluut 64 40 54 158
Percentage 40,51 25,32 34,18 100,01
Beveelt u Gedragswerk aan bij uw collega’s? Absoluut 120 11 13 14 158
Evaluatieonderzoek Gedragswerk, juni 2009
Percentage 75,95 6,96 8,23 8,86 100
9
