Evaluatie Pilot Aanpak Levensgebeurtenissen Onderzoeksvoorstel
Zoetermeer , 14 april 2016 Ver.: ME
Ten geleide Geachte mevrouw Diepenbroek, beste Jacomijn, Met veel plezier stuur ik je hierbij ons definitieve onderzoeksvoorstel voor een evaluatie van de pilot levensgebeurtenissen. Dit voorstel is gebaseerd op onze gesprekken over de pilot. We hebben met veel genoegen gewerkt aan het plan van aanpak voor de evaluatie. En we hopen dat onze ambitie met deze evaluatie uit het plan spreekt. Die ambitie is: jullie met een gedegen en complete evaluatie ondersteunen bij de besluitvorming over de pilot levensgebeurtenissen. Mocht je vragen hebben, neem dan gerust contact op. Lennart de Ruig Zoetermeer, 14 april 2016
3
Inhoudsopgave Ten geleide
3
1
Achtergrond en vraagstelling
5
1.1 1.2 1.3 1.4
Aanleiding voor de evaluatie De pilot aanpak levensgebeurtenissen Evaluatie van de pilot Doel- en vraagstelling van de evaluatie
5 5 5 7
2
Aanpak van de evaluatie
2.1 2.2 2.3 2.4 2.5 2.6
Gemaakte keuzes Stap 1: voorbereiding Stap 2: interviews met samenwerkingspartners en observatie Stap 3a: interviews met deelnemers Stap 3b: enquête onder deelnemers (optioneel) Stap 4: analyse en rapportage
3
Cv’s, planning en budget
3.1 3.2 3.3
Onderzoeksteam Planning en overlegmomenten Budget
10 10 10 12 13 14 15
17 17 19 Error! Bookmark not defined.
4
1 1.1
Achtergrond en vraagstelling Aanleiding voor de evaluatie De Gemeenteraad heeft op 10 december 2015 de notitie 'Utrecht inclusief: Utrechtse armoedeaanpak 2016 – 2019’ vastgesteld. Met de nieuwe aanpak legt Utrecht meer de nadruk op het vroegtijdig voorkomen van armoede en schulden en het bieden van ondersteuning, zodat mensen zichzelf financieel kunnen blijven redden en mee kunnen doen in de maatschappij. De aanpak bestaat uit verschillende maatregelen, waaronder een aanpak gericht op levensgebeurtenissen, zoals ontslag en (echt)scheiding, omdat die vaak het begin vormen van veel (financiële) problemen. Utrecht beproeft deze nieuwe aanpak eerst in een pilot. In oktober 2016 wil het college de gemeenteraad door middel van een evaluatie informeren over de opbrengsten van de pilot. Op basis hiervan wordt besloten of en zo ja hoe de aanpak wordt voortgezet.
1.2
De pilot aanpak levensgebeurtenissen De pilot loopt van april t/m juli 2016 en bestaat uit twee instrumenten die nauw met elkaar samenhangen: 1. Workshops rondom ontslag en scheiding, georganiseerd door U Centraal. De workshop is bedoeld als laagdrempelige ingang. Daarna kunnen mensen doorverwezen worden naar ander aanbod, zoals de cursus “grip op je financiën” of ondersteuning door een vrijwilliger. 2. Het GRIP-budget (dit is een voorlopige titel), dat door Werk en Inkomen wordt toegekend aan mensen die na 1 januari 2016 zijn ontslagen of gescheiden van hun partner én een inkomen hebben van maximaal 125% van de bijstandsnorm. De gemeente heeft met andere organisaties afspraken gemaakt over de signalering en doorverwijzing van mensen naar Werk en Inkomen van de gemeente en U Centraal. Het gaat om de buurtteams, echtscheidingsadvocaten en UWV.
1.3
Evaluatie van de pilot
1 . 3 . 1 E en e va lua ti ek a d er a ls ha nd va t Om de pilot goed te kunnen evalueren, is het van belang om eerst helder te krijgen wanneer we kunnen vaststellen of de pilot een succes is en wat het succes van de pilot verklaart. Een hulpmiddel daarbij is een reconstructie van de ‘beleidstheorie’. De beleidstheorie is de impliciete of expliciete gedachtegang die schuilgaat achter een beleidsaanpak. Met het evaluatieonderzoek wordt nagegaan of de veronderstellingen over de werkzame elementen uit deze gedachtegang ook in de praktijk zijn terug te vinden. De beleidstheorie van de pilot kan worden samengevat met de volgende werkzame elementen:
5
Levensgebeurtenis verkleint geestelijke en financiële ruimte. Mensen die recent een levensgebeurtenis hebben meegemaakt, hebben een verhoogd risico op armoede en schulden. Dit geldt zeker voor mensen met een laag inkomen (tot maximaal 125% van de bijstandsnorm). Door de levensgebeurtenis en de financiële gevolgen daarvan, hebben zij tijdelijk minder geestelijke en financiële ruimte om aan een oplossing te werken. 1
Instrumenten van de gemeente geven ruimte om aan oplossing te werken. Door de ondersteuning vanuit U Centraal krijgen mensen overzicht en weten ze welke stappen ze moeten zetten. Dat geeft rust en ruimte. Het GRIP-budget van Werk en inkomen geeft deze mensen extra financiële ruimte om aan een oplossing te werken. Dit draagt op termijn bij aan de zelfredzaamheid van deze mensen.
Instrumenten hebben samen meer effect. De ondersteuning vanuit U Centraal en het GRIP-budget van Werk en inkomen hebben meer toegevoegde waarde als ze samen worden ingezet. Dit vraagt om een goede samenwerking tussen Werk en inkomen en U Centraal. Werk en inkomen moet mensen doorverwijzen naar U Centraal en andersom. Alleen dan zullen we in de praktijk effecten vinden.
Mensen moeten eerst gesignaleerd en doorverwezen worden. Mensen die recent een levensgebeurtenis hebben meegemaakt, weten hun weg naar U Centraal en Werk en inkomen niet vanzelf te vinden. Daarom moeten zij eerst gesignaleerd en doorverwezen worden. Gezien de aard van de levensgebeurtenissen (echtscheiding en ontslag) en de belangrijke rol van buurtteams in Utrecht, vervullende de volgende drie organisaties deze signalerings- en doorverwijsfunctie: UWV (ontslag), echtscheidingsadvocaten (scheiding) en buurtteams (ontslag en echtscheiding).
De gemeente moet de pilot aansturen. De pilot als geheel moet centraal worden uitgedacht en aangestuurd, zodat er duidelijke afspraken worden gemaakt met alle partners en partners aan de afspraken gehouden kunnen worden.
Om de pilot een succes te laten zijn, is het van belang dat de bovenstaande werkzame elementen van de beleidstheorie zijn terug te vinden in de uitvoeringspraktijk en bij de resultaten van de deelnemers. In figuur 1 geven we de actoren en instrumenten die een rol spelen in de pilot weer. Per actor of instrument formuleren we de werkzame elementen. Dit evaluatiekader helpt ons tijdens de evaluatie om informatie te structureren en logisch met elkaar te verbinden. Ook helpt het ons om aanknopingspunten voor verbetering te vinden voor de aanpak als de pilot is afgelopen.
1
Mani, A. et al (2013), ‘Poverty impedes cognitive function’, in: Science 341, 976.
6
figuur 1
Evaluatiekader: actoren, instrumenten en werkzame elementen pilot
Werkzaam element: de gemeente heeft duidelijke (samenwerkings)afspraken gemaakt
Beleid Gemeente Utrecht Unit beleid en Kwaliteitsontwikkeling
Doelgroep Alle mensen met een inkomen tot 125% van de bijstandsnorm die na 1 januari 2016 zijn ontslagen of gescheiden van hun partner Werkzaam element: samenwerkingspartners signaleren de doelgroep Samenwerkingspartners § Buurtteams § Echtscheidingsadvocaten § UWV Werkzaam element: samenwerkingspartners verwijzen mensen door Instrument 1 U-Centraal Themabijeenkomsten Werkzaam element: instrument 1 heeft toegevoegde waarde voor de doelgroep; de ondersteuning helpt mensen om aan een oplossing te werken
Instrument 2 Werk en inkomen GRIP-budget Werkzaam element: W&I verwijst mensen door naar U-Centraal en andersom Werkzaam element: ontvangers van het budget gaan ook naar de themabijeenkomsten
Werkzaam element: instrument 2 heeft toegevoegde waarde voor de doelgroep; het budget geeft mensen ruimte om aan een oplossing te werken
1 . 3 . 2 O ok fe i te n en c i jf e rs ver za m e le n Uit de onderzoeksvragen die door de gemeente zijn geformuleerd, leiden wij af dat de gemeente ook geïnteresseerd is in de ‘feiten en cijfers' van de pilot. Hoeveel mensen maken gebruik van het aanbod? Doen mensen ook een beroep op bijzondere bijstand? Et cetera. De evaluatie moet dus niet alleen de pilot beoordelen, maar ook beschrijven in termen van gebruik.
1.4
Doel- en vraagstelling van de evaluatie Op basis van het bovenstaande komende we tot de volgende vierledige doelstelling voor de evaluatie: 1. Het beschrijven van de pilot levensgebeurtenissen aan de hand van cijfers over gebruik en niet-gebruik. 2. Het evalueren van de uitvoering en de resultaten van de pilot levensgebeurtenissen, door in kwalitatieve zin na te gaan of de werkzame elementen in de praktijk zijn terug te vinden. 3. Het beoordelen van de effectiviteit van de pilot, door in kwalitatieve zin na te gaan of mensen iets aan het aanbod hebben gehad. 4. Het formuleren van aanknopingspunten voor de aanpak levensgebeurtenissen na afloop van de pilot. Hieruit leiden we de volgende onderzoeksvragen af. Deze zijn ingedeeld onder de vier doelstellingen.
7
1 . 4 . 1 V r a g en ov e r g eb ru ik e n n ie t - g eb ru ik 2 Deze vragen worden met name door kwantitatief onderzoek beantwoord: 1. Hoeveel mensen maken gebruik van het aanbod? 1.1 Hoeveel maken gebruik van de ondersteuning van U Centraal? 1.2 Hoeveel maken gebruik van het GRIP-budget? 1.3 Hoeveel maken van beide instrumenten gebruik? 2. Wat zijn de kenmerken van deelnemers? 3. Wat zijn de redenen voor toekenning? 4. Bij hoeveel mensen is de aanvraag afgewezen? 5. Wat zijn de redenen voor afwijzing? 6. Hoeveel mensen doen daarna nog een beroep op bijzondere bijstand voor de kosten rechtsbijstand? 7. Hoeveel mensen maken gebruik van het vervolgaanbod van U Centraal? 1 . 4 . 2 V r a g en ov e r u itv oe r in g, r es u lta t en en we rk za me e le m ent en Deze vragen worden met name door kwalitatief onderzoek beantwoord. 8. Waarom is een aanpak gericht op levensgebeurtenissen van belang? Met andere woorden: welke relatie is er tussen levensgebeurtenissen en armoede/schulden? 9. Welke actoren zijn betrokken bij de pilot? Welke afspraken heeft de gemeente gemaakt met samenwerkingspartners over rollen en taken? Zijn deze afspraken duidelijk voor betrokkenen? 10. Hoe ervaren de samenwerkingspartners de pilot? Welke resultaten zien zij in de praktijk en welke toegevoegde waarde zien ze? 11. Verloopt de signalering en doorverwijzing adequaat? 11.1 In hoeverre signaleren samenwerkingspartners de doelgroep en verwijzen ze de doelgroep door naar U Centraal en Werk en inkomen? 11.2 In hoeverre verwijst Werk en inkomen mensen die het eformulier invullen door naar U Centraal? 11.3 Gaan ontvangers van het GRIP-budget ook daadwerkelijk naar U Centraal en andersom? 12. Hoe is het mensen vergaan die wel van het GRIP-budget, maar niet van de ondersteuning van U Centraal gebruik hebben gemaakt? Waarom hebben ze dat gedaan? Zijn er verschillen met deelnemers die wel de ondersteuning van U Centraal hebben gehad? 1 . 4 . 3 V r a g en ov e r ef fe ct i v it e it en we rk za m e e l em en te n 13. Heeft de ondersteuning vanuit U Centraal toegevoegde waarde voor mensen? 13.1 Perceptie: vinden mensen dat ze ermee geholpen zijn? 13.2 Gebruik: wat hebben mensen met de opgedane kennis en geboden hulpverlening gedaan? 13.3 Werkzaam element: geeft het instrument hen ruimte om aan een oplossing te werken? 14. Heeft het GRIP-budget toegevoegde waarde voor mensen? 2
De beantwoording van deze vragen is afhankelijk van de mate waarin de systemen van de gemeente deze informatie bevatten.
8
14.1 Perceptie: vinden mensen dat ze ermee geholpen zijn? 14.2 Gebruik: wat hebben mensen met het budget gedaan? 14.3 Toereikendheid: was het budget voldoende? 14.4 Werkzaam element: geeft het instrument mensen de ruimte om aan een oplossing te werken? 15. Hebben mensen nog andere ondersteuning nodig? Welke hobbels ervaren mensen tijdens een levensgebeurtenis en wat zou hen daarbij geholpen hebben? 1 . 4 . 4 C o nc lu d e re nd e en t oek o ms tg e r ich t e v ra ge n Deze vragen beantwoorden we in overleg met de gemeente na afloop van het onderzoek. 16. Is de pilot op basis van beantwoording van bovenstaande vragen een succes te noemen? 17. Welke verbeteringen zijn mogelijk en welke aanknopingspunten zijn er voor een brede uitrol van de aanpak levensgebeurtenissen? Het resultaat van de evaluatie is een gezaghebbend overzicht van de aanpak, resultaten, effectiviteit en werkzame elementen van de pilot, onderbouwd met feiten, cijfers en ervaringen van betrokkenen.
9
2 2.1
Aanpak van de evaluatie Gemaakte keuzes We stellen voor om het onderzoek te laten begeleiden door een commissie waarin in ieder geval de opdrachtgever, de onderzoeksafdeling van de gemeente en enkele praktijkdeskundigen zijn vertegenwoordigd. Zo houden we een goede aansluiting bij de uitvoering van de pilot. De P-raad krijgt de conceptbevindingen voorgelegd en krijgt zo gelegenheid om mee te denken. In hoofdstuk 3 beschrijven we wanneer de besprekingen met de begeleidingscommissie plaatsvinden. Voor de evaluatie zetten we een mix van kwalitatief en kwantitatief onderzoek in. Het zwaartepunt ligt bij kwalitatief onderzoek onder de deelnemers aan de pilot en de samenwerkingspartners van de gemeente. Om de evaluatie soepel te laten verlopen, is een intensieve samenwerking met de gemeente en partners van de gemeente van groot belang. Daarom beginnen we met een uitgebreide voorbereiding waarin we o.a. werkafspraken maken over aanlevering van gegevens over deelnemers. Een aantal onderzoeksactiviteiten is optioneel gemaakt, omdat de uitvoering afhankelijk is van de mogelijkheden en wensen binnen de gemeente. Opties zijn: een telefonische enquête onder deelnemers en een vergoeding voor respondenten die meedoen aan de interviews. Deze opties staan verderop in het plan van aanpak uitgebreid beschreven. We stellen voor samen te werken met de onderzoeksafdeling van de gemeente. De voorgestelde taakverdeling is als volgt: de onderzoeksafdeling neemt deel aan de begeleidingscommissie en levert input voor de feiten en cijfers (met name onderzoeksvraag 1 t/m 6), wij stellen mede op basis hiervan het evaluatierapport op. De gemeente besluit na de evaluatie of een lange termijnonderzoek naar de effecten van de pilot wenselijk is. Dit onderzoek is niet opgenomen in de onderzoeksopzet, maar we stellen voor om deelnemers wel te vragen of ze in de toekomst opnieuw benaderd mogen worden voor onderzoeksdoeleinden. De onderzoeksactiviteiten staan hieronder in detail beschreven.
2.2
Stap 1: voorbereiding Doel
Goede voorbereiding op het onderzoek
Activiteiten
Startoverleg met opdrachtgever en partners
Deskresearch
Analyse cijfers gemeente [onderzoekafdeling Utrecht]
Afstemming onderzoeksopzet met de opdrachtgever
Werkafspraken met de opdrachtgever
Inzicht aanpak pilot en belang levensgebeurtenissen
Resultaten
10
2 . 2 . 1 S ta r tov e r le g Direct bij de start van het onderzoek volgt een startoverleg tussen de begeleidingscommissie en de onderzoekers. De agenda voor het startoverleg ziet er als volgt uit: §
Nadere kennismaking;
§
Bespreken en toelichten evaluatieaanpak;
§
Bespreken relevante kennis en aandachtspunten van opdrachtgever over de rol van samenwerkingspartners;
§
Bespreken welke relevante partners in ieder geval geïnterviewd moeten worden;
§
Wijze van benaderen respondenten voor interviews;
§
Taakafbakening onderzoeksafdeling Utrecht en Panteia;
§
Afspraken verdere contactmomenten;
§
Planning van de onderzoeksactiviteiten.
Na afloop van het startoverleg neemt het onderzoeksteam contact op met de samenwerkingspartners om concrete werkafspraken te maken voor de benadering van respondenten (zie stap 3). We stellen voor om hiervoor gesprekken te voeren met een teamleider Werk & inkomen (van loketten waar het GRIP-budget kan worden aangevraagd) en een medewerker van U Centraal die betrokken is bij de pilot.
2 . 2 . 2 D e sk re sea r ch Tijdens de voorbereiding verzamelt het onderzoeksteam zoveel mogelijk relevante informatie over de pilot en over het belang van een aanpak gericht op levensgebeurtenissen. Welke informatie staat er op papier over de pilot? Wat zijn de belangrijkste samenwerkingspartners en wat is hun rol in dit veld? Wat is er in de literatuur bekend over de relatie tussen levensgebeurtenissen en schulden? Wat zegt de literatuur over effectieve aanpakken in dit verband? Wat is het juiste moment van ondersteuning? Wanneer werkt wat? Resultaat van de deskresearch is een aanscherping van de beleidstheorie zoals geschetst in de inleiding van deze offerte. Ook levert de deskresearch input voor de inleiding en hoofdstuk van het evaluatierapport (zie stap 5).
2 . 2 . 3 A na l ys e c i j fe rs De onderzoeksafdeling van de gemeente Utrecht analyseert cijfers over het gebruik van de instrumenten van de pilot. Hiermee levert zij input voor beantwoording van onderzoeksvraag 1 t/m 7, 11.1 en 11.3. Panteia maakt hiervoor nadere werkafspraken met de onderzoeksafdeling. Een deel van de benodigde gegevens zal niet beschikbaar zijn in de systemen van de gemeente, maar moet daaraan gekoppeld worden. Het gaat waarschijnlijk om:
NAW-gegevens van mensen die gesignaleerd en/of doorverwezen zijn door buurtteams, echtscheidingsadvocaten en UWV. Deze informatie is nodig om een goed antwoord te geven op onderzoeksvraag 11.1
NAW-gegevens van mensen die gebruik hebben gemaakt van de (aanvullende) ondersteuning vanuit U Centraal. Deze informatie is nodig om antwoord te geven op onderzoeksvraag 7 en 11.3.
11
Ons voorstel is om bij het maken van werkafspraken in stap 1 en tijdens de interviews in stap 2 deze gegevens op te vragen bij samenwerkingspartners en te overhandigen aan de onderzoeksafdeling van de gemeente, zodat er een compleet overzicht ontstaat van de mate waarin mensen worden gesignaleerd, doorverwezen en gebruik maken van de instrumenten. Uiteraard bespreken we dit goed tijdens de eerste bijeenkomst van de begeleidingscommissie.
2.3
Stap 2: interviews met samenwerkingspartners en observatie Doel
Inzicht in rol, werkwijze en ervaringen samenwerkingspartners
Activiteiten Resultaten
(Groeps)gesprekken met samenwerkingspartners
Observaties workshops
Antwoord op de onderzoeksvragen 7, 9, 10, 11.1, 11.2 en 17
Om een beeld te krijgen van de werkwijze en ervaringen van de samenwerkingspartners, voeren we diepte-interviews met hen uit en observeren we twee workshops van U Centraal. De observatie geeft de onderzoekers een ‘levensecht’ beeld van de werkwijze bij de workshop en de ervaringen van deelnemers. Op voorhand gaan we uit van de volgende interviews en observaties:
Een groepsgesprek met medewerkers Werk en inkomen van de gemeente (die aanvragen in behandeling nemen);
Een groepsgesprek met medewerkers van U Centraal die de workshops organiseren;
Een observatie van twee workshops;
Interviews met UWV (1x), echtscheidingsadvocaten (3x) en teamleiders van buurtteams (in overleg met de gemeente selecteren we 5 ‘representatieve’ buurtteams die relatief veel te maken krijgen met echtscheiding en ontslag).
Een interview met een senior schulddienstverlener.
De interviews vinden face-to-face plaats aan de hand van een vooraf opgestelde gespreksleidraad met vraagpunten. Van ieder interview, de groepsgesprekken en de observaties maken we een verslag voor intern gebruik. De definitieve lijst met gesprekspartners bespreken we, samen met de gespreksleidraad, eerst met de opdrachtgever. Met deze onderzoeksstap verkrijgen we met name antwoord op de vragen 7, 8, 9, 11.1, 11.2 en 17.
12
2.4
Stap 3a: interviews met deelnemers Doel
Verdiepend inzicht in perceptie, gebruik, toereikendheid en werkzaamheid van de ondersteuning en het GRIPbudget.
Activiteiten
20 Diepte-interviews met deelnemers
Resultaten
Antwoord op de onderzoeksvragen 11, 12 en 17
Korte geanonimiseerde ‘portretten’ van deelnemers
2 . 4 . 1 D o e l en fu nc t ie va n d e d i e pt e - int e rv i ew s Onder de deelnemers van het GRIP-budget en/of de ondersteuning vindt kwalitatief onderzoek plaats. Dat wil zeggen dat de onderzoekers diepteinterviews houden onder een steekproef van deelnemers en hen aan de hand van een semi-gestructureerde vragenlijst vragen stellen over perceptie, gebruik, toereikendheid en werkzaamheid van het GRIPbudget en de ondersteuning. Basis voor de vragenlijst zijn de onderzoeksvragen 12 t/m 15. Het heeft meerwaarde om de interviews niet alleen te gebruiken om een overkoepelend antwoord te geven op de onderzoeksvragen, maar ze ook te gebruiken om geanonimiseerde portretten in het rapport te maken van deelnemers. Bijvoorbeeld: “Joyce (39 jaar) heeft twee kinderen en is net gescheiden. De rechtszaak leverde haar veel extra kosten op. Alimentatie ontvangt ze niet. In maart dit jaar heeft ze de gemeente om hulp gevraagd. De hulp heeft ervoor gezorgd dat ze…” Enzovoorts.
2 . 4 . 2 W e rv i ng va n d e e ln em e rs en u itv oe r in g va n d e in te r vi e ws De werving van deelnemers is een cruciaal onderdeel van de evaluatie. Het meest efficiënt is het als Werk en inkomen en U Centraal een goede registratie bijhouden van deelnemers, zodat bij iedere aanvrager ten minste naam, adres, telefoonnummer en levensgebeurtenis worden genoteerd. Deze gegevens worden – daar waar privacyregels het toestaan - via de onderzoeksafdeling van de gemeente aan de onderzoekers overhandigd. Wij tekenen hiertoe een bewerkersovereenkomst. Tijdens de benadering van respondenten vragen de onderzoekers ook of ze in een later stadium nogmaals door de gemeente benaderd mogen worden. We gaan er van uit dat we over een bestand kunnen beschikken van alle deelnemers en daaruit een steekproef kunnen trekken. In verband met bestandsveroudering/-vervuiling werkt het efficiënt om in een aantal kleine tranches te werken die binnen twee weken worden benaderd voor een interview. Om een goed beeld te verkrijgen van de variëteit in de praktijk, verwachten we dat we 20 diepte-interviews moeten uitvoeren (10 per levensgebeurtenis). Een deel van de interviews (circa 4) vindt plaats met mensen die alleen het GRIP-budget hebben ontvangen. We bellen respondenten om een afspraak te maken en nemen het interview af op een locatie die voor de respondent goed uitkomt (thuis, in een
13
horecagelegenheid, op het werk). Van ieder interview maken we een verslag voor intern gebruik.
2.5
Stap 3b: enquête onder deelnemers (optioneel) Doel
Cijfermatig inzicht in perceptie, gebruik, toereikendheid en werkzaamheid van de ondersteuning en het GRIPbudget.
Activiteiten
Telefonische enquête onder netto 100 deelnemers
Resultaten
Antwoord op de onderzoeksvragen 13, 14, 15 en 17
Tabellen en grafieken met resultaten enquête
2 . 5 . 1 W a a r om d e e nq uê te o pti o ne e l i s Een enquête heeft weinig zin wanneer het aantal deelnemers minder dan 50 is; met 20 diepte-interviews ontstaat dan immers al een betrouwbaar en representatief beeld. Bovendien is de respons op een enquête onder burgers meestal niet hoger dan 50%. De meerwaarde van een enquête hangt dus af van het aantal deelnemers. We verwachten dat het omslagpunt bij zo’n 100 deelnemers ligt. In de begroting bij dit onderzoeksvoorstel gaan we uit van een enquête onder netto 100 deelnemers (dan zullen er zeker 200 deelnemers in totaal moeten zijn).
2 . 5 . 2 M et ho de : t e le fo ni sc he e n qu êt e In principe kan een enquête op drie manieren worden uitgevoerd: schriftelijk; via internet en telefonisch. Uit ervaring weten we dat de hoogste respons wordt bereikt met een telefonische enquête (in het najaar van 2015 behaalden we ruim 50% respons bij een telefonische enquête onder mensen die een Participatiewet-uitkering in Den Haag ontvangen). Een bijkomend voordeel van een telefonische enquête is dat ook laaggeletterden worden bereikt. Mensen die geen of moeilijk Nederlands kunnen lezen, kunnen vaak wel een telefoongesprek voeren. Bovendien kan de enquêteur de vragen toelichten en zo de respondent helpen om een valide antwoord te geven. Deze ervaring maakt dat we een telefonische enquête verkiezen boven andere methoden van enquêteren.
2 . 5 . 3 U i tv oe r in g en qu êt e Om de enquête te kunnen uitvoeren, is een steekproefbestand nodig met daarin de NAWT-gegevens van ruim 200 deelnemers. Daarnaast ontwikkelen de onderzoekers een vragenlijst die geschikt is voor telefonische afname. Dat wil zeggen dat we eenvoudige taal gebruiken en niet te veel vragen stellen (maximaal zo’n 30 vragen). We hebben veel ervaring met het opstellen van vragenlijsten die worden afgenomen onder kwetsbare doelgroepen, zoals uitkeringsgerechtigden, laagopgeleide jongeren 3 en allochtonen.
3
We doen momenteel onderzoek naar een project in Rotterdam-Zuid waarbij laagopgeleide jongeren door een mentor worden begeleid. Data wordt o.a. verzameld door een internetvragenlijst die jongeren in de klas invullen.
14
Panteia beschikt over een eigen modern, ruim opgezet callcenter met 60 belposities en een aangrenzende meeluister- en meekijkruimte. Deze ruimte is gevestigd op de begane grond van het kantoorpand te Zoetermeer. Alle gesprekken die de interview(st)ers voeren, worden vanuit een centraal punt onder voortdurende supervisie en begelei ding afgenomen. In de meeluisterruimte is het altijd mogelijk voor opdrachtgevers om gesprekken met respondenten mee te luisteren. De kwaliteitsbewaking is gewaarborgd door een ISO-kwaliteitssysteem. Voor de bewaking van de kwaliteit van de data en om ervoor te zorgen dat de antwoorden van de respondenten juist worden verwerkt, wordt door de coördinatoren met de interviewers meegeluisterd en meegekeken. Het verkrijgen en opleveren van data van een hoog kwalitatief niveau staat centraal bij Panteia. Resultaat van de enquête is een dataset in SPSS waarmee we cijfermatige antwoorden kunnen geven op de perceptie, het gebruik, de toereikendheid en de werkzaamheid van de ondersteuning en het GRIPbudget.
2.6
Stap 4: analyse en rapportage De analyse bestaat, afhankelijk van de gekozen opties, uit kwalitatieve en kwantitatieve analyses.
2 . 6 . 1 K wa l ita t ie v e a na l ys es Het onderzoeksteam maakt bij de kwalitatieve analyse gebruik van de matrixmethode. Er wordt een overzicht gemaakt van de antwoorden per respondent per onderwerp op de gespreksleidraden. Op deze manier worden de antwoorden van de respondenten geordend en kan het onderzoeksmateriaal relatief eenvoudig vanuit verschillende invalshoeken worden doorgelicht. Door het materiaal bijvoorbeeld naar levensgebeurtenis of de gebruikte ondersteuning te ordenen, krijgt het onderzoeksteam snel een goed inzicht in de onderzoeksgegevens. We kijken bij deze analyse vooral naar de werkzame elementen van de pilot.
2 . 6 . 2 K wa n t ita t ie ve a na ly s es ( o pt i on ee l ) De kwantitatieve analyses zijn gericht op de informatie uit de telefonische enquête onder deelnemers. De analyses vinden plaats met behulp van het statistische programma SPSS. De analyses richten zich op de volgende punten:
§
genereren algemeen beeld van de respondenten (achtergrondkenmerken);
§ §
cijfermatig inzicht verkrijgen in de percepties van respondenten ; cijfermatig inzicht verkrijgen in het gebruik en de toereikendheid van het GRIP-budget en de ondersteuning;
§
Cijfermatig inzicht krijgen in de toegevoegde waarde/werkzaamheid van de instrumenten.
15
We gaan er van uit dat de onderzoeksafdeling de cijfers over het gebruik e.d. aanlevert in de vorm van direct bruikbare tabellen en grafieken. 2 . 6 . 3 R a p p or ta g e Als laatste activiteit maken we een publieksvriendelijk, helder geschreven en prettig opgemaakt rapport. Hieronder staat een mogelijke opzet voor het rapport: Managementsamenvatting Voorin het rapport staat een samenvatting van de belangrijkste bevindingen, bedoeld voor ‘beslissers’. 1. Inleiding Het rapport begint met een korte inleiding die de achtergrond, vraagstelling en opzet van de evaluatie schetst. 2. Belang levensgebeurtenissen In dit hoofdstuk beschrijven we de relatie tussen levensgebeurtenissen en schulden aan de hand van de literatuur en de geïnterviewde en/of geënquêteerde deelnemers (portretten). Hieruit volgt het belang van een aanpak gericht op levensgebeurtenissen. 3. Uitvoering van de pilot Dit hoofdstuk gaat in op de wijze waarop de pilot door de gemeente en de samenwerkingspartners is uitgevoerd. Aan bod komt de werkwijze van de samenwerkingspartners bij de signalering en doorverwijzing van men sen en de werkwijze van Werk en inkomen en U Centraal. 4. Gebruik en niet-gebruik van de instrumenten In dit hoofdstuk staat het perspectief van de deelnemers en (optioneel) nietdeelnemers centraal. Door middel van cijfers en ervaringen beschrijven we het gebruik van de instrumenten. 5. Resultaten en werkzame elementen Hier gaan we in op de resultaten en toegevoegde waarde van de pilot voor deelnemers. Ook beoordelen we in hoeverre de werkzame elementen zoals vooraf bedacht, zijn terug te vinden in de praktijk. 6. Conclusies en aanbevelingen Het laatste hoofdstuk bevat de conclusies en aanbevelingen .
De conceptrapportage wordt met de opdrachtgever en begeleidingscommissie besproken. Door verwerking van eventuele correcties en suggesties wordt de definitieve rapportage verkregen.
16
3 3.1
Cv’s, planning en budget Onderzoeksteam Het onderzoeksteam bestaat uit:
Lennart de Ruig (accountmanager sociale vraagstukken). Lennart heeft in deze evaluatie de rollen van projectleider en senior onderzoeker. Om een goede feeling te houden bij de pilot, voert hij veel interviews zelf uit. Hij is sinds 2007 als projectleider en onderzoeker betrokken bij de thema’s schulden en schuldhulpverlening.
Auke Witkamp (medior onderzoeker sociale vraagstukken). Auke heeft de rol van medior onderzoeker. Hij heeft veel ervaring met evaluatie-onderzoek en onderzoek onder kwetsbare doelgroepen zoals werklozen en laagopgeleide jongeren.
D r s. L e nna rt d e Ru i g Lennart de Ruig (1978) is accountmanager bij het thema sociale vraagstukken van Panteia. Hij studeerde maatschappijgeschiedenis aan de Erasmus Universiteit Rotterdam (specialisatie sociaaleconomische geschiedenis) en werkt sinds 2005 bij Panteia (diens rechtsvoorganger Research voor Beleid), aanvankelijk als (senior) onderzoeker en momenteel als accountmanager. Lennart heeft ruim tachtig onderzoeksprojecten binnen het sociale domein uitgevoerd of begeleid, zowel projecten met een kwantitatief karakter als projecten met een kwalitatief karakter. De projecten waarvoor Lennart verantwoordelijk is, vinden bijna altijd in een complexe politiek-bestuurlijke context plaats en kennen vaak meerdere belanghebbenden. Vaak terugkerende thema’s in zijn projecten zijn schuldhulpverlening, armoedebeleid, en participatie- en re-integratiebeleid. Lennart begeleidt projecten in opdracht van ministeries (o.a. SZW, BZK, Financiën), gemeenten en rekenkamers (o.a. Den Haag, Hilversum, Lelystad, Nuth, Apeldoorn, Hoeksche Waard) en sectoren en paritaire organisaties (A+O fonds Gemeenten, A+O Metalektro, Bibliotheken, Recreatie, Schoonmaak). Door zijn brede ervaring is hij in staat snel dwarsverbanden en trends te identificeren en advies te geven over toepassing van kennis en instrumenten in andere domeinen, bijvoorbeeld implementatie van best practices bij gemeenten. Op het gebied van schulden, armoede en schuldhulpverlening en is/was Lennart onder andere projectleider van:
‘Huishoudens in de rode cijfers’: onderzoek naar achtergronden, aard en omvang van problematische schulden in Nederland (Ministerie van SZW, 2015 )
‘Voor mijn gevoel had ik veel geld’: onderzoek naar jongvolwassenen en schulden (Ministerie van SZW, 2015)
17
‘Hulp bij schulden in de Hoeksche Waard’: evaluatie van de schuldhulpverlening in de Hoeksche Waard (Rekenkamercommissie Hoeksche Waard, 2014)
businesscases.effectieveschuldhulp.nl Website met business cases van effectieve aanpakken voor vroegsignalering en preventie van schulden (Ministerie van SZW, 2014)
‘Huishoudens in de rode cijfers 2012 en 2009’: onderzoek naar de aard en omvang van problematische schulden in Nederland, in 2009 en 2012 (Ministerie van SZW, 2009 en 2012)
‘Budgetbeheer in de minnelijke schuldhulpverlening’, onderzoek naar budgetbeheer door gemeenten in de minnelijke schuldhulpverlening (Ministerie van SZW, 2011)
‘Zelfregulering in de minnelijke schuldhulpverlening’, m ogelijkheden voor zelfregulering in de minnelijke schuldhulpverlening (Ministerie van SZW, 2011)
‘Breed wettelijke moratorium minnelijke schuldhulpverlening’, onderzoek naar de wenselijkheid van een breed wettelijk moratorium in de minnelijke schuldhulpverlening (Ministerie van SZW, 2010)
Onderzoek naar armoede en niet-gebruik van armoedevoorzieningen in de Kompasgemeenten (Nuth, Simpelveld en Voerendaal, 2010)
Onderzoek naar pandhuizen en verlening van pandkrediet in Nederland (Ministerie van Financiën, 2009)
Evaluatie van het armoedebeleid in de provincie Noord-Brabant (Provincie Noord-Brabant, 2009)
‘Touwtjes aan elkaar knopen’, ex ante evaluatie van de vernieuwing schuldhulpverlening in de gemeente Apeldoorn (Rekenkamercommissie Apeldoorn, 2007)
A uk e W itk a m p M A Auke Witkamp werkt sinds begin 2013 als onderzoeker sociale vraagstukken bij Panteia. Daarvoor werkte hij bij een migratiedenktank en studeerde hij internationale betrekkingen en geschiedenis (cum laude) aan de Rijksuniversiteit Groningen. Auke is een geïnteresseerde, enthousiaste en integere gesprekspartner die op meerdere niveaus (strategisch, tactisch, operationeel en doelgroepen) uit de voeten kan. Dit is een belangrijke eigenschap voor het huidige project, waarbij zowel met samenwerkingspartners als met de gebruikers gesproken dient te worden. Auke is gespecialiseerd in kwalitatieve technieken zoals diepte-interviews, groepsgesprekken, observaties en case studies, en heeft daarnaast ruime ervaring met enquêteonderzoek. In de afgelopen jaren deed Auke onder andere onderzoek naar de positie van huishoudelijk werkers, de uitvoering van jeugdwerkloosheidsbeleid door gemeenten, de pilot “Servicepunten” van de gemeente Den Haag, schuldhulpverlening in drie grote gemeenten, een mentorprogramma voor VMBO-leerlingen in Rotterdam en naar het
18
beleid rondom kwetsbare jongeren voor zes gemeenten onder Amsterdam. Daarnaast evalueerde hij afgelopen jaar de Wet SUWI (structuur uitvoering werk en inkomen) en voerde hij meerdere onderzoeken uit op het gebied van ziekte, arbeidsongeschiktheid en reintegratie. Door deze en andere onderzoeken is Auke goed thuis in het gemeentelijke sociaal domein, waaronder armoedebeleid en schuldhulpverlening. Tot slot: Auke houdt ervan verschillende informatiebronnen samen te brengen in een toegankelijke, genuanceerde rapportage. Hij is in staat een helder beeld te schetsen van een complexe werkelijkheid, en daarmee opdrachtgevers van zijn onderzoek handvatten te geven om verbeteringen door te voeren in hun beleid of uitvoering.
3.2
Planning en overlegmomenten Voor de planning van de evaluatie gaan we uit van een start van de stap 1 in de week van 19 april en oplevering van het eindrapport eind juli 2016. Omdat de pilot enige tijd nodig heeft om op te starten, zal de dataverzameling vooral in de maanden mei en juni plaatsvinden. De dataverzameling onder deelnemers volgt daarbij op de dataverzameling onder partners, zodat het ook mogelijk is om resultaten te meten bij deelnemers. Dit leidt tot de volgende planning: Weeknr.
Activiteiten
Tussenresultaten
Stap 1 16
Werkafspraken, overhandigen gegevens etc, deskresearch
17
Werkafspraken,
Gespreksleidraad
overhandigen gegevens etc,
t.b.v. partners
deskresearch Stap 2 18
Interviews samenwerkingspartners en observaties
19
Interviews samenwerkingspartners en observaties
20
Interviews
Notitie resultaten
samenwerkingspartners en
stap 2,
observaties
vragenlijst deelnemers
Stap 3 21
Interviews met deelnemers
22
Interviews met deelnemers
23
Interviews met deelnemers
19
24
Interviews met deelnemers
25
Interviews met deelnemers Stap 4
26
Analyse en rapportage
27
Analyse en rapportage
Notitie met voorlopige resultaten
28
Analyse en rapportage
29
Analyse en rapportage
30
Analyse en rapportage
Concepteindrapport
We stellen voor om vier formele bijeenkomsten met de begeleidingscommissie te organiseren:
April: Bij aanvang van het onderzoek (startoverleg)
17 mei: Na afronding van stap 2. Tijdens dit overleg bespreken we de voorlopige resultaten van de gesprekken met samenwerkingspartners en bespreken we de gespreksleidraad en optionele vragenlijst voor de interviews/enquête onder deelnemers.
7 juli: Na afronding van stap 2. Dit overleg is bedoeld als brainstormsessie waarin we een de belangrijkste bevindingen en ‘teneur’ van het rapport gezamenlijk bespreken. Vooraf ontvangt de begeleidingscommissie een notitie met de belangrijkste bevindingen.
Eind juli: na afronding van stap 4. Tijdens dit overleg bespreken we het conceptrapport.
Daarnaast zijn de onderzoekers aanwezig op een informatiebij eenkomst voor de gemeenteraad op 19 mei.
20
