Indicator 1: De mate van tevredenheid van jeugdigen en ouders over de resultaten per dienst

Indicator 1: De mate van tevredenheid van jeugdigen en ouders over de resultaten per dienst. Project ‘Doorontwikkeling, uitwerking en toetsing basisset prestatie-indicatoren lokale zorg voor jeugd’ Anne Addink, september 2013

Aanpak en samenvatting Voor de operationalisering van de indicator ‘De mate van tevredenheid van jeugdigen en ouders over de resultaten per dienst’ is eerst op een rij gezet wat in eerdere rapporten is aangegeven over het doel van de indicator, de afbakening en de wijze waarop de indicator gemeten kan/moet worden. Vervolgens zijn aanvullend instrumenten en items geïnventariseerd die mogelijk bruikbaar zijn voor het meten van tevredenheid van jeugdigen en ouders over de resultaten. De instrumenten zijn op een aantal kenmerken samengevat om een vergelijking te kunnen maken. In de toets basisset (Van Yperen en Van der Steenhoven, 2011) zijn al ver uitgewerkte voorstellen gedaan voor de uitwerking van deze indicator. De belangrijkste uitkomsten tot nu toe zijn: - Het voorstel is om te starten met het uitwerken van diensten binnen de functie ‘voorlichting, advies en pedagogische ondersteuning’. Het gaat om diensten die betrekking hebben op: 1. Informatie en advies (inclusief voorlichting en consultatie). Het gaat hierbij om diensten als folders, website, informatie-bijeenkomsten, een- tot tweemalige (periodieke) contacten voor advies of consultatie. 2. Professionele hulp en steun. Dit betreft alle hulpverleningstrajecten van het CJG (lokale jeugdhulp) die uit drie of meer contacten bestaan. - De indicator meet tevredenheid over resultaten en niet over andere aspecten als bejegening of bereikbaarheid. - Het instrument/de items moeten aansluiten bij de dienst: bij een dienst met meerdere contacten kan een uitgebreidere vragenlijst worden gebruikt dan bij diensten met eenmalig/kortdurend contact. Een voorstel voor items volgt hieronder. Een belangrijk aandachtspunt is tot slot dat deze indicator voor veel diensten niet los kan worden gezien van een tweede prestatie-indicator, de mate waarin er sprake is van uitval uit aanbod in de lokale zorg voor jeugd. Voorstel items Informatie en advies

Professionele hulp en steun niet doorlopend

PI1: Tevredenheid resultaten

-

‘Dit was de informatie waarnaar ik op zoek was (ja /voor een deel / nee)’. Bij ongevraagde voorlichting, bijvoorbeeld een voorlichting aan klassen leerlingen op school, of als een persoon geen expliciete vraag heeft gesteld, is het item als volgt formuleren: ‘Dit was informatie die ik belangrijk vind (ja / voor een deel / nee).’ - ‘Met deze informatie kan ik zelf verder, ik weet nu wat ik het beste kan doen (ja / voor een deel / nee / niet van toepassing (ik zocht de info voor iemand anders of had het bijvoorbeeld nodig voor studie))’. Ouders (van jeugdigen 0-18 jaar) en Jeugdige 12 + - ‘Ik heb voldoende geleerd om na de hulp zelf verder te gaan (helemaal niet mee eens / niet mee eens / wel mee eens / helemaal mee eens).’ - ‘Het [product/dienst] heeft mij geholpen met de dingen die ik belangrijk 1

-

-

Professionele hulp en steun doorlopend

vond (helemaal niet mee eens / niet mee eens / wel mee eens / helemaal mee eens).’ ‘Ik weet waar ik terecht kan als ik nog hulp nodig heb (helemaal niet mee eens / niet mee eens / wel mee eens / helemaal mee eens).’ ‘Ik heb door de hulp van[product/dienst] meer vertrouwen in de toekomst (helemaal niet mee eens / niet mee eens / wel mee eens / helemaal mee eens).’ ‘Ik ben door [product/dienst] geholpen met waarvoor ik kwam (helemaal niet mee eens / niet mee eens / wel mee eens / helemaal mee eens).’ ‘Er is voldoende bereikt door de hulp van ([product/dienst] helemaal niet mee eens / niet mee eens / wel mee eens / helemaal mee eens).’

Jeugdige 12+ - Ik vind het hulpverleningsplan goed (helemaal niet mee eens / niet mee eens / wel mee eens / helemaal mee eens). - helemaal mee eens). - De hulp helpt mij echt goed (helemaal niet mee eens / niet mee eens / wel mee eens / helemaal mee eens). - Ik verwacht dat mijn doelen behaald gaan worden(helemaal niet mee eens / niet mee eens / wel mee eens / helemaal mee eens). Ouders (van jeugdigen 0-18 jaar) - Ik vind het hulpverleningsplan goed (helemaal niet mee eens / niet mee eens / wel mee eens / helemaal mee eens). - De hulp helpt ons gezin echt goed (helemaal niet mee eens / niet mee eens / wel mee eens / helemaal mee eens). - Ik verwacht dat de doelen behaald gaan worden (helemaal niet mee eens / niet mee eens / wel mee eens / helemaal mee eens).

informele hulp en steun

-

1 Doel Wat is het doel van het meten van tevredenheid over de resultaten per dienst? Welke informatie levert dit op? Waar wordt het voor gebruikt? Het doel van deze indicator, zoals geformuleerd bij de ontwikkeling van de basisset indicatoren effectiviteit Centrum voor Jeugd en Gezin (Monsjou, 2010), is inzichtelijk te maken in hoeverre het CJG (lokale jeugdhulp) in staat is de vragen van cliënten naar tevredenheid te beantwoorden. Op basis van informatie over de tevredenheid kan het CJG (lokale jeugdhulp) de dienstverlening aanpassen aan de behoefte van de cliënt om de tevredenheid te verbeteren. In de toelichting op de basisset wordt aangegeven dat het bij de indicator gaat om de vraag hoeverre cliënten tevreden zijn over de resultaten van de dienstverlening en ondersteuning. De veronderstelling is dat – naarmate de tevredenheid groter is – de impliciete of expliciete vragen van de cliënt beter zullen zijn beantwoord. De indicator lijkt bedoeld voor het bestuur en het management van het CJG (lokale jeugdhulpaanbieders) om te kunnen sturen op de door gebruikers ervaren effectiviteit van de hulp of dienstverlening. Die sturing is in principe mogelijk door bijvoorbeeld ervoor te zorgen dat er een goed beeld is van wat jeugdigen en opvoeders van het lokale jeugdhulpaanbod willen en verwachten en het aanbod daarop aan te passen, door uitvoerend medewerkers de gelegenheid te bieden zich te trainen in het klantgericht werken etc.


2

Ook professionals kunnen de informatie in principe gebruiken om zichzelf en elkaar te sturen in de manier waarop gebruikers het nut van hun diensten of hulp ervaren. Bijvoorbeeld, in teambijeenkomsten kan bekeken worden wat de redenen kunnen zijn van gebruikers om ontevreden te zijn; met aansluitende acties kan men proberen het aanbod daarop te verbeteren. De gegevens over de tevredenheid van gebruikers over diensten biedt gemeenten een beeld van wat burgers vinden over het aanbod van de lokale jeugdhulp in de gemeente. Voor cliënten die bijvoorbeeld eenzijdig een hulptraject afbreken is het vaak moeilijk om informatie over hun tevredenheid te achterhalen. De indicator kan daarom voor veel diensten niet los gezien worden van een tweede indicator: ‘de mate waarin er sprake is van uitval uit aanbod in de lokale zorg voor jeugd’.

2 Afbakening: waar gaat het om? Tevredenheid Tevredenheid is een breed begrip. Als er niet in de vraagstelling wordt toegespitst waarover die tevredenheid moet gaan, levert een meting diffuse gegevens. Niet duidelijk is dan welk aspect van tevredenheid in het antwoord van de bevraagde persoon zit verpakt: de ene persoon zal bijvoorbeeld vooral accent leggen op de toegankelijkheid, de ander op bejegening, de ander of het gebouw of een folder er mooi uitziet, de ander weer op ‘wat ik er aan heb’. In de basisset is aangegeven dat het vooral gaat om ‘resultaat’ van de dienstverlening en ondersteuning. Daarnaast is de indicator gericht op het meten van tevredenheid per dienst. In de basisset wordt tevredenheid bovendien toegespitst ‘op de beleving van de gebruiker met betrekking tot de beantwoording van de vraag zodat de persoon in zijn/haar autonomie versterkt is’. Ook gaat het om ‘het wegnemen van de opvoedingsonzekerheid en het vergroten van de eigen kracht en zelfredzaamheid’. Gebruikelijk is om bij tevredenheidsmetingen ook andere aspecten mee te nemen, zoals bejegening en proces. Bij deze indicator worden deze aspecten echter niet meegenomen. De tevredenheid moet zo worden geoperationaliseerd dat het duidelijk maakt in welke mate de gebruiker de dienst nuttig vond én zelf verder kan. Aan veel cliënttevredenheidsonderzoek ligt een model ten grondslag dat tevredenheid of een positieve houding ten aanzien van hulpverlening het gevolg is van de perceptie van een cliënt dat aan zijn of haar verwachtingen over de hulpverlening wordt voldaan. Uit onderzoek komt naar voren dat cliënttevredenheid mogelijk ook samenhangt met andere variabelen zoals ernst van de problemen, duur van de hulp en leeftijd van het kind (Kerkhof, 2009, Ramos e.a. 2006). Er bestaat wel ook empirisch bewijs dat tevredenheid van ouders of verzorgers over de hulpverlening gerelateerd is aan behandeluitkomsten van het kind, dat cliënttevredenheid van de ouder het optimisme over een gunstige behandeling van het kind verhoogt en de betrokkenheid en participatie in ouders in de hulpverlening verstrekt (Kerkhof, 2009). Diensten en resultaten Het meten van de tevredenheid over het resultaat vindt plaats per dienst. Dat vraagt een heldere definitie van de diensten waar het hier om gaat. De indicator zal vooral bruikbaar zijn bij diensten die voor gebruikers duidelijk herkenbaar zijn, en waarbij voor de gebruiker duidelijk resultaat is te benoemen of te ervaren op het moment dat ernaar gevraagd wordt. Het beantwoorden van een dergelijke vraag zal wellicht gemakkelijker gaan bij advies, ondersteuning en hulp bij duidelijke vragen of behoeften. Per dienst zal de operationalisering en de wijze van het meten van de tevredenheid over het resultaat bepaald moeten worden: de tevredenheid over het resultaat van een bezoek aan een website vraagt een andere operationalisatie dan de tevredenheid over het resultaat van een ambulant hulptraject (Van Yperen en Van der Steenhoven, 2011).


3

Binnen het aanbod van het CJG (lokale jeugdhulp) bestaat een grote diversiteit aan diensten (zie inventarisatie diensten). Het is de vraag of het wenselijk en haalbaar voor alle diensten een tevredenheidsmaat uit te werken. Beter is een selectie te maken van vijf tot tien van de belangrijkste diensten (Van Yperen en Van der Steenhoven, 2011). Selectie diensten voor operationalisatie Binnen de lokale jeugdhulp zijn vijf functies (taken) te onderscheiden : 1. Signaleren en toeleiden 2. Voorlichting, advies en pedagogische ondersteuning 3. Organiseren integrale zorg & coördinatie van zorg 4. Monitoren, screenen, vaccineren 5. Samenwerken met het onderwijs Het voorstel is om te starten met het uitwerken van diensten binnen de tweede functie: voorlichting, advies en pedagogische ondersteuning. Deze diensten zullen voor gebruikers over het algemeen goed herkenbaar zijn en het resultaat van deze diensten is goed te beoordelen door gebruikers. Ten aanzien van de taak signaleren en toeleiden lijkt het zinvol om dit in een later stadium op te pakken, in samenwerking met de aanbieders van de diensten waarnaar toegeleid is, om dubbelingen en overvraging bij tevredenheidsmetingen te voorkomen. Ook het meten van tevredenheid over het resultaat van organiseren van integrale zorg en coördinatie van zorg en samenwerking met het onderwijs kan beter in een later stadium worden opgepakt in samenwerking met de betrokken partijen. Tevredenheidsmeting van gebruikers ten aanzien van de resultaten van de vierde kerntaak (monitoren, screenen, vaccineren) kan het beste worden uitgewerkt samen met jgz-specialisten met expertise op dit werkveld. De diensten voorlichting, advies en pedagogische ondersteuning kunnen weer onderverdeeld worden in verschillende typen ‘diensten’. - Informatie en advies (inclusief voorlichting en consultatie): Hier zal het gaan om diensten als folders, website, informatie-bijeenkomsten, een- tot tweemalige (periodieke) contacten voor advies of consultatie. - Professionele hulp en steun: alle hulpverleningstrajecten van drie of meer contacten door een medewerker van het CJG (lokale jeugdhulp). - Informele hulp en steun, georganiseerd door het CJG (een instelling lokale jeugdhulp), zoals ontmoetingsbijeenkomsten van ouders, ondersteuning of hulp door ervaren opvoeders, maatjesprojecten. Binnen deze typen zijn opnieuw veel verschillende diensten te onderscheiden naar vorm en inhoud (zie inventarisatie diensten).

3 Hoe te meten? 3.1 Instrumenten In de jeugdgezondheidszorg, jeugd-ggz, jeugd- en opvoedhulp en in het kader van de Wet Maatschappelijke Opvang (WMO) zijn in de loop der jaren uiteenlopende instrumenten gemaakt om de tevredenheid over de resultaten van gebruikers te meten. De bijlage geeft een overzicht van bestaande instrumenten. Een aantal kenmerken van de vragenlijsten zijn ten behoeve van de operationalisatie van de prestatieindicator ‘tevredenheid over resultaat’ samengevat: (1) Bevat de tevredenheidsvragenlijst een of meerdere items over de resultaten van de hulp of dienst? (2) Bevat de tevredenheidsvragenlijst een of meerdere items over de vraag of de persoon zonder hulp verder kan? (3) Wie bepaalt? De ouders, de jeugdige of anders?


4

(4) Wanneer wordt het instrument ingezet? Standaard na elk contact of periodiek of steekproefsgewijs? (5) Is de kwaliteit van het instrument onderzocht? Onderstaand overzicht laat de resultaten zien.

Instrument

1. Item / schaal resultaat?

2. Item zonder hulp verder?

3. Wie bepaalt

4.Standaard/ periodiek

5. Kwaliteit onderzocht

Monitor jeugdgezondheid

Nee

Nee

-

Standaard

-

CQIjeugdgezondheidzorg

Ja

Nee

Ouders

Periodiek

Ja

BESTE

Ja

Nee

Ouders hulpverlener

Standaard

Ja

Jeugdthermometer ggz

Ja

Nee

Standaard

Ja

Exit-vragenlijst

Ja

Ja

Standaard

Ja

Cliëntentoets (C-toets)

Ja

Nee

Jeugdige 12+ Ouders Jeugdige 12 + Ouders Jeugdige 12+ ouders

Periodiek

Ja

Tevredenheidsonderzoek WMO

Ja

Nee

-

Periodiek

-

Keuze voor een instrument Een belangrijk aandachtspunt bij de keus voor een instrument is dat bij deze indicator niet gaat om de tevredenheid in het algemeen, of bijvoorbeeld de tevredenheid over aspecten als bereikbaarheid, bejegening en dergelijke maar om de tevredenheid over de resultaten. Het instrument moet duidelijk maken in welke mate de gebruiker de dienst nuttig vond én zelf verder kan. De tevredenheidsmeting in de Monitor Jeugdgezondheid is niet bruikbaar voor het meten van de indicator omdat het alleen de tevredenheid in het algemeen meet, niet specifiek over de resultaten. De BESTE, de Exit-vragenlijst, de ggz-thermometer, de CQI jeugdgezondheidszorg en de C-toets bieden bruikbare onderdelen als er sprake is van de dienst professionele steun. De tevredenheidstoets WMO bevat eveneens bruikbare items over het resultaat van diensten maar over de kwaliteit van de vragenlijst zijn geen gegevens bekend. De Exit-vragenlijst biedt als enige een item over de vraag of de cliënt zonder hulp verder kan (Yperen 2011, toets basisset). Een tweede afweging is dat het instrument moet passen bij de dienst: zowel qua inhoud als praktische toepassing. Voor de dienst informatie en advies geldt dat de tevredenheidsmeting uiterst eenvoudig moet zijn. De voorhanden zijnde lijsten zijn voor dit type dienst te uitgebreid en inhoudelijk niet passend. Voor deze diensten zijn alternatieve items nodig. Voor de dienst professionele hulp en steun die niet doorlopend lijken de items van de factor ‘Resultaat’ op de Exit-vragenlijst het meest geschikt. Deze gevalideerde lijst bevat als enige een item over de vraag of de cliënt zonder hulp verder kan (zie bijlage). Voor diensten voor professionele hulp en steun die doorlopend zijn, kunnen items uit de C-toets worden gebruikt. De C-toets is ontwikkeld om periodiek de tevredenheid van cliënten in kaart te brengen. Voor de dienst informele hulp en steun zijn de bestaande lijsten ook niet (voldoende) geschikt. In principe is het mogelijk om ook hier items voor te ontwikkelen. In de consultatiegroep is echter aangegeven dat een tevredenheidsbepaling over het resultaat van de informele hulp en steun op dit moment nog niet gewenst is. Belangrijk is te registreren dát er informele steun plaatsvindt dan dat er in deze ontwikkelingsfase op dit terrein bij gebruikers gemeten en gestuurd wordt.


5

Voorstel items Informatie en advies

-

-

‘Dit was de informatie waarnaar ik op zoek was (ja / voor een deel / nee)’. Bij ongevraagde voorlichting, bijvoorbeeld een voorlichting aan klassen leerlingen op school, of als een persoon geen expliciete vraag heeft gesteld, is het item als volgt formuleren: ‘Dit was informatie die ik belangrijk vind (ja / voor een deel / nee).’ ‘Met deze informatie kan ik zelf verder, ik weet nu wat ik het beste kan doen (ja / voor een deel / nee / niet van toepassing (ik zocht de info voor iemand anders of had het bijvoorbeeld nodig voor studie))’.

Professionele hulp en steun niet doorlopend

Jeugdige 12 + en ouders (van jeugdigen 0-18 jaar) - ‘Ik heb voldoende geleerd om na de hulp zelf verder te gaan (helemaal niet mee eens / niet mee eens / wel mee eens / helemaal mee eens).’ - ‘Het [product/dienst] heeft mij geholpen met de dingen die ik belangrijk vond (helemaal niet mee eens / niet mee eens / wel mee eens / helemaal mee eens).’ - ‘Ik weet waar ik terecht kan als ik nog hulp nodig heb (helemaal niet mee eens / niet mee eens / wel mee eens / helemaal mee eens).’ - ‘Ik heb door de hulp van[product/dienst] meer vertrouwen in de toekomst (helemaal niet mee eens / niet mee eens / wel mee eens / helemaal mee eens).’ - ‘Ik ben door [product/dienst] geholpen met waarvoor ik kwam (helemaal niet mee eens / niet mee eens / wel mee eens / helemaal mee eens).’ - ‘Er is voldoende bereikt door de hulp van ([product/dienst] helemaal niet mee eens / niet mee eens / wel mee eens / helemaal mee eens).’

Professionele hulp en steun doorlopend

Jeugdige 12+ - Ik vind het hulpverleningsplan goed (helemaal niet mee eens / niet mee eens / wel mee eens / helemaal mee eens). - helemaal mee eens). - De hulp helpt mij echt goed (helemaal niet mee eens / niet mee eens / wel mee eens / helemaal mee eens). - Ik verwacht dat mijn doelen behaald gaan worden(helemaal niet mee eens / niet mee eens / wel mee eens / helemaal mee eens).

informele hulp en steun


Ouders (van jeugdigen 0-18 jaar) - Ik vind het hulpverleningsplan goed (helemaal niet mee eens / niet mee eens / wel mee eens / helemaal mee eens). - De hulp helpt ons gezin echt goed (helemaal niet mee eens / niet mee eens / wel mee eens / helemaal mee eens). - Ik verwacht dat de doelen behaald gaan worden (helemaal niet mee eens / niet mee eens / wel mee eens / helemaal mee eens). -

6

Voor de voorgestelde items voor de diensten informatie en advies geldt dat de kwaliteit van de meting nog met onderzoek moet worden geijkt. Dat is niet ingewikkeld, maar moet wel gebeuren. Voor de items van de Exit-vragenlijst en de C-toets is dat niet nodig; deze lijsten zijn al onderzocht.

3.2 Standaard of periodiek De meting is uit te voeren in de vorm van monitoring, waarbij elke gebruiker standaard naar de tevredenheid wordt gevraagd, of via periodiek of steekproefsgewijs onderzoek. Gezien de opbouwfase van het CJG (de lokale jeugdhulp) lijkt de laatste vorm voorlopig de beste. Dat voorkomt dat het hele systeem te zwaar wordt belast. Omdat het voor de organisatie een hele belasting kan zijn om voor alle diensten uit een tevredenheidsmeting uit te werken, het vaak ook niet nodig is om voor alle diensten de tevredenheid continue te meten en het voor gebruiker irritant kan zijn om bij elk contact met het CJG (instellingen voor lokale jeugdhulp) een of meerdere vragen over de tevredenheid voorgeschoteld te krijgen, raden wij aan het totaalpakket goed te doseren. Vraag bijvoorbeeld periodiek en steekproefsgewijs op de meest eenvoudige wijze naar de tevredenheid bij de vijf of tien belangrijkste diensten. Bij periodieke meting gaat het om een meting bij alle gebruikers die in een afgebakende periode het CJG (instellingen voor lokale jeugdhulp) benaderen. Bij steekproefsgewijze meting bepaalt het lot bij welke gebruiker een meting wordt gedaan. De aanpakken zijn eventueel te combineren. De gekozen periode en steekproef moet representatief zijn voor het aantal en type bezoekers dat per jaar te verwachten is. In het rapport wordt de periode van meting en de wijze van steekproeftrekking vermeld.

3.3 Vorm Bij informatie en advies koppelt men de bevraging direct aan de dienst. Bij een meegenomen folder of bezoek aan de website moet men ervan uitgaan dat de respondent de items invult nadat de informatie is gelezen. Bij een mail-, face-to-face- of telefonisch contact komt de meting bij het einde van het contact aan bod. De meting is bij een folder uit te voeren door bijvoorbeeld een kaart aan te hechten met de vragen, twee of drie vragen naar persoonskenmerken, een code van herkomst van de kaart en een antwoordnummer. Bij een websitebezoek zijn de vragen voor te leggen via een link die zichtbaar wordt bij het bezoeken van pagina’s met informatie over opgroeien en opvoeden. Bij een mailcontact is de meting via een antwoordmail voor te leggen. Bij een face-to-face of telefonisch contact is de gebruiker te vragen: ‘Wij doen een onderzoek naar wat u van onze diensten vindt. Mogen we u daarom vijf vragen stellen? Uw antwoorden zijn anoniem’. Er zijn hierbij vervolgens twee varianten toe te passen: (1) een bevraging door de betreffende medewerker of (2) een bevraging door een onafhankelijke derde (‘ik verbind u voor de vragen door naar een onafhankelijk persoon die dit doet’ / ‘buiten de kamer staat een onafhankelijke onderzoeker die dit voor ons doet’). Een zelfde constructie is toe te passen periodiek of steekproefsgewijs onderzoek naar de tevredenheid van gebruikers van reguliere contactmomenten van de jgz, waarbij vaak ook informatie en advies wordt gegeven. Aan het einde van dat contact vraagt men bijvoorbeeld: ‘Wij doen een onderzoek naar wat u van onze diensten vindt. Mogen we u daarom een aantal vragen stellen? Uw antwoorden zijn anoniem’. De vragen zijn weer te stellen door de medewerker zelf of door een onafhankelijk onderzoeker. Men vraagt daarbij onder meer of er in het contact informatie of advies is gegeven. Zo ja, dan volgen de twee items die hierboven zijn beschreven. Afhankelijk van het doel van het onderzoek kan uiteraard ook nog naar andere onderwerpen worden gevraagd. Voor de dienst professionele hulp en steun die niet doorlopend zijn worden vragen uit exitvragenlijst voorgelegd. Afname kan op verschillende wijzen plaatsvinden: •

individuele beantwoording voordat het eindgesprek plaatsvindt en bespreking in het eindgesprek;


7

•

individuele beantwoording en terugzending per post;

•

beantwoording tijdens het eindgesprek;

• telefonische afname na afloop van de hulp; De voorkeur gaat uit naar de eerste methode. Bij voorkeur vult de cliënt de vragenlijst zelfstandig in. Voordat de vragenlijsten kunnen worden afgenomen, moeten deze worden aangepast aan de hulpvorm en de organisatie. Bij doorlopende ondersteuning voert men de meting na 15 contacten uit.

3.4 Bij wie meten? Wie bepaalt? De gebruiker bepaalt de score op de tevredenheid over de resultaten. Als zowel de jeugdige als de ouder worden bevraagd, dan worden de scores als aparte gegevenselementen behandeld. De meting wordt gedaan bij drie typen respondenten: •

anonieme bezoekers (website, email, als onderscheid jeugdige/volwassene niet mogelijk is) en anonieme gebruikers (bijv. bij folders);

•

jeugdigen die op het moment van het eerste contact 12 jaar of ouder tot en met 23 jaar zijn (deze leeftijdsgrenzen worden gehanteerd voor zover de leeftijd is te bepalen) en/of;

•

opvoeders die het CJG (instellingen voor lokale jeugdhulp) benaderen met vragen over (hun) kinderen, ouderschap en/of opvoeding (inclusief docenten die een medewerker uit de lokale jeugdhulp consulteren);

De bovenstaande uitwerking is, gezien de formulering van de indicator, gericht op jeugdigen en ouders. Met een iets andere formulering van de vragen is een parallelle meting te doen professionals die van instellingen voor lokale jeugdhulp informatie of advies krijgen maar dat valt buiten dit project. 3.5 Opslag en aggregatie van gegevens De informatie die verzameld wordt met behulp van deze indicator kan op verschillende niveaus worden gebruikt met als doel de zorg te verbeteren: door medewerkers die de dienst aanbieden, het management van instellingen en de gemeente. Om alle niveaus te bedienen is het wenselijk dat de aanlevering van de gegevens gebeurt apart per dienst en per respondent (geïdentificeerd naar ‘anonieme respondent’, ‘jeugdige’ en ‘opvoeder’). Door diensten te clusteren naar functie of vorm kan op een meer algemeen niveau informatie worden gegenereerd. Voorbeeld uitwerking opslag en aggregatie: Voor de dienst informatie en advies maakt men per type dienst, per type respondent en per item een overzicht van de percentages antwoorden in de verschillende antwoordrubrieken. •

Teller: aantal respondenten in de betreffende antwoordrubriek.

• Noemer: totaal aantal respondenten. Daarnaast levert men een schatting van het deel van de populatie waarop de percentages zijn gebaseerd, zodat duidelijk is in hoeverre de peiling de populatie dekt. De gegevens daarover ontleent men aan indicator 6 (aantal en type bezoekers). •

Teller: totaal aantal respondenten in de meetperiode.

•

Noemer: totaal aantal gebruikers in de meetperiode.

Voor de dienst professionele hulp en steun construeert men per type respondent32 twee gegevenselementen: (1) het gemiddelde van de scores op de tevredenheidsschaal over het resultaat en (2) de percentages waarin gebruikers tevredenheid rapporteren in verschillende scoreklassen. •

Teller: aantal respondenten in de betreffende klasse.


8

• Noemer: totaal aantal respondenten. Daarnaast levert men een schatting van het deel van de populatie waarop de percentages zijn gebaseerd, inclusief een toelichting op hoe de schatting tot stand is gekomen. De duur van professionele hulp en steun kan variëren. Daarom is het lastig te bepalen wat de basis moet zijn van het deel van de populatie waarop de meting is gebaseerd. Daarom kan slechts een schatting worden gemaakt. •

Teller: totaal aantal respondenten in de meetperiode.

•

Noemer: totaal aantal gebruikers waaraan de lokale jeugdhulp in de meetperiode professionele steun heeft geboden

Voor de dienst informele hulp en steun wordt in eerste instantie alleen geteld hoe vaak diensten van dit type worden ingezet. 3.6 Betekenis van de cijfers Om de cijfers betekenis te geven, bevelen we het volgende aan: •

Stel minimale normen. Bijvoorbeeld, geef aan welk percentage tevreden gebruikers men minstens wil zien. Met een lager percentage geen genoegen.

•

Doe aan benchmarking. Vergelijk scores met die van andere gemeenten. Kijk naar welk gemeente opvallend hoog scoort en leer ervan.

Stel later streefnormen op. Zodra wat meer bekend is wat gebruikelijke tevredenheidscijfers zijn, is het zinvol ambities te formuleren: ‘Volgend jaar willen we op score X uitkomen en daar gaan we de volgende verbeteracties voor ondernemen.’ Doe tevens vervolgonderzoek naar de reden van gebruikers om ontevredenheid te rapporteren. Voeg daarvoor periodiek extra vragen toe of benader – zo mogelijk – gebruikers voor een nadere toelichting (Van Yperen en Van der Steenhoven 2011, toets basisset). •

4 Literatuur Jurrius, K. & Kester I. (2009) Zicht op wensen van cliënten. Jeugdbeleid, nummer 3, 119-126 Kerkman, M (2009). Problematiek en cliënttevredenheid. Utrecht: Universiteit Utrecht Krone, E., Rijnkels, H. Vos, F. (2006) Model voor onderzoek klanttevredenheid WMO. Leusden: BMC Monsjou, K. Ploegman, M. & Boersma, A. (2010)Onderzoek basisset indicatoren effectiviteit Centrum Jeugd en Gezin. Amstelveen: Deloitte Ramos, C., Stams, G. J., Stoel, R., Faas, M., Yperen, T. van, & Dekovic, M. (2006). Het meten van cliënttevredenheid in de jeugdzorg. Kind en Adolescent, 27 (3), 157-168 Yperen, van T. & Steenhoven van der P. (2011) Toets basisset CJG-indicatoren. Utrecht (Nedralnads Jeugdinstituut


9

Bijlage: instrumenten voor meten tevredenheid Naam Doel en toepassing

Monitor Jeugdgezondheid De monitor Jeugdgezondheid bevat standaardvraagstellingen van een dertigtal belangrijke indicatoren die een beeld geven over de Jeugdgezondheid.

Items m.b.t. tevredenheid over resultaat

Geen

Wie bepaalt Bruikbaarheid/ hanteerbaarheid Kwaliteit Bron

Naam Doel en toepassing Items m.b.t. tevredenheid over resultaat

In de monitor één item opgenomen over tevredenheid hulpverlening van de GGD*. Dit betreft de algemene tevredenheid over hulp, voorzien van gestandaardiseerde antwoordrubrieken. Gebruiker van de hulpverlening (geen onderscheid naar ouders of kind) Geen informatie Geen informatie *www.monitorgezondheid.nl/jeugdindicatoren.aspx

CQ-index Jeugdgezondheidszorg (Consumer Quality Index) Meten van ervaringen van zorgconsumenten van het consultatiebureau en periodiek gezondheidsonderzoek Er is een item met betrekking tot het resultaat van de dienstverlening van het consultatiebureau. Vond u de bezoeken aan het consultatiebureau nuttig? Nooit Soms Meestal Altijd Daarnaast is de volgende vraag opgenomen (Netpromotorscore): Zou u dit consultatiebureau bij uw vrienden en familie die kinderen hebben (en bij u in de buurt wonen) aanbevelen? Beslist niet Waarschijnlijk niet Waarschijnlijk wel Beslist wel

Wie bepaalt Bruikbaarheid/ hanteerbaarheid Kwaliteit Bron

Ouders Periodiek Betrouwbaarheid: redelijk tot goed. Discriminerend vermogen vragenlijst CB op onderdelen voldoende (bij PGO niet bekend) CQ-index Jeugdgezondheidszorg: meetinstrumentontwikkeling Kwaliteit van de jeugdgezondheidszorg 0-19 jaar vanuit het perspectief van ouders en Kinderen (2009) M. Reitsma-van Rooijen, O.C. Damman, H.J. Sixma, P. Spreeuwenberg, J. Rademakers, Nivel

Naam Doel en toepassing

Beoordelingsschaal voor Tevredenheid en Effect BESTE De BESTE is een vragenlijst om de cliëntsatisfactie en de effecten van ontvangen hulp te meten in de jeugdzorg en de jeugdgezondheidzorg


4 items hebben betrekking op het resultaat van de hulp 1. verandering in gedrag van het kind. 2. verandering in het gezin. 3. verandering in de opvoeding. 4. verheldering van zicht van ouders op het kind.


10

De items worden met behulp van een vierpuntsschaal beantwoord: 1=eerder slechter dan beter geworden, 2=niets veranderd, 3=wel wat veranderd, 4=goed vooruit gegaan Wie bepaalt

Bruikbaarheid/ hanteerbaarheid Kwaliteit Bron (DIRK)

-

Ouders Aanmelder/case manager Hulpverlener

De BESTE wordt na afloop van een hulpverleningsproces afgenomen bij zowel de ouder, de hulpverlener en de aanmelder. Het invullen vraagt een paar minuten tijd. Door de ontwikkelaars is onderzoek gedaan naar de betrouwbaarheid en validiteit. Betrouwbaarheid is goed en constructvaliditeit is voldoende. Meyer de, R.E., Janssen, J. & Veerman, J.W., (2004). Handleiding Beoordelingsschaal Tevredenheid en Effect (BESTE). Nijmegen: Praktikon


Jeugdthermometer GGZ De GGZ Jeugdthermometer is een instrument waarmee instellingen in de geestelijke gezondheidszorg en verslavingszorg kunnen onderzoeken hoe cliënten de geboden zorg waarderen.


Jeugdige 12+ 11 Werd (wordt) het behandel- of begeleidingsplan naar jouw wens uitgevoerd? Ja/nee 12 Vond (vind) je de behandeling of begeleiding de juiste aanpak voor jouw problemen of klachten? 13 Heb je door de behandeling of begeleiding meer greep op je problemen of klachten gekregen? 14 Ben je door de behandeling of begeleiding voldoende vooruit gegaan? 15 Ben je door de behandeling of begeleiding beter in staat de dingen te doen die je wilt? 16 Kun je door de behandeling of begeleiding beter omgaan met mensen of situaties waar je eerder moeite mee had? Ouders behandeling kind 12 10 Is er een behandelplan gemaakt? 11 Heeft u ingestemd met dit behandelplan? 12 Werd het behandelplan van uw kind naar uw wens uitgevoerd? 13 Vond u de behandeling van uw kind de juiste aanpak voor de problemen van uw kind? 14 Vindt u dat uw kind door de behandeling voldoende vooruit is gegaan? 15 Vindt u dat uw kind door de behandeling beter kan omgaan met mensen en situaties, waar het eerder problemen mee had? Ouderbegeleiding Werd het begeleidingsplan voor u naar uw wens uitgevoerd? Vond u de begeleiding van u als ouder de juiste aanpak voor de door u ervaren problemen? Bent u door de begeleiding voldoende vooruit gegaan? Kunt u door de begeleiding beter omgaan met problemen in uw gezinssituatie? Kunt u door de begeleiding beter omgaan met problemen buiten het gezin (school/omgeving)? Vindt u dat de situatie in het gezin door de begeleiding voldoende vooruit is gegaan? Vond u de begeleiding van uzelf voldoende afgestemd op de behandeling van uw kind? De gesloten vragen van de Jeugdthermometer hebben vier


11

Wie bepaalt Bruikbaarheid/ hanteerbaarheid Kwaliteit

Bron (DIRK)



Wie bepaalt Bruikbaarheid/ hanteerbaarheid Kwaliteit

Bron (DIRK)


antwoordcategorieën: 'ja', 'nee', 'weet niet' en 'niet van toepassing'. Van de laatste twee opties is het slechts enkele keren mogelijk deze in te vullen. - Jeugdige vanaf 12 jaar over de behandeling - Ouders over de behandeling van hun kind tot 12 jaar - Ouders over de ouderbegeleiding De GGZ Jeugdthermometer over de behandeling van de jeugdige wordt ingevuld door jongeren ouder dan twaalf jaar en door ouders als de cliënt jonger is dan twaalf jaar. De GGZ Jeugdthermometer over de ouderbegeleiding vullen alleen de ouders in. Er is onderzoek uitgevoerd naar de betrouwbaarheid en validiteit. Betrouwbaarheid en validiteit van de jongeren vragenlijst is voldoende. Ook de kwaliteit van de vragenlijst ouderbegeleiding is voldoende. De betrouwbaarheid vragenlijst van ouders over de behandeling van hun kind kon niet goed worden vastgesteld. http://www.ggznederland.nl/index.php?p=394044 Bransen, M., Kok, I., & Wijngaarden, B. van (2005). De aanpassing van de GGZ Jeugdthermometer versie 2003 tot de GGZ Jeugdthermometer versie 2005. Utrecht: Trimbos-instituut.

Exit vragenlijst Jeugdzorg Het doel van de Exitvragenlijst is het meten van de beleefde effectiviteit van de hulp door de cliënt bij jeugdzorginstellingen. Voor verschillende werkvelden in de jeugdzorg bestaan verschillende versies (Jeugd & Opvoedhulp, Jeugdbescherming en Jeugdreclassering, Pleegzorg) Voorbeeld oudervragenlijst Jeugd & Opvoedhulp: - Ik heb voldoende geleerd om na de hulp zelf verder te gaan. - [Naam instelling] heeft mij geholpen met de dingen die ik belangrijk vond. - Ik weet waar ik terecht kan als ik nog hulp nodig heb. - Ik heb door de hulp van [naam instelling] meer vertrouwen in de toekomst. - Ik ben door [naam instelling] geholpen met waarvoor ik kwam. - Er is voldoende bereikt door de hulp van [naam instelling]. Elk item wordt beantwoord met een vierpuntsschaal 1-4: 1= helemaal niet mee eens, 4= helemaal mee eens - jongeren vanaf 12 jaar - ouders Het instrument wordt gebruikt in de jeugdzorg, na afloop van de hulp. De lijst wordt gekoppeld aan de cliënt en is niet anoniem De methode levert kwantitatieve gegevens op die op landelijk niveau met elkaar te vergelijken zijn. Er is onderzoek verricht naar de psychometrische eigenschappen van de Exit-vragenlijst. De resultaten daarvan zijn niet openbaar. De exit vragenlijst Jeugdbescherming en Jeugdreclassering is nog niet gevalideerd. Jurrius, K., Havinga, L. en Stams, G.J. (2008) Exitvragenlijst Jeugdzorg. Amsterdam: Stichting Alexander http://www.prestatieindicatorenjeugdzorg.nl/instrumenten.php#exit

Cliënten-toets (C-toets) De C-toets heeft als doel op hoofdlijnen te signaleren wat ouders en jongeren vinden van de kwaliteit van de jeugdzorg. 4 items hebben betrekking op het doel en het resultaat van de hulp: Jeugdige 12+ Ik vind het hulpverleningsplan goed Ik heb samen met mijn hulpverlener de doelen van de hulp bepaald


12

De hulp helpt mij echt goed Ik verwacht dat mijn doelen behaald gaan worden Ouders Ik vind het hulpverleningsplan goed Bij beslissingen over de hulp wordt mijn mening belangrijk gevonden De hulp helpt ons gezin echt goed Ik verwacht dat de doelen behaald gaan worden De stellingen zijn te scoren op een vierpuntsschaal (1 = helemaal niet mee eens; 2 = niet mee eens; 3 = mee eens; 4 = helemaal mee eens). Wie bepaalt Bruikbaarheid/ hanteerbaarheid Kwaliteit Bron (DIRK)


Wie bepaalt Bruikbaarheid/ hanteerbaarheid Kwaliteit Bron (niet in DIRK)


- Jeugdige ouder dan 12 - Ouders De C-toets wordt periodiek collectief afgenomen (telefonisch of schriftelijk). De resultaten van de toets worden anoniem verwerkt. Betrouwbaarheid en validiteit is onderzocht. De betrouwbaarheid (interne consistentie) is goed De C-toets versie 2007: evaluatie C-toets versie 2004, aanpassing en verantwoording / K. Jurrius, L. Havinga, G. Strating; Stichting Alexander. - Utrecht : MOgroep, 2007. - 29 p. - (Publicaties Stichting Alexander)

Tevredenheidsonderzoek voor WMO-klanten Meten van tevredenheid over de uitvoering van de Wet maatschappelijke ondersteuning voor klanten Resultaat ( 1 van de items) De dienst, de hulp of de dienst dat u gekregen heeft, biedt ondersteuning in uw dagelijks leven. 21. Hoe tevreden bent u over de dienstverlening, hulpverlening of dienst die u gekregen heeft? 22. De manier waarop alles verlopen en geregeld is. Hoe tevreden bent u hierover? 23. Is door de dienstverlening, hulpverlening of de dienst uw zelfstandigheid vergroot? Hoe tevreden bent u hierover? 24. Kunt u door de dienstverlening, hulpverlening of de dienst aan meer activiteiten buitenshuis deelnemen, of kunt u hierdoor beter functioneren in de samenleving? Hoe tevreden bent u hierover? De stellingen zijn te scoren op een schaal: zeer tevreden, tevreden, ontevreden, zeer ontevreden met een mogelijkheid niet van toepassing Daarnaast wordt gevraagd welke vragen de klant het belangrijkst vindt in de vragenlijst door de drie vragen aankruisen die volgens de klant het beste aangeeft waarover hij tevreden of juist ontevreden is als het gaat om de betreffende dienstverlening of dienst. De gebruiker Voorbeeld vragenlijst die door gemeenten kan worden gebruikt. Niet bekend Model voor onderzoek klanttevredenheid WMO (2006) E, Krone, Rijnkels, H., Vos, F. Leusden: BMC

13

Indicator 1: De mate van tevredenheid van jeugdigen en ouders over de resultaten per dienst

Recommend Documents