Handleiding
29-07-2004
C- t o e t s
09:40
Pagina 1
HANDLEIDING
H A N D L E I D I N G C- t o e t s v o o r d e j e u g d z o r g Feedback van jongeren en ouders over de jeugdzorg Ontwikkeld door Stichting Alexander in opdracht van Programma Kwaliteitszorg in de Jeugdzorg II.
Handleiding
29-07-2004
09:40
Pagina 2
C- t o e t s
Utrecht, juli 2004 De C-toets is door Stichting Alexander ontwikkeld in opdracht van de stuurgroep van het Programma Kwaliteitszorg in de Jeugdzorg II. Stichting Alexander Heleen Jumelet Kitty Jurrius Herenmarkt 93-c 1013 EC Amsterdam De C-toets is op te vragen bij: MOgroep Postbus 3332 3502 GH Utrecht 030-298 34 34 De software-module C-toets werd ontwikkeld door: Research voor Beleid bv Paul Vogels Schipholweg 13-15 Postbus 985 2300 AZ Leiden Grafisch ontwerp door: De Smaakmakers Communicatie, De Meern
HANDLEIDING
Handleiding
29-07-2004
09:40
Pagina 3
C- t o e t s
HANDLEIDING
I N H O U D S O P G AV E
Inleiding
4
1
Het uitzetten van de C-toets
1.1 1.2 1.3 1.4
Voorbereidingen Verspreiding en afname Invoering en verwerking van gegevens Gebruik van de resultaten
6 6 11 12 14
2
Ontwikkeling van de C-toets
17
Bijlage: Instructie voor telefonische afname van de C-toets
20
3
Handleiding
29-07-2004
09:41
Pagina 4
C- t o e t s
HANDLEIDING
DE C-TOETS: EEN INSTRUMENT OM FEEDBACK TE VRAGEN Inleiding ´Zouden ze er echt iets mee doen?´ (Citaat jongere tijdens het ontwerpen van de C-toets)
Vragen aan jongeren en ouders wat zij vinden van de hulp en steun die ze krijgen van de jeugdzorg: het is niet zo vanzelfsprekend of simpel als het lijkt. In opdracht van het Programma Kwaliteitszorg in de Jeugdzorg II heeft Stichting Alexander een plan gemaakt voor integraal cliëntenbeleid in jeugdzorginstellingen, waarbij de instrumenten en expertise die al ontwikkeld zijn in samenhang en ter versterking van elkaar een plaats krijgen. Als onderdeel van een cliënten feedbacksysteem heeft Stichting Alexander de C-toets ontwikkeld. De C(liënten)Toets - biedt een eenvoudige en doeltreffende manier om collectieve feedback te vragen van ouders en jongeren in de jeugdzorg. De C-toets is een schriftelijk of telefonisch af te nemen landelijk inzetbare vragenlijst voor cliëntenfeedback. De lijst bestaat uit een betrouwbare standaardlijst met stellingen die samen met jongeren en ouders geformuleerd zijn. Ook professionals en managers uit de jeugdzorg hebben de stellingen bekeken op hun relevantie. Het tweede deel van de lijst bestaat uit zes stellingen die door iedere instelling zelf in overleg met clienten en hulpverleners wordt ingevuld. Jongeren en ouders en hun beleving van de kwaliteit van de jeugdzorg staan centraal in de C-toets. Het doel van de C-toets is: op hoofdlijnen signaleren wat ouders en jongeren vinden van belangrijke aspecten van de jeugdzorg (sectorbreed) om de uitkomsten gebruiken als basis voor interactieve cliëntenfeedback en het doorvoeren van verbeteringen van de jeugdzorg in cliëntperspectief. Wie kan de C-toets gebruiken? De C-toets is bruikbaar voor verschillende werksoorten binnen de jeugdzorg. De vragen zijn gestandaardiseerd voor alle werksoorten, maar bepaalde werksoortspecifieke termen zijn inwisselbaar. Er zijn verschillende lijsten voor ouders en jeugdigen. De lijst voor jeugdigen is bestemd voor 12 jaar en ouder. De lijst is geschikt voor cliënten van: - Zorgaanbieders binnen de jeugdzorg - Bureau´s jeugdzorg De lijst is niet getest bij - kinderen tot 12 jaar - AMA’s - pleegzorg - kinder- en jeugdpsychiatrie Voor de kinder- en jeugdpsychiatrie en voor de pleegzorg lijkt de lijst goed bruikbaar. Wel zullen zij extra alert moeten zijn op aanpassingen en specifieke terminologie. Voor kinderen jonger dan 12 jaar en voor AMA´s kan de C-toets niet in deze vorm gebruikt worden. Iedere instelling kan gangbare termen gebruiken en stellingen toevoegen die specifiek voor de instelling van toepassing zijn.
4
Handleiding
29-07-2004
C- t o e t s
09:41
Pagina 5
HANDLEIDING
Toepassing De C-toets is een anonieme vragenlijst die als kwaliteitsinstrument ingezet kan worden binnen instellingen voor jeugdzorg. Instellingen die gaan werken met deze lijst krijgen informatie op hoofdlijnen. Door de anonimiteit kunnen de antwoorden niet worden gekoppeld aan individuele hulpverlening. De uitkomst van de C-toets levert informatie die geschikt is voor reflectie binnen de instelling op alle niveaus en kan ingezet worden voor verbeteringen van het primaire proces. Daarnaast biedt het inzetten van de C-toets in de regio de mogelijkheid om de dialoog over kwaliteitsverbetering aan te gaan met collega-instellingen in de keten. De C-toets is niet ontwikkeld om de uitkomsten van instellingen op kwantitatieve basis met elkaar te vergelijken. Bij de ontwikkeling van het instrument is de aandacht primair uitgegaan naar de externe validering, dat wil zeggen: * * *
gaat het om onderwerpen die er volgens jongeren en ouders toe doen? vragen we het op zo´n manier dat jongeren en ouders de vraag relevant én begrijpelijk vinden en krijgen we dus ook respons op de onderwerpen zoals we die bedoeld hebben? leveren de uitkomsten bruikbare informatie op voor instellingen?
De lijst is door de beperkte hoeveelheid stellingen relatief eenvoudig in te vullen door jongeren en ouders. De uitkomsten bieden wel voldoende informatie over voor clienten en uitvoerders belangrijke thema´s om daadwerkelijk mee aan de slag te kunnen gaan. De frequentie van het gebruik van de C-toets moet voldoende ruimte laten om: - de betrokkenheid van cliënten en medewerkers te garanderen en - aan de slag te kunnen gaan met de resultaten. De C-toets: onderdeel van integraal cliëntenbeleid en kwaliteitszorg. Een vragenlijst is een statisch instrument. Om tegemoet te komen aan de eigenheid van instellingen biedt de lijst instellingen de mogelijkheid zelf een aantal instellingsspecifieke stellingen in te voegen. Door ouders, jongeren en professionals te betrekken bij de keuze van onderwerpen voor dit tweede deel ontstaat een activerend element, maar het blijft een instrument waarbij jongeren en ouders worden benaderd als informanten en niet als participanten. Van belang is het jongeren en ouders te betrekken bij het gebruiken van de uitkomsten zodat de lijst onderdeel wordt van integraal cliëntenbeleid. Andere methoden als cliëntenpanels, cliëntenraden en consulententeams dienen naast de C-toets in een integraal systeem te worden ingezet om diepgaander informatie over items te verzamelen én dan methoden te gebruiken die cliënten niet als informant gebruiken, maar als participant en als medeverantwoordelijke voor het hulpverleningsproces. Deze handleiding Deze handleiding bestaat uit twee delen. Het eerste deel bestaat uit een praktische handleiding voor implementatie van de C-toets in de instelling. Het tweede deel beschrijft de ontwikkeling van de vragenlijst en de verantwoording van de gemaakte keuzes.
5
Handleiding
29-07-2004
09:41
Pagina 6
C- t o e t s
HANDLEIDING
1 H E T U I T V O E R E N VA N D E C - T O E T S De implementatie van de C-toets bevat de volgende fasen: 1.1 Voorbereidingen 1.2 Verspreiding en afname van de vragenlijst onder cliënten 1.3 Invoering en verwerking van gegevens 1.4 Gebruik van de resultaten Hieronder vindt u de praktische beschrijving van de fasen, met tips, adviezen en mogelijkheden.
1.1 Voorbereidingen Voordat de C-toets uitgezet kan worden, dient er in de instelling een aantal voorbereidingen plaats te vinden. Het gaat om: A: Aandachtspunten bij de start B: Keuzes bij de uitvoering C: Verzendklaar maken van de C-toets.
A
Aandachtspunten bij de start: Om het uitzetten van de C-toets soepel te laten verlopen en de informatie die eruit komt tot zijn recht te laten komen, is het verstandig om de volgende punten na te lopen. - Plaats de C-toets in een breder kader. Allereerst is het van belang dat de C-toets binnen een breder kader wordt geplaatst. Vragen die gesteld kunnen worden zijn: -
Hoe past de C-toets binnen het beleid van de instelling? Hoe hangt de C-toets met andere instrumenten voor integraal cliëntenbeleid samen? Hoe willen we de uitkomsten gaan gebruiken? Hoe gaan we communiceren over de uitkomsten? Hoe zetten we de toets in als kwaliteitsinstrument en wat is daarvoor nodig? Hoe betrekken we de cliëntenraad bij de C-toets?
- Anticipeer op de resultaten Bedenk vooraf wat er met de resultaten zal gebeuren. Daarbij kunnen bijvoorbeeld de volgende vragen worden gesteld: - Wie is verantwoordelijk voor de resultaten en mogelijke acties als gevolg van de resultaten? - In hoeverre kunnen uitkomsten van de C-toets tot veranderingen binnen de instelling leiden? - Zijn er financiële middelden beschikbaar om veranderingen door te voeren? - Hoe worden cliënten op de hoogte gebracht van de resultaten? - Betrek het secretariaat Het is van belang dat het secretariaat in een vroeg stadium bij het overleg wordt betrokken, in verband met het verzendklaar maken van de C-toets. Adressenbestanden kennen vaak veel ‘ruis’: er staan verkeerde adressen in of ze kloppen niet meer. Het controleren van de adressen en telefoonnummers van cliënten dient in een vroegtijdig stadium te gebeuren. Let op de cliënten waarbij de C-toets gevoelig kan liggen, zoals: -
Cliënten die wel een intake hebben gehad, maar die bijvoorbeeld door een cliëntenstop nooit behandeling hebben gekregen. Cliënten die een geheime plaatsing hebben. 6
Handleiding
29-07-2004
C- t o e t s
09:41
Pagina 7
HANDLEIDING
- Informeer medewerkers, cliënten, collega-instellingen en regionale overheden Informeer en betrek medewerkers van de instelling over en bij de C-toets, zodat zij op de hoogte zijn van het traject. Zij zijn immers degenen die met een belangrijk deel van de uitkomsten aan de slag gaan. Geef aan wat het doel van de C-toets is, wanneer het traject loopt, wie erbij betrokken zijn, etc. Wanneer een cliënt bijvoorbeeld met een vraag over de C-toets bij zijn hulpverlener komt, is het prettig dat de hulpverlener antwoord kan geven op deze vraag, of een naam heeft naar wie de cliënt doorverwezen kan worden. Informeer ook jongeren en ouders over de C-toets. Creëer de gelegenheid om medewerkers en cliënten te betrekken bij de instellingsspecifieke stellingen. Informeer ook collega-instellingen in de regio en de regionale overheid dat de C-toets wordt afgenomen. - Verdeel taken en reserveer tijd en middelen Stel vast wie verantwoordelijk is voor de verschillende werkzaamheden binnen het traject. Reserveer hierbij voldoende tijd voor de verschillende taken. U kunt de volgende richtlijnen hanteren: -
Vooroverleg met management (3 uur) Aanspreekpunt binnen de instelling (1 uur per week gedurende 3 - 5 maanden) Beschikbaarheid van medewerkers of cliënten om extra vragen te formuleren voor de vragenlijst (1 x 2 uur per medewerker/cliënt) Administratieve ondersteuning voor het in overleg met het aanspreekpunt verzendklaar maken van de C-toets en het versturen (twee dagen voor het versturen van 200 brieven) Een of meerdere medewerkers voor het afnemen van telefonische interviews (een persoon vijf middagen/ avonden voor 60 interviews) Een of meerdere medewerkers voor het invoeren van de gegevens (een persoon een dag voor 70 vragenlijsten) en het presentatie-klaar maken ervan (1 dag) Beschikbaarheid van medewerkers en directie voor het interpreteren van de uitkomsten en het bespreken van beleidsgevolgen (3 uur)
Voorbeeld tijdsspanne September: Vooroverleg en voorbereidingen, instellingsspecifieke stellingen formuleren, controleren adressenbestand. Oktober: Verzendklaar maken en versturen C-toetsen November: Verzamelen C-toetsen, telefonische afname, starten met invoeren. December: Analyseren gegevens, rapportage en presentatie voorbereiden Januari: Bespreken beleidsgevolgen, opstellen plan van aanpak
B
Keuzes bij de uitvoering Voordat de C-toets uitgezet kan worden, moet er een aantal keuzes worden gemaakt. Dit betreft het tijdstip, de doelgroep, de wijze van afname, de indeling naar locatie, groep, of hulpvorm, de terminologie, en de instellingsspecifieke stellingen. - Kies een geschikt tijdstip U kunt als richtlijn hanteren dat het gehele traject van de C-toets (van vooroverleg tot eindrapportage) in een periode van 3 tot 5 maanden plaats vindt. Houd er rekening mee dat u een goed tijdstip kiest om het traject af te lopen. Kies een tijdstip waarop medewerkers en cliënten beschikbaar en bereikbaar zijn. Verspreid de C-toets bijvoorbeeld niet in juli of augustus in verband met de zomervakantie, veel jongeren (en ouders) zullen dan niet bereikbaar zijn. Houd rekening met de vakanties van uw medewerkers. Informeer tevens of het materiaal en de middelen die nodig zijn voor de C-toets in orde zijn op het moment dat het traject loopt. Plan de verspreiding van de C-toets bijvoorbeeld niet wanneer er een nieuw registratieprogramma wordt geïnstalleerd en adressen, telefoonnummers en gegevens van cliënten slecht op te vragen zijn. 7
Handleiding
29-07-2004
09:41
Pagina 8
C- t o e t s
HANDLEIDING
Het is verstandig een lijst met factoren te maken die de respons nadelig kunnen beïnvloeden en vervolgens uw keuze daarop te baseren. - Kiezen van de doelgroep De keuze is aan de instelling om te bepalen welke doelgroep ze willen benaderen. De C-toets biedt een vragenlijst voor jongeren en ouders/verzorgers. De lijst kan onder alle cliënten worden uitgezet, maar een instelling kan er ook voor kiezen om een specifieke groep cliënten aan te schrijven. Mogelijke doelgroepen zijn bijvoorbeeld cliënten uit een specifieke hulpvorm, op verschillende locaties, etc. De C-toets is ontwikkeld om op één moment zowel huidige cliënten als ex-cliënten te vragen naar feedback over de instelling. Let bij het kiezen van de doelgroep wel op dat de C-toets is bedoeld om trends weer te geven met betrekking tot de instelling. Het is mogelijk om te differentiëren naar hulpvorm of locatie, echter de groepen die worden gekozen moeten wel groot genoeg zijn. De C-toets is bijvoorbeeld minder geschikt om informatie per leefgroep te verzamelen, omdat de groepen en te verwachten respons te klein zijn. De C-toets biedt de optie om de doelgroep in te delen naar locatie, groep of hulpvorm. Hierbij kan de instelling kiezen uit één van de volgende vragen: 1. Op welke locatie ontvang je hulp/ontvangt uw kind hulp? 2. In welke groep zit je/uw kind? 3. Welke hulpvorm ontvang je/ ontvangt uw kind? Bij de vraag die u kiest, kunt u (maximaal) 5 antwoordmogelijkheden geven. Deze antwoordmogelijkheden moeten voor de cliënt herkenbaar zijn. De verschillende antwoordmogelijkheden moeten groot genoeg zijn om te kunnen verwachten dat er genoeg respons komt om ook uitspraken te kunnen doen over de specifieke groep. Om waarde te kunnen hechten aan de resultaten wordt aangeraden om in ieder geval te streven naar een respons van minimaal 15 C-toetsen per locatie, groep of hulpvorm. Bij telefonische afname kan de instelling rekenen op een respons van ongeveer 45 % en bij schriftelijke afname op een respons van ongeveer 25%. Deze percentages zijn gebaseerd op de pilots met de C-toets. Afgaande op deze responspercentages kunt u de volgende richtlijnen hanteren: -
Bij telefonische afname verstuurt u (minimaal) 2.5 maal zoveel vragenlijsten als de respons waarnaar u streeft. Bij schriftelijke afname verstuurt u (minimaal) 4 maal zoveel vragenlijsten als de respons waarnaar u streeft. Voorbeeld U heeft als doelgroep jongeren gekozen, en heeft daarbij voor de vraag gekozen: ‘Welke hulpvorm ontvang je?’. U kiest hierbij voor de volgende 4 antwoordmogelijkheden:‘Dagbehandeling’‘Consultatieplaatsing’ ‘Kortdurende plaatsing’ en ‘Ambulante gezinsbehandeling’. U streeft naar een respons van 15 vragenlijsten per hulpvorm. U heeft gekozen voor schriftelijke afname. U verstuurt per hulpvorm minimaal 60 vragenlijsten.
Let op! - Het aantal cliënten per hulpvorm kan natuurlijk verschillen. Meer brieven versturen of meer inspanningen om mensen telefonische te bereiken leveren een hogere respons op en verhogen daarmee de kwaliteit van de resultaten. - De responspercentages kunnen per hulpvorm/locatie variëren, houd hier rekening mee. Wanneer het aantal cliënten zo laag is dat op basis van de responspercentages niet verwacht kan worden dat 15 C-toetsen per hulpvorm geretourneerd zullen worden, is het verstandiger om de onderverdeling in hulpvorm niet toe te passen.
8
Handleiding
29-07-2004
C- t o e t s
09:41
Pagina 9
HANDLEIDING
- Wijze van afname De instelling kiest op welke wijze de vragenlijst wordt afgenomen: schriftelijk of telefonisch, of op een andere wijze (zoals mondelinge afname). Op basis van pilots met de C-toets (zie Verantwoording C-toets 2003) biedt deze handleiding alleen informatie over schriftelijke en telefonische afname. Het is aan de instelling om de voor- en nadelen van de verschillende wijzen van afname tegen elkaar af te wegen, hierbij is een combinatie ook mogelijk. De vooren nadelen van de verschillende wijzen van afname staan hieronder beschreven. Telefonische afname Wanneer u ervoor kiest de vragenlijst telefonisch af te nemen, stuurt u cliënten de C-toets met een begeleidende brief waarin wordt aangegeven wanneer de cliënt door een medewerker van de instelling wordt gebeld. Cliënten kunnen dan alvast kennis maken met de vragenlijst. Voordelen Het grootste voordeel is dat telefonische afname een hogere respons heeft; gemiddeld 45% van de aangeschreven cliënten zal meewerken aan de C-toets. Daarnaast kent de populatie meer spreiding: als de cliëntenpopulatie bijvoorbeeld bestaat uit een grote groep allochtone cliënten of cliënten met een lage opleiding verdient telefonische afname de voorkeur. Bovendien kan de medewerker die de lijst afneemt op deze manier meer uitleggen aan de cliënt en antwoorden van de cliënt meer uitdiepen. Nadelen Telefonische afname kost de instelling wel meer tijd en moeite (dus geld). Ouders en jongeren kunnen bovendien vinden dat telefonische afname de vragenlijst minder anoniem maakt en cliënten door de medewerker beïnvloed kunnen worden. Het is aan de medewerker die de C-toets afneemt om te benadrukken dat de C-toets anoniem is en dat het eerlijk beantwoorden van de lijst belangrijk is. Het telefonisch afnemen vraagt van de medewerker specifieke gespreksvaardigheden. Overigens is in de bijlage van deze handleiding een telefooninstructie opgenomen. Schriftelijke afname Wanneer u ervoor kiest de vragenlijst schriftelijk af te nemen, stuurt u cliënten de C-toets met een begeleidende brief waarin wordt gevraagd of cliënten de C-toets willen invullen en retourneren. U kunt ook zoeken naar andere manieren om de toets schriftelijk af te nemen; bijvoorbeeld in het gebouw waar jongeren en ouders komen/verblijven. Let dan wel op de anonimiteit en maak cliënten duidelijk hoe u die anonimiteit waarborgt. Voordelen Het schriftelijk afnemen is minder arbeidsintensief, dus goedkoper. Schriftelijk invullen van de C-toets kunnen cliënten als anoniemer ervaren, wat de wijze waarop zij antwoorden kan beïnvloeden. De cliënt kan zelf het tijdstip uitkiezen en eigen tempo nadenken over de antwoorden. Nadelen Schriftelijke afname levert over het algemeen een lagere respons op dan telefonische afname; ongeveer 25 % aangeschreven cliënten beantwoordt de vragenlijst. Bovendien worden bepaalde doelgroepen (allochtonen, laagopgeleiden) minder goed bereikt, hetgeen de spreiding negatief beïnvloedt. Sommige ouders en jongeren zullen telefonisch wel uitgenodigd worden hun mening te geven, terwijl een toegestuurde vragenlijst in de stapel papieren verdwijnt.
Terminologie De C-toets biedt de optie om de terminologie van de vragenlijst (gedeeltelijk) aan te passen aan de terminologie van de instelling. - Het ontwikkelen van de instellingsspecifieke stellingen. De C-toets biedt de instelling de mogelijkheid zelf 6 stellingen te formuleren. Dit levert naast extra informatie, ook 9
Handleiding
29-07-2004
09:41
Pagina 10
C- t o e t s
HANDLEIDING
de mogelijkheid op de betrokkenheid instellingsbreed te vergroten. Essentieel onderdeel van het tweede deel van de lijst is de inbreng van cliënten en medewerkers. Voorbeeld 1. Management introduceert tijdens een medewerkersoverleg de C-toets. Samen met medewerkers brainstormen zij over onderwerpen die specifiek voor de eigen instelling gelden. Twee- of drietallen formuleren elk een stelling. Voorbeeld 2. Een instelling zet op verzoek van de cliëntenraad de C-toets in. De cliëntenraad formuleert stellingen die zij graag aan andere cliënten voor zou willen leggen. Voorbeeld 3. Een instelling organiseert een bijeenkomst met cliënten die de C-toets zullen volgen. Zij formuleren samen ste l l i ngen en inte rp rete ren na afloop samen de uitkomsten, en be s p re ken met het management ve r be te rvoo r s tellen. Instellingen (en cliënten) zijn vrij om de inhoud van de stellingen te bepalen, waardoor stellingen over zeer uiteenlopende onderwerpen kunnen gaan. Het is aan de instelling en de cliënten om te bepalen welke onderwerpen relevant zijn. Om zo betrouwbaar mogelijke uitkomsten te krijgen gelden de volgende voorwaarden voor de formulering van de stellingen: • de stellingen passen in de systematiek van de C-toets (niet in vorm van vraag!) Niet goed: Wel goed:
Wat vind jij van de bereikbaarheid van Bureau Jeugdzorg? De bereikbaarheid van Bureau Jeugdzorg is goed.
• de stellingen zijn positief gesteld Niet goed: Wel goed:
Mijn hulpverlener heeft geen tijd voor mij. Mijn hulpverlener heeft voldoende tijd voor mij.
• altijd één onderwerp per stelling, zo specifiek mogelijk Niet goed: Wel goed: Of:
Bij deze instelling word je vriendelijk ontvangen en meteen geholpen. Bij deze instelling word je vriendelijk ontvangen Bij deze instelling word je meteen geholpen
• de stellingen zijn helder en eenduidig (geen vage en dubbelzinnige stellingen!) Niet goed: Wel goed:
Een cliëntenraad of een andere vorm van participatie is misschien wel een goed idee. Een cliëntenraad vind ik een goed idee.
• De stelling is te beantwoorden met de antwoordmogelijkheden: 'helemaal niet mee eens/niet mee eens/wel mee eens /helemaal mee eens' - Nogmaals mening geven Bij de schriftelijke C-toets is een losse bladzijde opgenomen, waarop cliënten kunnen aangeven of ze nogmaals hun mening willen geven. Instellingen kunnen deze bladzijde mee versturen, maar dat hoeft niet! De instelling kan kiezen uit één van de volgende mogelijkheden. Wij willen graag in contact komen met jongeren die ... - Mee willen praten over de resultaten van de C-toets tijdens een bijeenkomst - Interesse hebben om deel te nemen aan de cliëntenraad/jongerenraad 10
Handleiding
29-07-2004
09:41
Pagina 11
C- t o e t s -
HANDLEIDING
Een keer deel willen nemen aan een ontmoeting met andere cliënten om over hun ervaringen met de hulpverlening te praten.
Met het versturen van het extra blad verplicht de instelling zich om ook daadwerkelijk contact op te nemen met de cliënten die dit blad terugsturen.
C
Verzendklaar maken C-toets
Bij het verzendklaar maken van de C-toets moeten de volgende acties worden ondernomen: Aanpassen van de vragenlijst Zelf nog invoeren of aanpassen: - Het logo en de naam van de instelling - De gemaakte keuzes met betrekking tot de indeling naar locatie, groep of hulpvorm; de terminologie; - de instellingsspecifieke stellingen. Aanpassen van de begeleidende brieven Zowel voor ouders, als voor jongeren zijn er twee verschillende brieven beschikbaar. Een voor telefonische afname, en een voor schriftelijke afname. Zelf nog invoeren of aanpassen: Telefonische afname - Het logo en de naam van de instelling - Naam van de contactpersoon - Datum vanaf wanneer er gebeld kan worden - Manier waarop de resultaten bekend worden gemaakt Schriftelijke afname - Het logo en de naam van de instelling - Naam van de contactpersoon - Datum wanneer de C-toets geretourneerd moet zijn - Manier waarop de resultaten bekend worden gemaakt Druk de brief af op briefpapier van de instelling. Dit maakt de C-toets persoonlijker. In de brief moet de instelling aangeven over welke instelling de C-toets gaat. Cliënten hebben vaak hulp van meerdere instellingen. Om te voorkomen dat zij de vragenlijst invullen op basis van ervaringen in andere instellingen is het van belang dat zij weten over welke instelling het gaat. De naam alleen als omschrijving is dan soms niet voldoende. Een korte omschrijving van de hulp of de locaties, evenals het gebruik van een herkenbaar logo kunnen hierbij helpen. Controleren van de adressen en telefoonnummers Voor u de C-toets naar cliënten verstuurt, is het nodig om de adressen van de cliënten (nogmaals) te controleren, en te bekijken of de telefoonnummers van de cliënten die u telefonisch gaat benaderen aanwezig en correct zijn.
1.2 Verspreiding en afname Hieronder staan richtlijnen voor het verspreiden van de C-toets voor telefonische afname en schriftelijke afname. Telefonische afname Verstuur pakketjes waarin : - De begeleidende brief voor telefonische afname voor jongeren of voor ouders/verzorgers - De C-toets (enkelzijdig, eventueel gekleurd papier).
11
Handleiding
29-07-2004
09:41
Pagina 12
C- t o e t s
HANDLEIDING
Begin met bellen op de dag die staat aangegeven in de brief. Gebruik hierbij de telefonische leidraad (zie bijlage). Hierin staat duidelijk beschreven hoe telefonische afname het best verloopt. Schriftelijke afname Verstuur pakketjes waarin: - De begeleidende brief voor schriftelijke afname voor jongeren of voor ouders/verzorgers - De C-toets (enkelzijdig, eventueel gekleurd papier) - Een antwoordenvelop (liefst gefrankeerd en geadresseerd) Maak intern afspraken over waar de C-toetsen worden verzameld. Verstuur eventueel een herinnering, dit leidt tot meer respons.
1.3 Invoering en verwerking van de gegevens Voor het invoeren van de gegevens is de bijgeleverde applicatie geschikt. In dit computerprogramma is een uitgebreide handleiding opgenomen. De gegevens kunnen ook ingevoerd worden met behulp van andere programma’s zoals SPSS en Excel. Ongeacht het programma geldt altijd dat diegene die de gegevens invoert voldoende deskundigheid heeft om de gegevens zorgvuldig in te voeren. Vooral de eerste keren vergt het enig zoekwerk, later kan de deskundigheid aan anderen overgedragen worden. Voor de verwerking van de gegevens is het altijd nodig personen in te zetten die kennis hebben over en liefst ook invloed uit kunnen oefenen op verbeterprocessen in de jeugdzorg. De doelstelling is immers dat het materiaal gebruikt gaat worden. Dat vereist een weergave van de uitkomsten die helder is en tevens motiveert om er mee aan te slag te gaan. Hieronder volgen samengevat algemene opmerkingen en adviezen, geschikt voor zowel de gebruikers van de applicatie als die van andere programma’s. Een aantal daarvan werken we in deze paragraaf verder uit: -
Wees zorgvuldig bij het invoeren van de gegevens, zorg voor voldoende deskundigheid op het gebied van de software die wordt gebruikt; Lees hierna op welke wijze de gegevens verwerkt kunnen worden en wat je wel en niet met het cijfermateriaal kunt doen; Wees voorzichtig met het trekken van conclusies; zorg voor voldoende deskundigheid bij het interpreteren van gegevens; Besef dat de uitkomsten op de stellingen en de open vragen bewerkt moeten worden voordat het als informatie voor cliënten, medewerkers en management kan dienen. Stel de norm hoog: het is immers bekend dat veel cliënten geneigd zijn hoge scores toe te kennen uit loyaliteit naar de instelling en vooral de hulpverleners.
Om de resultaten van de C-toets optimaal te benutten is het nodig om zowel de scores op de stellingen als de antwoorden op de open vragen te analyseren en te beschrijven. De volgende vragen bieden een leidraad voor de analyse: : -
Hoe geef je de uitkomsten van de stellingen weer? Hoe verwerk je de uitkomsten op de open vragen? Hoe kun je stellingen en open vragen combineren? Hoe trek je conclusies?
12
Handleiding
29-07-2004
09:41
Pagina 13
C- t o e t s
HANDLEIDING
Hoe geef je de uitkomsten van de stellingen weer? Aan elk antwoord van cliënten is een score toegekend: Score 1 2 3 4
Betekenis van de score Helemaal niet mee eens Niet mee eens Wel mee eens Helemaal mee eens
Aangeraden wordt om voor elke stelling de gemiddelde score te berekenen door de scores van alle respondenten per stelling te middelen. Op deze manier kan aan elke stelling een score worden toegekend. Dit levert een getal op, dat uitdrukt hoe de respondenten gemiddeld de stelling waarderen. Het is zinvol om de stellingen met elkaar en met het totale gemiddelde te vergelijken. Op basis van de eerste C-toets kan de instelling zelf normen stellen. Hier zijn diverse mogelijkheden voor. Bedenk wel dat clienten geneigd zijn om bij vragenlijsten relatief hoge scores toe te kennen aan onderwerpen, hoger dan bijvoorbeeld tijdens een gesprek of een inspectie het geval is. Een mogelijkheid is om als norm de gemiddelde score te hanteren. Bijvoorbeeld: Een stelling kent een gemiddelde score van 2,54. Vergeleken met de overige 20 stellingen scoort deze stelling de op vijf na laagste score.Tevens scoort de stelling onder het totale gemiddelde van 2,91. Dit maakt deze stelling tot een aandachtspunt. Een instelling kan naar aanleiding van de eerste uitkomsten een norm afspreken. De vijf laagst gewaardeerde stellingen kan de instelling in ieder geval als aandachtspunt opnemen. Let op: om resultaten met elkaar te kunnen vergelijken raden we aan te werken met gemiddelde scores en niet met percentages op de antwoorden. Omdat stelling 21 de algemene tevredenheid betreft, geldt voor deze stelling een uitzondering. Extra berekeningen die kunnen worden uitgevoerd: - Het totale gemiddelde. Dit bereken je door de scores van alle algemene stellingen te middelen. Het totale gemiddelde is bruikbaar om de overige scores van de stellingen mee te vergelijken. - het percentage respondenten dat de instelling zou aanraden bij een ander (stelling 21). Het percentage cliënten dat stelling 21 positief heeft beantwoord (d.w.z. score 3 en 4) kan als nulmeting worden meegenomen voor volgende C-toetsen. Op zich geeft dit percentage niet veel informatie, pas in relatie met volgende C-toetsen krijgt dit percentage betekenis. - het gemiddelde rapportcijfer. Omdat cliënten het leuk vinden om een rapportcijfer te geven en instellingen graag een rapportcijfer zien is de vraag om een rapportcijfer gesteld. Bekend is dat rapportcijfers doorgaans geen betrouwbare indicator zijn voor de algemene tevredenheid. Wel kan deze, net als stelling 21 worden meegenomen als nulmeting voor de vergelijking met volgende C-toetsen. Hoe verwerk je de uitkomsten op de open vragen? Het verwerken van de open vragen gaat het makkelijkst met een computerprogramma. Invoeren De antwoorden kunnen onder elkaar worden ingevoerd. Het is handig om alle antwoorden op de zelfde vraag onder elkaar te zetten. Bijvoorbeeld eerst alle antwoorden op ‘waar ben je tevreden over’, dan alle antwoorden op ‘en waar ben je minder tevreden over’ en dan alle antwoorden op ‘ruimte voor opmerkingen’. Lezen Het is goed om vervolgens alle antwoorden een keer door te lezen om een algemene indruk te krijgen. In de kantlijn kunnen steekwoorden worden geschreven om onderwerpen te kunnen bepalen. De onderwerpen uit de 13
Handleiding
29-07-2004
09:41
Pagina 14
C- t o e t s
HANDLEIDING
inhoudsopgave van dit verslag kunnen als voorbeeld dienen, maar er kunnen natuurlijk ook onderwerpen ter sprake worden gebracht die specifiek voor de instelling gelden. Sorteren De antwoorden kunnen vervolgens gesorteerd worden. Dat betekent dat alle antwoorden die met hetzelfde onderwerp te maken hebben bij elkaar worden gezet. Samenvatten Per onderwerp kan een samenvatting worden geschreven, die bestaat uit de rode lijn én de uitzonderingen. Voor de kwalitatieve antwoorden geldt dat de aandacht uitgaat naar uitspraken die frequent zijn gedaan, maar tevens aandacht wordt besteed aan uitspraken die maar één iemand doet. Zeker wanneer het onderwerpen betreft die cliënten op eigen initiatief aandragen, zijn individuele uitspraken zeer waardevol. Antwoorden die kernachtig formuleren wat meerdere cliënten zeggen kunnen als illustratie bij de samenvatting worden opgenomen. Hoe kun je stellingen en open vragen combineren? Voor elke stelling kan de instelling in de open vragen gericht zoeken naar toelichtingen, aandachtspunten en ook tegenstellingen die cliënten met betrekking tot dit onderwerp opschrijven. Als een instelling bijvoorbeeld positief scoort op stellingen die gerelateerd zijn aan bejegening dan kunnen opmerkingen bij de open vragen hiervoor illustratief zijn. Als instellingen bijvoorbeeld laag scoren op bereikbaarheid is het zinvol te zoeken of de bevindingen bij de open vragen waarin jongeren en ouders zelf hun mening formuleren daar extra informatie over leveren. Tijdens de pilots blijkt dit vaak voor te komen, maar het vereist wel dat diegene die de verwerking verzorgd actief naar dergelijke verdieping op zoek gaat. . Hoe trek je conclusies? Per onderwerp kan de instelling een aantal conclusies trekken. In de conclusies worden de resultaten kort samengevat . Er worden nog geen aanbevelingen of actiepunten geformuleerd. Het gaat om uitspraken die je heel direct op basis van de feedback van cliënten kunt doen, met aandacht voor: -
Opvallende resultaten Perspectief van cliënten met betrekking tot de verschillende stellingen Ideeën die cliënten zelf naar voren brengen
1.4 Het gebruik van de resultaten We kunnen het niet vaak genoeg stellen: zet de C-toets alleen in als u daadwerkelijk benieuwd bent naar de resultaten en de uitkomsten aantoonbaar gaat gebruiken voor kwaliteitshandhaving en- verbetering. Om gebruik te kunnen maken van de resultaten is een heldere en motiverende rapportage van belang. Op het moment dat de uitdraai van de resultaten de printer uitrolt begint immers het proces van verdieping en gebruik van de uitkomsten. De conclusies die een deskundig iemand op basis van de resultaten heeft geformuleerd dienen als basis voor het formuleren van actiepunten. De volgende vragen bieden een leidraad voor het formuleren van actiepunten en verbeterplannen: 1 Hoe informeer je cliënten, medewerkers en directie? 2 Op welke niveaus zet je verbeteracties in? 3 Op welke wijze betrek je cliënten bij het vervolg?
1
Hoe informeer je cliënten, medewerkers en directie?
Het is van belang binnen de instelling iemand aan te wijzen die zorgdraagt voor de presentatie van de resultaten. De informatie dient alle relevante afdelingen en niveaus te bereiken. 14
Handleiding
29-07-2004
09:41
Pagina 15
C- t o e t s
HANDLEIDING
De resultaten van de hele instelling kunnen worden uitgedraaid en gepresenteerd, maar ook van een bepaald type hulp of een bepaalde doelgroep. Leg vast op welke wijze naar wie gerapporteerd wordt. Pas als de informatie op verschillende niveaus van de organisatie besproken is, kan het gebruikt worden voor verbeteringen in de hulp en dienstverlening. We raden aan al bestaande overleggremia - zoals teamvergaderingen, MT-overleg, stafoverleg en bijeenkomsten van de cliëntenraad – hiervoor te gebruiken. Afhankelijk van het soort overleg en het doel van de presentatie wordt gekozen voor meer of minder gedetailleerde informatie. Daarnaast is het belangrijk dat de informatie niet eenmalig wordt verstrekt. Instellingen kunnen voor de verspreiding bijvoorbeeld gebruik maken van hun reguliere communicatiemiddelen zoals een eigen periodiek. Een speciale uitgave kan eveneens goed werken. Een brief naar medewerkers, ouders en jongeren met een korte samenvatting is medewerkers, ouders en jongeren. Vergeet in ieder geval nooit de terugkoppeling naar de cliënten zelf! Tijdens de pilots hebben verschillende instellingen de uitkomsten gepresenteerd aan cliënten. Dit leidt tot boeiende, interactieve bijeenkomsten. Kortom: de antwoorden op de volgende deelvragen zijn nodig voor een zorgvuldige en brede verspreiding: - Wie zorgt voor de presentatie en verspreiding van de uitkomsten? - Wie moeten de resultaten krijgen? - Op welke wijze informeren we verschillende niveaus in de organisatie, cliënten en collega-instellingen? Hoe gedetailleerd? - Op welke wijze zorgen we er voor dat de resultaten op verschillende niveaus van de organisatie wordt besproken en gebruikt voor kwaliteitsverbetering van de hulp? - Op welke wijze kunnen verschillende bestaande overlegmomenten hier al voor ingezet worden? - Hoe informeren we cliënten die hebben deelgenomen aan de C-toets?
2
Op welke niveaus zet je verbeteracties in?
De resultaten vormen aanleiding voor nader onderzoek en actie. Het heeft op hoofdlijnen inzicht opgeleverd in de beleving van cliënten over de hulp. De eerste afname kan worden gezien als een nulmeting. Het is boeiend daarna resultaten te vergelijken, zeker bij onderwerpen waar op specifieke acties hebben plaatsgevonden. In vervolgmetingen kunnen ook de open stellingen benut worden om op het gevolg van verbeteracties in te gaan. Om verbeteracties te kunnen starten is het nodig de betekenis van de resultaten te duiden voor: - het beleid van de instelling; - het primaire proces (denk bijvoorbeeld aan hulpverleningsplanning, doelrealisatie en contact en bejegening); - het beleid gericht op verschillende doelgroepen; - de informatievoorziening; - Deskundigheidsbevordering bij medewerkers; - Inspraakmogelijkheden; - Beschikbaarheid/bereikbaarheid; - Eigen onderwerpen uit bijvoorbeeld de extra stellingen. En dan is het van belang dat het management op basis van de uitkomsten beslist welke actie(s) ondernomen gaan worden. Stel in ieder geval prioriteiten: beter één actie helemaal afmaken dan drie helemaal niet. Helder moet zijn: - Om welke actie(s) het gaat; - Wat het gewenste resultaat is; - Wie het gaat doen onder welke condities; - Wie er verder bij betrokken zijn onder welke condities; - Wanneer en binnen welke termijn het gaat plaatsvinden.
15
Handleiding
29-07-2004
09:41
Pagina 16
C- t o e t s 3
HANDLEIDING
Op welke wijze betrek je cliënten bij het vervolg?
De resultaten geven altijd aanleiding om op andere wijze actief aan de slag te gaan met feedback en participatie van jongeren en ouders. Als binnen een instelling een cliëntenraad functioneert zullen de uitkomsten uitgebreid met en door hen besproken worden. Zij kunnen op basis hiervan het management adviseren voor vervolgacties. Een mogelijkheid om meer feedback te krijgen op bepaalde onderwerpen zijn bijvoorbeeld panelgesprekken, Jongeren-/OuderInspectieTeams (audits), ronde tafelgesprekken of interviews. Door deze interactieve vormen van feedback en medezeggenschap komt binnen de instelling de dialoog op gang over verbeteringen van de hulp in cliëntperspectief. Dit lukt alleen als professionals actief betrokken zijn. Ook onderzoeken naar en verbeteringen van de effectiviteit kunnen hun basis vinden in dergelijk interactief cliëntenbeleid De volgende deelvragen bieden een kader: - Hoe kunnen cliënten betrokken worden bij het inzetten van verbetering? Kunnen we gebruik maken van panelgesprekken, jongeren/ouder inspecties of cliëntenraad? - Welke doelgroepen hebben we niet bereikt met de C-toets? Welke extra activiteiten zetten we in om die doelgroepen om feedback te vragen? - Welke nieuwe vragen komen er voort uit de resultaten, welke (interactieve) feedback is nodig om die te beantwoorden? Tot slot De C-toets is afgerond: in hoofdlijnen is bekend wat cliënten vinden van bepaalde aspecten van de hulp. Naast antwoorden heeft dit nieuwe, maar gerichte vragen opgeleverd. Het is nu aan de instelling om de uitkomsten te gebruiken om te reflecteren op beleid en uitvoering en samen met cliënten actiepunten te formuleren. Zouden ze er echt iets mee doen? Het antwoord is aan u….
16
Handleiding
29-07-2004
09:42
Pagina 17
C- t o e t s
HANDLEIDING
2 O N T W I K K E L I N G VA N D E C - TO E T S De C-toets is ontwikkeld door Stichting Alexander, vanuit de idee dat statische vragenlijsten en activerende methoden voor participatie van ouders en jongeren elkaar kunnen versterken. 2.1 Het vaststellen van de inhoud Om te zorgen dat de C-toets aansluit bij het perspectief van de cliënt (jeugdigen en diens ouders/verzorgers) op de kwaliteit van de jeugdzorg is de lijst gebaseerd op uitkomsten van ander cliëntenfeedbackonderzoek (zoals PSJ-onderzoeken Zuid Holland, LPJ-monitor, JongerenInspectieTeams, OuderInspectieTeams en Consulententeams in de jeugdzorg), en sluit de lijst aan op de basiscriteria, de kinder/ouderkwaliteitscriteria en op KWIS. Daarnaast is bij de ontwikkeling van de C-toets gebruik gemaakt van de expertise die is opgedaan met diverse andere vragenlijsten, zoals de Jeugdthermometer GGZ (NIZW, 2001) en het klanttevredenheidsonderzoek Gezinsvoogdij-instellingen (Vedivo/Veldkamp marktonderzoek, 2001). Vervolgens is een conceptlijst uitgebreid getoetst door ouders en jongeren op inhoud en begrijpelijkheid in cliëntenpanels. Clienten vonden stellingen duidelijker dan gesloten vragen en hebben input gegeven voor aanvullende onderwerpen en de formulering. Daarnaast hebben hulpverleners en managers van de jeugdzorg hun mening gegeven over de kwaliteit van de lijst. In twee pilots zijn vervolgens de psychometrische en kwalitatieve aspecten van de vragenlijst onderzocht. Na vaststelling van de vragenlijst heeft een uitgebreid experiment plaatsgevonden waaraan alle zorgaanbieders binnen de provincie Noord Holland hebben deelgenomen. Deze pilot heeft onder andere input voor deze handleiding opgeleverd. Op basis van deze activiteiten is de definitieve C-toets en de handleiding vastgesteld. De C-toets bestaat uit de volgende onderdelen:
•
Algemene vragen over het kind en het gezin. (Soort hulp, sekse, leeftijd, culturele achtergrond, opleiding, duur van de hulp, hulp afgesloten)
Op basis van ervaringen met de C-toets in de pilot krijgt de instelling de mogelijkheid om naar locatie, groep of hulpvorm te vragen. Hierbij kunnen er maximaal 5 antwoordmogelijkheden voor de cliënt worden gegeven. De instelling moet kiezen welke optie de meeste informatie oplevert bij het verwerken van de gegevens. Wanneer een instelling meer wil differentiëren, wordt aangeraden om verschillende vragenlijsten binnen de instelling uit te zetten en deze afzonderlijk te analyseren. Uit de pilots blijkt dat alle algemene gegevens op één of meerdere stellingen significant verschillen. De algemene gegevens geven een beeld van de groep respondenten en geeft de instelling de mogelijkheid te bepalen in welke mate bepaalde groepen cliënten zijn vertegenwoordigd in de respondentengroep.
•
21 stellingen met vier antwoordmogelijkheden.
Uit de panels met cliënten en ander cliëntenonderzoek blijkt dat vooral jongeren stellingen duidelijker vinden dan gesloten vragen. Bewust is gekozen voor een beperkt aantal stellingen. Hiermee blijft de lijst makkelijk om in te vullen voor cliënten. Bij de ontwikkeling van de lijst is veel aandacht uitgegaan naar externe validering: levert de lijst gegevens op die er toe doen en begrijpen cliënten de vragen, zodat ze ook invullen wat ze vinden. Tijdens cliëntenpanels is aan cliënten gevraagd drie onderwerpen op te schrijven die voor hen van belang zijn voor tevredenheid van de hulp. Ook is hen gevraagd waar ze meer inspraak in zouden willen. Een uitgebreide lijst met stellingen is voorgelegd met het verzoek deze in te vullen en de 20 belangrijkste stellingen aan te geven. Daarnaast is gevraagd op welke wijze de lijst en de stellingen verbeterd zouden kunnen worden en of de terminologie klopt. Tevens is gevraagd wat 17
Handleiding
29-07-2004
09:42
Pagina 18
C- t o e t s
HANDLEIDING
men vindt van de antwoordmogelijkheden en wat de mening van cliënten is over het al dan niet anoniem invullen van de lijst. Dezelfde vragen zijn ook voorgelegd aan hulpverleners. Op basis van de literatuurstudie, ervaring en bovenstaande zijn de stellingen gekozen die een goede dekking vormen van relevante onderwerpen. Daarnaast is gekozen voor stellingen die zorgen voor specifieke informatie en de beste verklaring voor de mening van jongeren en ouders geven. Gekozen is voor een vier-puntsschaal (1='helemaal niet mee eens' tot 4='helemaal mee eens'). Ouders en jeugdigen vinden een vijf-puntschaal lastig in te vullen, en een drie-puntsschaal differentieert te weinig. Bovendien heeft de vierpuntsschaal als voordeel dat het de cliënt dwingt een keuze te maken. De definitieve antwoordcategorieën en stellingen zijn vastgesteld middels kwantitatieve en kwalitatieve analyses.
•
Maximaal 6 instellingsspecifieke stellingen (door instelling zelf te formuleren) over onderwerpen waar de instelling meer over wil weten.
Op basis van de wensen van instellingen is gekozen om een deel van de lijst door de instelling zelf te laten invulen. Op deze wijze kent de C-toets een intern activerend element en sluit de lijst nog beter aan op de informatiebehoefte van de instelling.
•
Een vraag om een rapportcijfer te geven voor de hulp bij de instelling.
Op basis van ervaringen met het ontwerpen van schriftelijke vragenlijsten is een algemene vraag naar tevredenheid van de hulp in de vorm van een rapportcijfer opgenomen. Deze vraag bevindt zich aan het einde van de vragenlijst zodat de cliënt zich een mening heeft kunnen vormen op basis van de stellingen. Uit analyses blijkt dat voorzichtigheid is geboden bij het interpreteren van dit cijfer. (Zie kwantitatieve onderbouwing)
•
Twee open vragen die de cliënt de mogelijkheid geven zijn mening te noteren.
Hoewel open vragen lastiger te verwerken zijn, geven zij veel extra informatie en bieden de gelegenheid aan iedere cliënt ook iets te benoemen dat niet in de gesloten vragen naar voren komt. Bovendien hebben open vragen een activerend element en betrekken zij de cliënt meer bij de vragenlijst. Uit de pilots blijkt dat met name twee open vragen serieus worden ingevuld. (‘Waar bent u tevreden over?’ en ‘en waar ben je minder tevreden over?’) Daarom zijn deze twee open vragen opgenomen.
•
Ruimte voor opmerkingen
Hoewel deze ruimte niet altijd wordt ingevuld, is deze toch in de lijst opgenomen omdat het voor de cliënt de mogelijkheid geeft om extra informatie/opmerkingen te geven.
•
Een aparte pagina waar de cliënt wordt gevraagd of hij/zij nogmaals zijn/haar mening over de hulp wil geven (middels meepraten over de resultaten van de C-toets tijdens een bijeenkomst; een cliëntenraad; deelname aan een ontmoeting met andere cliënten). Hierbij moet de instelling echter garanderen dat de antwoorden op de C-toets niet in verband worden gebracht met naam en adresgegevens van de cliënt; de C-toets is anoniem.
De C-toets is een anonieme vragenlijst. Op basis van de ervaringen met de pilot wordt de mogelijkheid voor het invullen van de naam alleen aangeboden wanneer hier ook een concreet verzoek aan verbonden is.
2.2 Psychometrische en kwalitatieve aspecten Om de psychometrische en kwalitatieve aspecten van de vragenlijst te kunnen onderzoeken, is de lijst verder uitgetest in een uitgebreider experiment met een grotere groep respondenten. De lijst voor ouders is uitgetest bij MKD 't Kabouterhuis in Amsterdam. De lijst voor jeugdigen is uitgetest bij Bureau Jeugdzorg Overijssel. In dit experiment zijn de psychometrische en kwalitatieve aspecten van de vragenlijst 18
Handleiding
29-07-2004
C- t o e t s
09:42
Pagina 19
HANDLEIDING
onderzocht. Voor een uitgebreide verantwoording wordt verwezen naar de notitie: Verantwoording van de C-toets, Stichting Alexander, juni 2003. Aandacht is besteed aan: - De afname van de C-toets - De gebruiksvriendelijkheid voor de cliënt met betrekking tot lay-out, inhoud, antwoordcategorieën en anonimiteit. - Kwantitatieve onderbouwing van de C-toets Met behulp van factoranalyse, betrouwbaarheidsanalyse en inhoudelijke interpretatie zijn de schalen bekeken. Uit onderzoek blijkt dat de stellingen niet duidelijk onder schalen zijn in te delen. Toch is er gebruik gemaakt van kopjes en zijn de stellingen op basis van KWIS ingedeeld. Hierbij geldt de waarschuwing dat de indeling alleen is gemaakt om de lijst overzichtelijker te maken voor cliënten en om aan te sluiten bij KWIS. Er mogen echter geen gemiddelden uit de afzonderlijke schalen getrokken worden, dit wordt psychometrisch niet ondersteund. Daarnaast is met betrouwbaarheidsanalyse bekeken in welke mate de C-toets betrouwbaar is. Zowel de lijst voor ouders/verzorgers als de lijst voor jeugdigen is betrouwbaar wanneer alle stellingen samen worden genomen. Regressieanalyses zijn uitgevoerd om te bekijken welke stellingen van de C-toets het algemene oordeel over de hulp verklaren. Hiervoor is het rapportcijfer gebruikt als indicator voor het algemene tevredenheidsoordeel. In beide lijsten blijken 6 à 7 stellingen een duidelijke bijdrage te leveren aan de hoogte van het rapportcijfer. Voor de lijst van ouders/verzorgers zijn dit echter andere stellingen dan voor de lijst voor jeugdigen. Verder moet er niet teveel waarde aan het rapportcijfer worden gehecht. Allereerst omdat de hoogte van rapportcijfers weinig blijken te varieren; ten tweede omdat een rapportcijfer anders wordt gebruikt door ouders/verzorgers dan door jeugdigen (die vaak nog op school te maken krijgen met rapportcijfers); ten derde omdat slechts 6 à 7 van de 20 stellingen het rapportcijfer voorspellen; ten vierde omdat het rapportcijfer in deze context niet vergeleken mag worden met andere vragenlijsten; als laatste omdat het rapportcijfer heel algemeen is en het niet duidelijk is waarop een rapportcijfer wordt gegeven en welke specifieke informatie het rapportcijfer geeft. Tenslotte is bekeken welke stellingen en vragen met elkaar correleren en welke vragen differentiëren. Voor de vragenlijst voor jeugdigen blijkt dat de vragenlijst meer gedifferentieerd wordt ingevuld dan de vragenlijst voor ouders/verzorgers. Op basis van deze gegevens is de definitieve versie van de C-toets vastgesteld. Het eindresultaat van de pilots is een definitieve vragenlijst die zowel kwalitatief als kwantitatief goed ondersteund wordt.
19
Handleiding
29-07-2004
09:42
Pagina 20
C- t o e t s
HANDLEIDING
Bijlage: Instructie voor telefonische afname van de C-toets Achtergrond informatie voor afnemer telefonische interviews
•
Waarom dit onderzoek? We willen weten wat cliënten van de hulp vinden, zodat we de hulp kunnen verbeteren.
•
Voor wie is dit onderzoek bedoeld? Cliënten van de instelling
•
Hoe lang duurt de afname? Waarschijnlijk ongeveer 20 minuten
•
Wat is de C-toets? De volledige naam is cliëntentoets: een vragenlijst waarin naar de mening over de hulp wordt gevraagd. De C-toets bevat diverse soorten vragen: 1. Algemene vragen over bijvoorbeeld de leeftijd en etniciteit. 2. Stellingen over de kwaliteit van de hulpverlening 3. Tevredenheid in de vorm van rapportcijfer 4. Aantal open vragen over de hulp Aan het einde kunnen de cliënten hun naam opgeven (dit hoeft niet) als zij nogmaals hun mening willen geven. Alle antwoorden zullen echter anoniem behandeld worden! Wat moet u doen? Dit is een leidraad voor het afnemen van de C-toets. Probeer de leidraad zo goed mogelijk te volgen. Dit maakt de afname makkelijker en zorgt ervoor dat er geen vragen worden overgeslagen. Het is echter mogelijk dat u onderbroken wordt, bijvoorbeeld door vragen van de cliënt. Probeer deze vragen -indien mogelijk- te beantwoorden. Als dit niet lukt kunt u aangeven daar later over terug te bellen of aanbieden dat iemand anders telefonisch contact opneemt naar aanleiding van de vraag. Ga vervolgens weer verder waar u was gebleven. Let bij de afname op de volgende dingen: 1. -
Neem een neutrale, vriendelijke houding aan: Geen oordeel laten merken Het antwoord niet voor een ander invullen Geen voorbeelden noemen Stiltes niet direct opvullen, ruimte geven om te antwoorden.
2. Probeer de leiding van het gesprek te houden, zorg dat de cliënt niet teveel afdwaalt van het onderwerp. 3. Herhaal de antwoordmogelijkheden bij de gesloten vragen af en toe. Dit is duidelijker voor de cliënt. 4. -
Bij de antwoorden op de open vragen is het van belang dat u:. Herhaalt of samenvat wat de cliënt zegt vervolgens vraagt of het goed is als u het antwoord zo opschrijft vraagt of de cliënt nog iets wil toevoegen
!!!Houdt u op de adressenlijst goed bij wie u al gebeld heeft en nog (terug) moet bellen!!!
20
Handleiding
29-07-2004
09:42
Pagina 21
C- t o e t s
HANDLEIDING
Makkelijk om bij de hand te houden: - pen en papier - stapel vragenlijsten - adressen en telefoonnummers Leidraad voor het gesprek
•
Goedemorgen/middag/avond. Ik ben .......................................... van [naam instelling]
•
Ik ben op zoek naar ..................Zou ik hem/haar kunnen spreken? ja: Doorgaan nee: Wanneer kan ik het beste terugbellen?
datum: ................................... tijdstip: .................................. telefoonnummer: ..............
•
Bel ik gelegen? ja: Doorgaan nee: Zou ik een andere keer mogen bellen? nee: Afsluiten van het gesprek ja: Wanneer kan ik het beste terugbellen?
datum: ................................... tijdstip: .................................. telefoonnummer: ..............
•
Ik bel omdat wij graag willen weten wat je/u van de hulp van [naam instelling] vindt. Omdat jij/u betrokken bent -of bent geweest- bij de hulp, kunt u/jij het beste aangeven wat u/je wel en niet goed vindt aan de hulp. De instelling heeft mij gevraagd dit te doen omdat uw/jouw mening nodig is om te weten wat ze goed doen en wat ze eventueel moeten veranderen. Ik ben zelf geen hulpverlener, maar ben er voor om te zorgen dat alle antwoorden goed genoteerd worden.
•
Als het goed is heb je/heeft u vorige week een vragenlijst ontvangen. Heb je/heeft u deze nog? ja: Zou u/je deze er misschien bij willen halen? nee: Zou ik u/je toch een aantal vragen mogen stellen? nee: Afsluiten van het gesprek ja: Doorgaan
•
Ik ga u/je een aantal vragen stellen over de hulp van [naam instelling]. Ik hoop dat u/je de tijd wil nemen op iedere vraag een antwoord te geven. Ik beloof u/je dat de antwoorden anoniem behandeld worden. Het duurt ongeveer 15 minuten. Heeft u nog vragen voordat we beginnen? ja: vragen beantwoorden nee: doorgaan
•
Dan begin ik nu met de eerste vraag.
Na het afnemen van de vragenlijst… - Geef aan wat er gaat gebeuren met de resultaten - Vraag of de cliënt nog vragen heeft - Bedank hartelijk voor het gesprek en rond af
21
Handleiding
29-07-2004
C- t o e t s
09:42
Pagina 22
HANDLEIDING
22
Handleiding
29-07-2004
C- t o e t s
09:42
Pagina 23
HANDLEIDING
23
Handleiding
29-07-2004
C- t o e t s
09:42
Pagina 24
HANDLEIDING
24
