1 Pilot GGZ 2011-2012 Online afnemen van cliëntervaringen binnen de ROM Cyclus
Dr. Lieke Boonen Drs. Marja Appelman Dr. Xander Koolman Bouke-Jan Otter, MSc Dr. Marloes Zuidgeest Dr. M
SiRM – Strategies in Regulated Markets Nieuwe Uitleg 24 2514 BR Den Haag Rotterdam, 20 november 2012
2
1/111
Inhoud Belangrijkste bevindingen ............................................................................................................................ 4 1
Aanleiding .................................................................................................................................................. 8
2
Plan van aanpak ontwikkeling vragenlijst.................................................................................... 10
3
4
5
6
2.1
Programma van Eisen ................................................................................................................... 10
2.2
Opstellen pilot vragenlijst ........................................................................................................... 12
2.3
Beoordeling van de pilotvragenlijst ......................................................................................... 14
2.4
Eindbeoordeling ............................................................................................................................. 15
Ontwikkeling van de pilotvragenlijst ............................................................................................ 16 3.1
Stap 1 tot en met 4 – selectie mogelijke vragen .................................................................... 16
3.2
Stap 5 - focusgroepen om de belangscores per thema te bepalen .................................. 17
3.3
Stap 6 - Opstellen mogelijke vragenlijsten ............................................................................ 18
3.4
Stap 7 – Beoordeling (ex-ante) pilot vragenlijsten .............................................................. 19
3.5
Stap 8 - Testdag met cliënten ......................................................................................................26
3.6
Stap 9- opstellen uiteindelijke pilotvragenlijst .................................................................... 28
Resultaten pilotfase ..............................................................................................................................30 4.1
Uitvraag gegevens ..........................................................................................................................30
4.2
Schonen en opbouwen databestand ........................................................................................ 32
4.3
Respons en representativiteit .................................................................................................... 35
4.4
Psychometrische analyses ........................................................................................................... 40
4.5
Onderscheidend vermogen ........................................................................................................43
4.6
Geaggregeerde score ......................................................................................................................47
4.7
Vergelijking CSQ en CQI thema’s ............................................................................................ 48
4.8
Inkorten vragenlijst ...................................................................................................................... 49
Conclusies en aanbevelingen nieuwe vragenlijst GGZ cliëntervaringen .......................... 52 5.1
Conclusies ......................................................................................................................................... 52
5.2
Aanbevelingen ................................................................................................................................. 53
Referentielijst ........................................................................................................................................ 56
Bijlage A: Programma van Eisen ............................................................................................................... 60 Bijlage B: Raamwerk ex-post analyse van de pilot vragenlijst .........................................................63
2
2/111
Bijlage C: Inventarisatie bestaande vragenlijsten ...............................................................................74 Bijlage D: focusgroep, expertgroep en Stuurgroep .............................................................................78 Bijlage E: Criteria op vraagniveau ............................................................................................................ 80 Bijlage F: Opgestelde vragenlijsten ......................................................................................................... 84 Bijlage G: WAR Notitie 6 april ................................................................................................................... 86 Bijlage H: Reactie WAR op het voorstel van SiRM .............................................................................. 89 Bijlage I: Pilot vragenlijst............................................................................................................................. 90 Bijlage J: tabellen en grafieken ...................................................................................................................95 Bijlage K: Definitieve vragenlijst ............................................................................................................. 101 Bijlage L: Knelpunten analyse voor implementatie ......................................................................... 106
2
3/111
Belangrijkste bevindingen Naar aanleiding van de kritieken op de huidige Consumer Quality Index (CQI) vragenlijst om cliëntervaringen te meten binnen de kortdurende ambulante Geestelijke GezondheidsZorg (GGZ) en VerslavingsZorg (VZ), hebben zorgverzekeraars, zorgaanbieders en patiëntenorganisaties bij Stichting Miletus een verzoek neergelegd om een gestandaardiseerde, korte, vragenlijst te ontwikkelen om cliëntervaringen binnen de GGZ en VZ te meten. Stichting Miletus heeft hiertoe een onderzoek laten uitvoeren door SiRM.
Centrale doelstelling van het onderzoek is: ‘Het ontwikkelen en testen van een vragenlijst om op een gestandaardiseerde manier, binnen de ROM cyclus, cliëntervaringen te kunnen meten’ De belangrijkste vereisten die door de betrokken partijen gesteld zijn aan de nieuwe vragenlijst zijn: •
Vragenlijst die voldoet aan de informatiebehoeften van zowel zorgaanbieders, zorgverzekeraars als cliënten;
•
Een vragenlijst die binnen 3 minuten is in te vullen;
•
Een vragenlijst die binnen de ROM cyclus online en continu kan worden uitgevraagd.
Op grond van ons onderzoek adviseert SiRM een verkorte vragenlijst met maximaal vijf CQI thema’s (‘bejegening’, ‘vervulling hulpwensen’, ‘bereikbaarheid’, ‘informatie over behandeling’ en ‘keuzemogelijkheden’ met in totaal 13 onderliggende vragen), waarderingsvraag (rapportcijfer), één aanbevelingsvraag,
één
twee effectvragen en twee
achtergrondvragen. In totaal betekent dit dat de vragenlijst bestaat uit 19 vragen (zie Tabel 1). Tabel 1: vragen in de uiteindelijke verkorte vragenlijst
Vraag 1 2 3 4 5 6 7 8 9 10
Neemt de behandelaar u serieus? Legt uw behandelaar u dingen op een begrijpelijke manier uit? Begrijpt uw behandelaar in voldoende mate wat uw klachten zijn? Is/was de behandeling naar uw mening de juiste aanpak voor uw klachten? Wordt/werd het behandelplan naar uw wens uitgevoerd? Is het een probleem om een afspraak met uw behandelaar snel te laten plaatsvinden? Is het een probleem om uw behandelaar overdag tussen 9.00 en 17.00 uur telefonisch te bereiken? Heeft u informatie gekregen over de behandelingsmogelijkheden die er voor uw klachten zijn? Heeft u informatie gekregen over hoe u met uw klachten om kunt gaan? Heeft u informatie gekregen over het resultaat dat u van de behandeling kunt verwachten?
2
4/111
Vraag 11 12 13 14 15 16 17 18 19
Heeft u informatie gekregen over andere vormen van behandeling of ondersteuning zoals zelfhulpprogramma’s, cliëntondersteuning, patiëntenverenigingen, E-hulp en alternatieve geneeswijzen Kunt u uw voorkeuren aangeven voor een bepaalde vorm van een behandeling? Kunt u kiezen uit verschillende soorten behandelingen? Zijn er samen met u doelen voor de behandeling geformuleerd? Heeft uuw doelen dankzij de behandeling bereikt? Hoe waarschijnlijk is het dat u deze instelling bij anderen, met dezelfde problematiek, aanbeveelt? Welk cijfer geeft u aan de behandeling? Een 0 betekent heel erg slecht. Een 10 betekent uitstekend. Hoe zou u over het algemeen uw gezondheid noemen?
Wat is uw hoogst voltooide opleiding? (een opleiding afgerond met een diploma of
getuigschrift) Deze vragenlijst voldoet aan de gestelde vereisten in het programma van eisen. Daarbij zijn 6 van de 8 verplichte indicatoren binnen het Jaarverslag Maatschappelijke Verantwoording (JMV) opgenomen. De indicatoren die niet opgenomen zijn (evaluatie van de behandel/begeleidingsplannen en continuïteit van zorg) hebben een lage belangscore. Aanbevolen wordt om met het Kwaliteitsinstituut na te gaan wat de verplichte indicatoren worden voor het JMV als bovenstaande vragenlijst opgenomen wordt voor een landelijke uitvraag. Voor de definitieve validatie van de vragenlijst bij het Centrum Klantervaring Zorg (CKZ) bevelen we aan om tijdens de eerste landelijke meting het onderscheidend vermogen van de nieuwe cliëntervaringsvragenlijst in kaart te brengen en te rapporteren aan het CKZ. Met deze aanbeveling volgen we het advies van het CKZ. Het CKZ heeft namelijk positief gereageerd op de uitkomsten van onderhavig onderzoek en heeft aangegeven mogelijkheden te zien om de vragenlijst op basis van de huidige gegevens voorlopig te valideren. Bij een landelijke uitvraag dient dan nog gekeken te worden naar het onderscheidend vermogen.
Totstandkoming vragenlijst Voor de totstandkoming van deze vragenlijst heeft SiRM diverse stappen doorlopen, die in het achtergrondrapport uitgebreid worden toegelicht. Hier noemen we de belangrijkste punten. Op basis van de opgestelde vereisten heeft SiRM een inventarisatie gemaakt van de bestaande vragenlijst binnen de GGZ om cliëntervaringen te meten, deze vormen het startpunt van het onderzoek. Tijdens een aantal gebruikersbijeenkomsten zijn met alle gebruikers de belangscore van alle afzonderlijke vragen in kaart gebracht. Naast de belangscores hebben we, op basis van de CQI meting uit 2011, gekeken naar een aantal selectiecriteria om een verkorte vragenlijst op te stellen. De selectiecriteria zijn gebaseerd op de criteria die binnen het CKZ gebruikt worden om een CQI vragenlijst te verkorten en te ontwikkelen. Dit betrof het onderscheidend vermogen per vraag, het percentage missende waarden
2
per vraag, de scheefheid per vraag en het verbeterpotentieel. In
5/111
samenspraak met een aantal partijen (het CKZ, expertgroep, de Stuurgroep GGZ en Stichting Miletus) is de verkorte vragenlijst opgesteld die getest is in de pilotfase. De verkorte vragenlijst voor de pilot bevatte 28 vragen, te weten de vijf CQI thema’s, de waarderings- en aanbevelingsvraag , twee effectvragen en acht CSQ (Consumer Satisfaction Questionnaire) vragen. Door de experts is aanbevolen om vast te houden aan de bestaande CQI thema’s en tijdens de pilotfase na te gaan of deze thema’s aangepast konden worden. Door de Stuurgroep is de wens uitgesproken omnaast de CQI thema’s ook de CSQ op te nemen in de pilotvragenlijst. Binnen de pilot wordt nagegaan in welke mate de CSQ voldoet aan de programma van eisen en in welke mate er correlatie is tussen de CQI thema’s en de CSQ.. Stichting Miletus heeft de opgestelde vragenlijst in een pilot uitgezet onder zeven instellingen waarbij de uitvraag gekoppeld is aan de ROM cyclus. Tijdens de pilot is gebleken dat de Routine Outcome Measurement (ROM) cyclus nog niet bij alle instellingen zodanig is ingericht dat de CQI vragenlijst opgenomen kan worden in de reguliere ROM uitvraag. Binnen de pilotmeting kwamen daardoor minder respondenten beschikbaar dan vooraf verwacht. Daarnaast bleken niet alle achtergrondkenmerken opgenomen in de ROM databestanden, wat leidt tot de noodzaak deze, tot de ROM systemen in orde zijn, uit te vragen binnen de cliëntervaringsvragenlijst (zie ook onderstaande aanbevelingen). Op basis van de resultaten kunnen slechts voorlopige conclusies getrokken worden over de representativiteit. Dit vanwege de beperkte beschikbaarheid van gegevens. De eerste resultaten laten wel zien dat de respons in voldoende mate representatief is voor de populatie binnen de instellingen. De resultaten laten verder zien dat de CQI schalen in de verkorte vragenlijst betrouwbaar en valide zijn. De kwaliteit van de ingevulde vragenlijsten is hoog. De vergelijking tussen de CQI en de CSQ heeft laten zien dat de CSQ in sterke mate correleert met de meer subjectieve schalen en items binnen de CQI zoals bejegening, de waarderingsvraag en de aanbevelingsvraag. De CSQ wordt sterker beïnvloed door achtergrondkenmerken dan de CQI schalen. Gegeven de gestelde vereisten wordt aanbevolen om de CQI schalen uit te vragen in combinatie met de waarderingsvraag, de aanbevelingsvraag en de effectvragen. Deze laatste kunnen uitgevraagd worden in plaats van de CSQ. De resultaten hebben laten zien dat twee CQI schalen, namelijk ‘bereikbaarheid’ en ‘bejegening’, met een vraag verkort kunnen worden. Daarnaast wordt aanbevolen na te gaan of de informatiewaarde van de schaal ‘keuzemogelijkheden’ nog voldoende is om deze schaal op te nemen in de vragenlijst. Dit is een beleidsmatige keuze.
2
6/111
Aanbevelingen Uit het onderzoek komen een aantal aanbevelingen naar voren voor de implementatie van de verkorte vragenlijst voor de kortdurende ambulante GGZ: •
Blijf de achtergrondkenmerken (gezondheid en opleiding) uitvragen om de CQI schalen die gebruikt worden om op Kiesbeter.nl instellingen met elkaar te vergelijken en te kunnen corrigeren voor deze achtergrondkenmerken. Vooral de wat
meer
subjectieve
schalen
zijn
gevoelig
voor
verschillen
in
achtergrondkenmerken. Voor rapportage via BRAM (Stichting Benchmark GGZ) is het niet nodig om scores vooraf te corrigeren voor achtergrondkenmerken. Gebruikers van BRAM zullen namelijk instellingen onderling met elkaar te vergelijken door in te zoomen op één of meerdere subcategorieën volgens bepaalde criteria, zoals leeftijd en geslacht (stratificeren). Dit is een alternatieve wijze van correctie van achtergrondkenmerken; •
Vraag de achtergrondkenmerken binnen de cliëntervaringsvragenlijst uit zolang deze nog niet beschikbaar zijn binnen de ROM systemen;
•
Integreer de cliëntervaringsvragenlijst binnen de ROM systemen via een continue uitvraag. Stel hiervoor een eenduidige werkinstructie inclusief codeboek op zodat alle analyses, behalve de vergelijkende analyses, binnen de ROM systemen kunnen worden uitgevoerd;
•
Vraag de verkorte vragenlijst online uit;
•
Rapporteer de resultaten op zowel instellings- als afdelingsniveau. Op afdelingsniveau lijken de eerste resultaten meer onderscheidend dan op instellingsniveau. Vanwege het geringe aantal waarnemingen per instelling en per afdeling konden we in onderhavig onderzoek alleen verkennende analyses uitvoeren naar het onderscheidend vermogen. Deze verkennende analyses laten zien dat het onderscheidend vermogen op afdelingsniveau groter is dan het onderscheidend vermogen op instellingsniveau. Dit houdt in dat er meer variatie is tussen afdelingen dan tussen instellingen.
Tot slot heeft SiRM een aantal aanbevelingen voor vervolgonderzoek: •
Onderzoek of het al dan niet anoniem uitvragen leidt tot een vertekening in de antwoorden op de individuele items en de CQI schalen. Door de vormgeving van
2
7/111
de pilot is het niet mogelijk om hierover op basis van de beschikbare gegevens uitspraken te doen; •
Ga na of het thema ‘keuzemogelijkheden’ nog voldoende informatiewaarde heeft. Dit thema is niet onderscheidend en heeft de laagste belangscores van de vijf CQI thema’s. Mogelijk dat het aanpassen van de antwoordcategorieën van een tweenaar een vierpuntschaal leidt tot meer onderscheidend vermogen. In de verkorte vragenlijst is deze mogelijke aanpassing doorgevoerd.
•
Onderzoek het onderscheidend vermogen van de items en schalen in de verkorte vragenlijst tijdens een landelijke uitvraag.
•
Het verkorten van CQI vragenlijsten is ook relevant voor andere sectoren. In dit onderzoek is naar voren gekomen dat het aandacht verdient bij het verkorten van de vragenlijst te kijken naar de complexiteit van een thema. Complexe thema’s dienen met meerdere vragen te worden uitgevraagd terwijl bij minder complexe thema’s mogelijk een vraag volstaat. We bevelen aan dit nieuwe inzicht ook te gebruiken bij de verkorting van CQI vragenlijsten buiten de GGZ.
2
8/111
1
Aanleiding
Vertegenwoordigers van instellingen, cliënten en verzekeraars in de Geestelijke GezondheidsZorg (GGZ) onderschrijven nut en noodzaak van het gestandaardiseerd meten van klantervaringen, maar zijn tot op heden niet tevreden met de manier waarop dit gebeurt. Partijen zijn van mening dat de vragenlijst om klantervaringen te meten (CQI vragenlijst), in de huidige vorm, onvoldoende informatie oplevert. De CQI vragenlijst laat te weinig onderscheidend vermogen zien en de inspanningen en kosten van een meting zijn groot. Deze onvrede heeft geleid tot een verzoek vanuit de Stuurgroep GGZ om een gestandaardiseerde vragenlijst
te ontwikkelen om
cliëntervaringen binnen de
kortdurende ambulante GGZ en VerslavingsZorg (VZ) te meten. De centrale doelstelling van het onderzoek is als volgt omschreven:
‘Het ontwikkelen en testen van een vragenlijst om op een gestandaardiseerde manier, binnen de ROM1 cyclus, cliëntervaringen te kunnen meten’ Hierbij moet het ontwerp van een vragenlijst, in eerste instantie, geschikt zijn voor de doelgroep kortdurende ambulante zorg. Via een pilot onder zeven GGZ aanbieders2 dient de vragenlijst uitgezet te worden gedurende de ROM cyclus3 en te worden getest op validiteit en betrouwbaarheid. Dit rapport vormt een verantwoording op het proces waarbinnen de vragenlijst is ontwikkeld en beschrijft welke stappen doorlopen zijn om de vragenlijst op te stellen. Hoofdstuk 2 beschrijft het plan van aanpak en de werkwijze die gehanteerd is om de vragenlijst op te stellen en geeft aan welke criteria gehanteerd zijn om de vragenlijst te beoordelen. In hoofdstuk 3 beschrijven we hoe de pilotvragenlijst tot stand is gekomen. Hoofdstuk 4 beschrijft de resultaten van de pilot fase waarin o.a. ingegaan wordt op de validiteit en betrouwbaarheid van de nieuwe vragenlijst. Hoofdstuk 5 vat de belangrijkste conclusies samen en formuleert een advies over de op te stellen vragenlijst. Hoofdstuk 6
1 Routine Outcome Measurement. De ROM cyclus verwijst naar het afnemen van vragenlijsten over de kwaliteit van leven bij cliënten aan de start, tijdens en aan het einde van de behandeling. Instellingen hebben met zorgverzekeraars afgesproken dat zij deze vragenlijsten uitzetten onder hun cliëntenpopulatie. De gegevens leveren zij aan bij Stichting Benchmarking GGZ (SBG) die op basis van deze informatie benchmark rapportages opstelt voor instellingen en verzekeraars. 2
Namelijk Dimence, Emergis, GGZ Breburg, Mentaal Beter, Lentis, Pro Persona en Rivierduinen.
3 Routine Outcome Measurement. Binnen GGZ instellingen wordt de kwaliteit van leven gemeten binnen de ROM cyclus. Cliënten krijgen aan de start, gedurende en aan het einde van hun behandeling een aantal kwaliteit van leven vragenlijsten voorgelegd. De uitkomsten op deze vragenlijst bespreekt de cliënt gedurende en aan het einde van de behandeling met de cliënt. GGZ Nederland en Zorgverzekeraars Nederland hebben afgesproken ernaar te streven dat in 2014 50% van alle cliënten de vragenlijsten binnen de ROM cyclus invult en bespreekt met de behandelaar. Instellingen leveren meetgegevens aan bij Stichting Benchmarking GGZ die een benchmark rapportage opstellen voor zorgaanbieders en zorgverzekeraars.
2
9/111
bevat een lijst met referenties. Voor de totstandkoming van de verkorte vragenlijst is een groot aan tussenproducten tot stand gebracht, die zijn opgenomen als bijlagen.
2
Plan van aanpak ontwikkeling vragenlijst
2.1
Programma van Ei sen
Met de afgevaardigden van alle betrokkenen (cliënten, instellingen en zorgverzekeraars), de wetenschappelijke experts en de Stuurgroep is een Programma van Eisen (PvE) opgesteld waaraan de nieuw te ontwikkelen vragenlijst aan moet voldoen. Voor dit Programma van Eisen is gekeken naar een aantal aspecten, te weten: a.
Het doel van de vragenlijst;
b.
De relevante thema’s;
c.
De lengte van de vragenlijst (aantal vragen/items);
d.
Vergelijkbaarheid van de uitkomsten, validiteit en de rol van toeval;
e.
De doelgroep;
f.
De methode van uitvraag;
g.
De rapportage van de uitkomsten.
Samen met de verschillende partijen is per aspect gekeken waaraan de nieuwe vragenlijst moet voldoen. Bijlage A bevat het vastgestelde Programma van Eisen. Dit vormt het startpunt voor het selecteren van de thema’s en vragen die opgenomen moeten worden in de nieuw te ontwikkelen verkorte vragenlijst. De belangrijkste voorwaarden waaraan de vragenlijst moet voldoen zijn de volgende: •
De vragenlijst richt zich op de doelgroep kortdurende ambulante GGZ en VZ, waarbij wordt aangesloten bij de indeling die binnen het ROM system wordt gemaakt.
•
De vragenlijst moet zich richten op een kernset4 van vragen die bruikbaar is voor zowel zorginkoop, zorgverbetering als zorgkeuzeinformatie;
•
De vragenlijst hoeft niet een volledig beeld te geven van de cliëntervaringen maar is gericht op een kernset, volledigheid is geen doel op zich;
4 Met kernset bedoelen we de uiteindelijke set vragen die opgenomen wordt in de vragenlijst. De nadrukkelijke wens van de Stuurgroep is een korte vragenlijst waarbinnen vragen zijn opgenomen die relevant zijn voor alle doelgroepen. De kernset is de set vragen die verplicht worden uitgevraagd. Instellingen kunnen hiernaast zelf andere vragen stellen, maar die behoren dan niet tot de verplichte kernset van vragen.
2
10/111
•
De vragenlijst mag 2 á 3 minuten kosten om in te vullen;
•
De vragenlijst bevat altijd 1 vraag over het effect van de behandeling, een waarderingsvraag (rapportcijfer) en een aanbevelingsvraag.
De analysekaders die gebruikt zijn om de pilotvragenlijst op te stellen en te beoordelen zijn gebaseerd op een aantal belangrijke uitgangspunten. In onderstaand kader staan deze belangrijkste uitgangspunten opgesomd. De gebruikte referenties zijn opgenomen in de referentielijst (hoofdstuk 6).
2
11/111
Kader: Belangrijke uitgangspunten SiRM is bij het opstellen van de pilotvragenlijst uitgegaan van de reeds ontwikkelde vragenlijsten en beschikbare informatie. Het doel is niet om een volledig nieuwe lijst te ontwikkelen maar juist om gebruik te maken van de reeds beschikbare kennis over de ontwikkelde vragenlijsten, de belangrijke thema’s en de bestaande situatie. Dit heeft invloed op het ontwikkelde analysekader. De belangrijkste uitgangspunten zijn geformuleerd in onderstaand kader. Belangrijke uitgangspunten die binnen de opdracht geformuleerd zijn: a.
De Stuurgroep GGZ heeft de kaders van het onderzoek bepaald.
b.
Het onderzoek voeren we uit aan de hand van het analysekader dat ontwikkeld is bij het Centrum Klantervaring Zorg (CKZ). Hiervoor gebruiken we de handboeken over de ontwikkeling van de vragenlijst en de rapporten over de verkorting van vragenlijsten.
c.
We gebruiken de reeds uitgevoerde onderzoeken van bestaande vragenlijsten waaronder de GGZ Thermometer, de CSQ, en de CQI. De onderzoeken naar de validiteit en betrouwbaarheid van de gebruikte
schalen,
vragen,
antwoordcategorieën,
en
de
correctie
voor
verschillen
in
achtergrondkenmerken zijn meegenomen bij de ontwikkeling en beoordeling van de pilotvragenlijst. d.
Waar relevant verrijken we de bestaande onderzoeken met eigen onderzoek op de data die is verzameld met de uitvraag in 2011 van de CQI kortdurende ambulante GGZ en VerslavingsZorg.
e.
We sluiten aan bij de gedachte dat cliëntervaringen uitgevraagd worden door middel van zo veel mogelijk feitelijke vragen die minder gevoelig zijn voor interpretatieverschillen en verschillen in achtergrondkenmerken1. De CQI is ontwikkeld vanuit deze gedachte en is gebaseerd op de CAHPS en QUOTE
vragenlijsten
uit
de
VS.
Naast
cliëntervaringen
is
het
ook
mogelijk
om
cliënttevredenheidsvragen op te nemen. Dit zijn vragen die minder feitelijk zijn (meer subjectief) en die gevoeliger zijn voor de interpretatie van de cliënt. Bij de ontwikkeling van de CAHPS en de QUOTE is afstand genomen van de tevredenheidsvragen omdat deze minder geschikt zijn om zorgaanbieders met elkaar te vergelijken. De uitkomsten zijn gevoeliger voor verschillen in achtergrondkenmerken en interpretatie dan feitelijke vragen. Een voorbeeld is bijvoorbeeld de vraag naar informatievoorziening: a.
Cliëntervaringsvraag: Heeft u folders ontvangen over hoe u om kunt gaan met u aandoening?
b.
Cliënttevredenheid: bent u tevreden met de hoeveelheid ontvangen materiaal over uw aandoening?
2.2
Opstellen pi lot vragenlij st
Bij het selecteren van de thema’s en vragen maakt SiRM gebruik van het volgende selectiekader:
2
12/111
1.
Verzamel alle vragen uit de in Nederland gebruikte cliëntenvragenlijsten voor de GGZ en VZ.
2.
Laat alle vragen vervallen die kunnen worden gevuld met gegevens uit andere bronnen (met name ROM).
3.
Laat uit de CQI vragenlijst de losse vragen met een lage belangscore vervallen.
4.
Behoud vanuit de CQI vragenlijst de twee algemene waarderingsvragen (een rapportcijfer en een aanbevelingsvraag) en 1 vraag naar het ervaren effect van de behandeling5.
5.
Organiseer focusgroepen met gebruikers om het belang van de (a) thema’s en (b) individuele vragen vast te stellen.
6.
Bepaal meerdere mogelijke pilot vragenlijsten op basis van de gestelde eisen in het PvE.
7.
Beoordeel de mogelijke pilot vragenlijsten ex ante aan de hand van de volgende (methodologische) criteria: a.
Validiteit6
b.
Betrouwbaarheid van de schaal7
c.
Betrouwbaarheid per vraag (discriminerend vermogen gemeten door middel van ICC, scheefheid, maximaal verschil tussen beste en slechtste score);
d.
Percentage non-respons;
e.
Mogelijkheid
tot
kwaliteitsverbetering
(percentage
suboptimale
ervaringen en verbeterscore); f.
Continuïteit ten opzichte van eerdere uitgezette vragenlijsten (met name m.b.t. de CQI)
g.
Rapportagemogelijkheden.
Na de selectie van de relevante thema’s en vragen, is een testdag met cliënten georganiseerd om na te gaan of de vragen voldoende samenhang vertoonden en of de 5
Dit is een specifieke wens die geformuleerd is door de Stuurgroep GGZ.
6 In principe beoordelen we de validiteit op basis van de ontwikkelrapporten van de CQI en de GGZ Thermometer. Omdat we uitgaan van een reeds bestaande situatie gebruiken we vragen en thema’s die al in eerdere trajecten zijn ontwikkeld. We letten vooral op de inhoudsvaliditeit: meten de vragen daadwerkelijk de kwaliteit van de geleverde zorg. 7
De betrouwbaarheid van de schaal wordt gemeten met de Cronbach’s alpha. De vuistregel is dat een Cronbach’s alpha van 0,7 of hoger duidt op een betrouwbare schaal (CKZ, Handboek ontwikkeling CQI meting).
2
13/111
geselecteerde vragen binnen de gestelde termijn te beantwoorden zijn. Daarnaast is gekeken naar de formulering van de vragen om de leesbaarheid te bevorderen. De selectie van relevante thema’s en vragen is besproken met de (wetenschappelijk) experts.
2.3
Beoordeling van de p ilotvragenlijst
Nadat de pilotvragenlijst is opgesteld, wordt deze getest onder 7 GGZ instellingen. De pilot wordt ingebed in de ROM cyclus waarbij alle cliënten, die voldoen aan de selectiecriteria, worden uitgenodigd om de vragenlijst in te vullen. Het beoordelingskader is gebaseerd op de kaders en richtlijnen van het CKZ die gebruikt worden bij de ontwikkeling en verkorting van CQI vragenlijsten.8
9
De beoordeling van de pilotvragenlijst vindt plaatst
aan hand van de volgende vijf stappen: 1.
Respons en representativiteitsanalyse;
2.
Psychometrische analyses op item- en op inter-item niveau;
3.
Mogelijkheid tot anonieme versus niet-anonieme uitvraag;
4.
Onderscheidend vermogen; en
5.
Mogelijkheid tot het construeren van één geaggregeerde score voor cliëntervaringen.
Een uitgebreide beschrijving van het analyseraamwerk waarbinnen de vragenlijst wordt geanalyseerd is opgenomen in bijlage B. De resultaten van de pilot worden, alvorens een definitief advies op te stellen, besproken met de Stuurgroep GGZ, het CKZ en (wetenschappelijk) experts. De adviezen die hieruit volgen worden meegenomen bij het opstellen van het advies over de definitieve vragenlijst.
8
De betrouwbaarheid per vraag geeft inzicht in hoeverre verschillen tussen zorgaanbieders op een betrouwbare manier gemeten kunnen worden. Dit hangt samen met het aantal respondenten dat de vragen invult en de mate van verschillen tussen zorgaanbieders en binnen een zorgaanbieder.
9
Triemstra, M, et al (2008), Sixma et al (2008), Asmoredjo et al (2012)
2
14/111
2.4
Eindbeoordeling
De vragenlijst wordt uiteindelijk beoordeeld op validiteit en betrouwbaarheid en er wordt een advies gegeven over de op te stellen vragenlijst om cliëntervaringen binnen de Kortdurende ambulante GGZ en VZ te meten. Hierin worden alle bovenstaande punten meegenomen.
2
15/111
3
Ontwikkeling van de pilotvragenlijst
Voor de ontwikkeling van de vragenlijst hebben we diverse stappen doorlopen. Allereerst hebben we de mogelijke vragen geselecteerd (stap 1 tot en met 4). Vervolgens hebben we via focusgroepen de belangscores per thema bepaald (stap 5). Op basis van de bevindingen hebben we mogelijke vragenlijsten opgesteld (stap 6) beoordeeld (stap 7) en getest onder cliënten (stap 8). Op basis van de bevindingen uit stap 1 tot en met 8 hebben we samen met de Stuurgroep GGZ de pilotvragenlijst opgesteld. In dit hoofdstuk worden de 9 stappen nader toegelicht.
3.1
Stap 1 tot e n met 4 – selectie mogelijke vragen
Op basis van stap 1 tot en met 4 van het selectiekader zijn thema’s en vragen geselecteerd die gebruikt zijn binnen de focusgroepen om de belangscores vast te stellen. Het betrof 68 vragen, geclusterd in 12 thema’s.10 Een uitgebreide beschrijving van dit proces is opgenomen in bijlage C. De selectie van vragen is beperkt tot vragen die andere aspecten of thema’s uitvragen. Vragen die inhoudelijk hetzelfde vragen zijn slechts een keer geselecteerd. Bij bijvoorbeeld de CQI en de GGZ Thermometer is er een grote overlap in vragen. De CQI is gebaseerd op de ontwikkelde GGZ Thermometer waarbij we zien dat de 28 vragen die in de GGZ Thermometer opgenomen zijn, grotendeels terugkomen in de CQI. Indien vragen dus dubbel voorkomen in bepaalde vragenlijsten, zijn ze maar één keer geselecteerd om te beoordelen in de focusgroepen. Binnen de ROM zijn alle achtergrondgegevens11, behalve ervaren gezondheid, beschikbaar. Dit houdt in dat deze gegevens niet meer worden opgenomen binnen de cliëntervaringsvragenlijst. De losse CQI vragen die in de ontwikkel-fase van de CQI een lage belangscore hadden, zijn niet geselecteerd. Daarbij worden de twee algemene waarderingsvragen (“zou u de instelling aanbevelen?” en “welk rapportcijfer geeft u de instelling?”), en een vraag over het
10 Hierbij zijn de thema’s gebaseerd op de thema’s die uitgevraagd worden binnen de CQI. Ook alle andere vragenlijsten die in omloop zijn zoals de GGZ thermometer. 11 Met achtergrondgegevens doelen we op kenmerken van cliënten binnen de kortdurende ambulante GGZ . Bij de ontwikkeling van de CQI is onderzocht of de uitkomsten gecorrigeerd moeten worden voor verschillen in achtergrondkenmerken van cliënten. Hieruit is naar voren gekomen dat gecorrigeerd dient te worden voor leeftijd, geslacht, opleidingsniveau en ervaren gezondheid. Met de term achtergrondkenmerken doelen we dus altijd op deze vier achtergrondkenmerken.
2
16/111
effect van de behandeling altijd opgenomen. Dit zijn vragen die in het Programma van Eisen door de Stuurgroep GGZ/ VZ aangemerkt zijn als ‘verplichte’ vragen. De volgende stap is uit de selectie van 68 mogelijke vragen, te komen tot de uiteindelijke pilotvragenlijst. Dit proces wordt beschreven in de volgende paragraaf. In Bijlage E staan alle 68 mogelijke vragen opgenomen die meegenomen zijn binnen het selectieproces.
3.2
Stap 5 - focu sgroep en om de belangsco res per thema te bepalen
In stap 5, zijn de thema’s en individuele vragen door de gebruikers (afgevaardigden cliënten, instellingen en zorgverzekeraars) gescoord naar belangrijkheid. Hierbij zijn twee focusgroepen georganiseerd met elk ongeveer 10 deelnemers (zie bijlage D).12 De deelnemers is gevraagd de thema’s en de individuele vragen te rangschikken van belangrijk naar onbelangrijk en daarna een belangscore tussen de 1 (heel onbelangrijk) en 5 (zeer belangrijk) toe te kennen aan het thema. Hierbij mochten ze nooit twee keer dezelfde score geven en moesten ze dus een onderscheid maken tussen de thema’s. In Tabel 2 staan de belangscores gepresenteerd13. De belangscores zijn onderverdeeld in een totaalscore (gemiddelde over alle type gebruikers) en een score per type gebruiker (cliënt, zorgaanbieder en zorgverzekeraar). Vier thema’s scoren boven de 4 voor de totale belangscore. Vier thema’s scoren lager dan 3.5 (algemene waarderingsvragen, afstemming tussen behandelaars, informatie over cliëntenrechten en informatie-uitwisseling tussen behandelaars). Deze thema’s worden consequent door alle groepen lager gewaardeerd. Tabel 2 Belangscores van de thema’s, uitgesplitst naar totaalscore, score per cliënt, zorgaanbieder en zorgverzekeraar Thema
Totaal score
Cliënt
ZorgAanbieder
Zorgverzekeraar
Informatie over behandeling
4.5
4.4
4.9
4.0
Bejegening door de behandelaar
4.4
4.5
4.5
3.0
Vervulling hulpwensen
4.2
4.1
4.0
4.8
Bereikbaarheid van de behandelaar(s)
4.0
4.2
3.6
5.0
Keuzemogelijkheden
3.8
4.2
3.1
2.0
12 De richtlijnen van het CKZ geven aan minimaal 2 focusgroepen te organiseren met bij voorkeur tussen de 8 en 12 deelnemers.
13 Als aan een thema geen belangscore toegekend is, kan deze niet meegenomen worden in de berekening van de belangscore. 6 respondenten hebben aan een of meerdere thema’s geen belangscore toegekend. Een andere mogelijkheid is het geven van een score die gelijk is aan de laagste score gegeven aan het thema. Hierdoor daalt de belangscore van de thema’s maar de prioritering van de thema’s veranderen niet. Om vertekening te voorkomen nemen we alleen de thema’s mee met een toegekende belangscore.
2
17/111
Veranderingen in klachten en functioneren
3.8
3.9
3.0
4.3
Informatie over medicatie
3.8
3.9
3.8
3.9
Afronding behandeling
3.6
3.5
3.2
4.6
Algemene waarderingsvragen
3.5
3.9
2.4
3.0
Afstemming tussen behandelaars
3.4
3.7
3.1
3.5
Informatie over cliëntenrechten
3.2
3.4
3.1
2.9
Informatie uitwisseling tussen behandelaars
2.7
2.8
2.6
1.9
Naast de belangscores per thema, zijn ook belangscores per vraag bepaald. Deze zijn uitgesplitst naar gebruikersgroep. De totaal belangscore per vraag is berekend als de gemiddelde belangscore vermenigvuldigd met de thema belangscore. De belangscores per vraag (zie bijlage E) worden gebruikt om de vragen te selecteren voor de vragenlijst.
3.3
Stap 6 - Op stellen mo gelijke vragenlijste n
Voor het opstellen van de vragenlijst zijn we uitgegaan van maximaal vijftien vragen. Hiervoor is gekozen omdat cliënten naar verwachting 15 vragen binnen 3 minuten kunnen beantwoorden. De 3 minuten eis is gesteld door de Stuurgroep in het programma van eisen. Voor de selectie van de 15 vragen voor de uiteindelijke vragenlijst, hebben we drie routes onderzocht. 1.
Selecteer per thema de belangrijkste vraag op basis van de belangscore die vastgesteld is binnen de focusgroepen (in totaal 10 thema’s) en vul deze aan met de waarderingsvraag, aanbevelingsvraag en de effectvraag (in totaal 13 vragen).
2.
Selecteer de belangrijkste vraag voor de zes belangrijkste thema’s en selecteer daarna zes extra vragen op basis van het totale belang per vraag (belangscore per vraag * belangscore van het thema) en vul deze aan met de waarderingsvraag, aanbevelingsvraag en de effectvraag (in totaal 15 vragen).
3.
Selecteer de vier belangrijkste thema’s op basis van de belangscore die vastgesteld is binnen de focusgroepen en behoud de CQI schaal met een maximum van drie vragen voor dit thema en vul deze aan met de waarderingsvraag, aanbevelingsvraag en de effectvraag (in totaal 15 vragen).
Deze drie routes hebben we uitgewerkt tot drie vragenlijsten (zie bijlage F). Elke vragenlijst hebben we beoordeeld aan de hand van de methodologische criteria en de criteria rondom continuïteit en rapportagemogelijkheden.
2
18/111
3.4
Stap 7 – Beoordeli ng (ex-ante) pilot vrage nlij sten
De drie vragenlijsten zijn beoordeeld aan de hand van een aantal criteria (stap 7). Deze zijn onder te verdelen in (1) validiteit, (2) betrouwbaarheid van de schaal, (3) overige methodologische criteria, (4) continuïteit in de uitvraag, en (5) de rapportagemogelijkheden.
3.4 .1
Validiteit
Bij het onderzoek gaan we er van uit dat de validiteit onderzocht is bij de ontwikkeling van de CQI vragenlijst en de GGZ Thermometer. We gaan er bij de beoordeling dus van uit dat de opgenomen vragen valide zijn. In het kader van het onderzoek hebben we bestudeerd of het mogelijk is om de vragenlijst te verkorten, met behoud van de validiteit van de vragenlijst. De inhoudsvaliditeit staat in deze analyse centraal. De inhoudsvaliditeit refereert aan de mate waarin de opgenomen vragen en thema’s daadwerkelijk de kwaliteit van zorg meten. In de analyse stelden we ons bij elk thema de volgende vraag:
Gaat om een complex construct dat met meerdere vragen moet worden gemeten, of om meer eenduidige zaken waarin met één vraag kan worden volstaan? Een specifiek kwaliteitsthema kan een complex construct zijn. Binnen de bestaande CQI kortdurende GGZ worden binnen één thema vaak meerdere vragen gesteld. Het stellen van meerdere vragen binnen één thema kan leiden tot zowel een hogere inhoudsvaliditeit als een hogere statistische betrouwbaarheid van de schaal. Meerdere vragen binnen één thema kunnen leiden tot een hogere inhoudsvaliditeit wanneer een individuele vraag niet representatief is voor het hele thema. In dat geval kunnen op basis van de vraag (zonder aanvullende analyses naar de samenhang van de vraag en het thema) alleen maar uitspraken worden gedaan over die specifieke vraag. Indien er één vraag geselecteerd wordt, bijvoorbeeld de vraag ‘kunt u de behandelaar tussen 9:00u-17:00u bereiken?’, kan dan alleen iets gezegd worden over dit aspect van bereikbaarheid. Het antwoord geeft geen oordeel over het thema bereikbaarheid in het algemeen. Door meerdere vragen uit te vragen binnen een thema (bijvoorbeeld bereikbaarheid in weekenden en in spoedgevallen), wordt een beter beeld verkregen op themaniveau. Vanuit deze invalshoek scoren de vragenlijsten verschillend op het criterium validiteit: •
Vragenlijst 1 scoort laag. Binnen elk thema wordt slechts één vraag gesteld waardoor uitspraken op themaniveau minder valide zijn.
2
19/111
•
Vragenlijst 2 scoort matig, doordat bij vier van de zeven thema’s slechts één vraag wordt gesteld. Bij drie thema’s worden twee of meer vragen gesteld en is de validiteit beter.
•
Vragenlijst 3 scoort goed op dit criterium omdat per thema de volledige CQI schaal (met maximum van drie vragen) wordt behouden. De CQI schalen zijn getest op validiteit en nemen de aspecten die door gebruikers belangrijk worden gevonden mee binnen de schaal.
Vervolgens hebben we geanalyseerd of de vragenlijst kan worden verkort door vragen te laten vervallen. In het algemeen geldt namelijk: hoe hoger de correlaties tussen de items in een schaal en hoe hoger de Cronbach’s alpha, des te eenduidiger is het concept en des te minder informatie gaat er verloren als met één vraag gemeten worden. We hebben daarom getest welke vragen we kunnen laten vervallen, met behoud van een Cronbach’s alpha hoger dan 0.7 (de vuistregel voor betrouwbaarheid van het thema). De WAR heeft aangegeven dat met de pilotvragenlijst getest kan worden of één tot twee vragen per schaal kunnen volstaan. Zie hierover ook de correspondentie met de WAR in het kader van deze opdracht (bijlage G en H). Deze analyse valt samen met de beoordeling van de betrouwbaarheid van de schaal en wordt daarom in de volgende paragraaf beschreven.
3.4 .2
Betrouwbaarheid van de sch aal
Omdat de CQI gegevens op geaggregeerd niveau geïnterpreteerd worden, en niet op individueel cliëntniveau, kan op een andere manier gekeken worden naar de betrouwbaarheid van de schalen dan bij vragenlijsten voor psychosomatische doeleinden. SiRM heeft hierover contact gehad met de WAR (zie bijlage G en H). Een vragenlijst dient te leiden tot betrouwbare antwoorden op het niveau van de relevante groep (de afdeling of de instelling). Het is niet nodig dat de vragenlijst leidt tot betrouwbare antwoorden op cliëntniveau. De betrouwbaarheid van de schaal geeft inzicht in hoe betrouwbaar de antwoorden van respondenten zijn. Door meerdere items binnen een schaal op te nemen, neemt de betrouwbaarheid van de gemeten uitkomsten toe. De schaal geeft dan een betrouwbaarder beeld van het gemeenschappelijke thema. De Cronbach’s alpha wordt binnen de CQI gebruikt om de betrouwbaarheid van een schaal aan te geven. Een hoge interne consistentie (hoge Cronbach’s alpha) duidt op een hogere betrouwbaarheid op schaalniveau. Een vuistregel is dat een schaal met een Cronbach’s alpha hoger dan 0.7 voldoende betrouwbaar is voor groepen.
2
20/111
Het doel van de vragenlijst is inkorting. In overleg met de expertgroep werken we met een maximum aantal van 3 items per schaal, waarbij de items worden geselecteerd op basis van belangscores en de samenhang met de schaal. De vragenlijsten scoren verschillend op het criterium betrouwbaarheid: •
Vragenlijst 1 scoort laag op dit criterium. De thema’s zijn geoperationaliseerd door de selectie van één vraag, waardoor toeval een grotere rol speelt.
•
Vragenlijst 2 scoort matig op dit criterium. Binnen drie thema’s (bereikbaarheid, bejegening en informatievoorziening) worden meerdere items uitgevraagd. Omdat de selectie is gebaseerd op de hoogste belangscore zijn niet alle items uit de oorspronkelijke CQI schaal geselecteerd. Bij bereikbaarheid worden slechts twee van de drie CQI items geselecteerd, bij informatievoorziening worden drie van de vier CQI items geselecteerd en bij bejegening zijn twee van de drie vragen gebaseerd op CQI items en een op een vraag uit de zorgthermometer.
•
Vragenlijst 3 scoort hoog op dit criterium, omdat de vragen zijn geselecteerd op basis van de huidige CQI schalen. Van de geselecteerde thema’s hebben er drie een Cronbach’s alpha van boven de 0,7. Dit betreft Informatie over de behandeling, Bejegening door de behandelaar, en Vervulling hulpwensen. Alleen de Bereikbaarheid van de behandelaar heeft een Cronbach’s alfa die lager is dan 0,7, namelijk 0,67. De bereikbaarheid betreft echter een thema met uiteenlopende vragen waardoor de inhoudsvaliditeit van dit thema hoog is.
Bij het thema informatievoorziening variëren de belangscores van de vier vragen tussen de 3.7 en de 4.5. De Cronbach’s Alpha voor de gehele schaal (vier vragen) is gelijk aan 0.74. Het selecteren op basis van de belangscore leidt ertoe dat vraag 8 “Heeft u informatie gekregen over de aanpak van uw huidige behandeling?” zou komen te vervallen. Dit leidt echter tot een daling in de Cronbach’s Alpha (van 0,74 naar 0,67). Uit de testronde met cliënten blijkt vraag 10 “heeft u informatie gekregen over het resultaat van de behandeling” minder relevant. Deze vraag draagt ook het minste bij aan de betrouwbaarheid van de schaal. Vanwege de geringe verschillen in belangscores (3.9 versus 3.7) is ervoor gekozen vraag 10 te laten vervallen en vraag 8 te selecteren. Dit leidt tot een Cronbachs alpha van 0.71 voor deze schaal. Bij het thema bejegening variëren de belangscores van de vier vragen tussen de 3.0 en 4.5. Vraag 29 “Heeft uw behandelaar voldoende tijd voor u?” heeft de laagste belangscore (3.0). De andere vragen hebben een hogere belangscore (3.5, 3.8 en 4.5). Het laten vervallen van vraag 29 uit de schaal leidt tot een Cronbach’s Alpha voor de schaal van 0.83.
2
21/111
3.4 .3
Overige methodologische criteria
De overige methodologische criteria die gehanteerd zijn om de vragen te beoordelen, zijn het onderscheiden vermogen, de non-respons en het verbeterpotentieel. Deze criteria zijn gebruikt om inzicht te geven in hoeverre de geselecteerde vragen, voldoen aan de verschillende methodologische criteria. Omdat deze criteria alleen beoordeeld kunnen worden op basis van de CQI uitvraag over 2011, zijn deze criteria niet doorslaggevend in de uiteindelijke selectie.
3.4 .3.1 Onderscheidend vermogen per vraag Eén van de doelen van het verzamelen van cliëntervaringen is het vergelijken van zorgaanbieders. Belangrijk is dus dat de geselecteerde vragen verschillen kunnen tonen tussen zorgaanbieders. Met de intraklasse correlatie (de maat voor discriminerend vermogen), de scheefheid (het percentage ja) en het verschil tussen de minimum en maximum score wordt inzicht gegeven in het onderscheidend vermogen op vraagniveau. Alle vragenlijsten scoren gelijk op het criterium onderscheidend vermogen. Dit criterium geeft ook geen reden om vragen te laten vervallen of niet te selecteren. Het onderscheidend vermogen laat namelijk geen grote verschillen zien tussen individuele vragen. Hierbij dient opgemerkt te worden dat het onderscheidend vermogen gebaseerd is op de CQI uitvraag in 2011. De gegevens zijn op concernniveau verwerkt, terwijl gebruikers aangeven eerder verschillen op afdelings- of instellingsniveau te verwachten. Het lage onderscheidend vermogen hoeft dus niet direct samen te hangen met de gestelde vragen en antwoordcategorieën. Er zijn enkele vragen waarbij meer dan 80% van de respondenten ja heeft geantwoord. Dit betreft vragen binnen het thema afstemming met de behandelaar (vraag komt in geen van de drie vragenlijsten voor), informatie over de behandeling (vragen komen in alle vragenlijsten terug), en informatie over medicatie (vraag komt terug in vragenlijst 1 en vragenlijst 2). Scheefheid wordt, volgens de richtlijnen van het CKZ, problematisch bij een score van boven de 90%.
3.4 .3.2 Percentage non-resp ons Een hoog percentage non-respons (>5%) geeft aan dat de vraag ofwel niet duidelijk gesteld of niet relevant geacht wordt waardoor respondenten de vraag niet invullen. Bij een nonrespons van meer dan 5% wordt aanbevolen na te gaan of de vraagstelling moet worden aangepast of dat de vraag moet komen te vervallen.
2
22/111
Met uitzondering van één vraag, spelen bij de vragen geen problemen rondom nonrespons. Dit criterium geeft daarom (met uitzondering van die ene vraag) geen reden om vragen te laten vervallen of niet te selecteren. Op basis van de CQI uitvraag in 2011, heeft één vraag een non-respons hoger dan 5%. Dit is vraag 6 “Is het een probleem om een behandelaar ’s avonds of in het weekend telefonisch te bereiken in geval van nood?”. Deze vraag is opgenomen binnen vragenlijst 3, bij de schaal Bereikbaarheid. Aanbevolen wordt om na te gaan of deze vraag anders geformuleerd moet worden, of dat de antwoord categorieën moeten worden aangepast om de non-respons te verlagen.
3.4 .3.3 Verbeterpotentieel Het verbeterpotentieel geeft inzicht in hoeverre een vraag geschikt is voor het meten van verbeterpotentieel of kwaliteitsverbetering. Ook dit criterium is niet leidend omdat het gebaseerd is op de CQI meting uit 2011. Bij het verbeterpotentieel hebben we gekeken naar het percentage suboptimale ervaringen (% nooit/soms, % klein/groot en % nee) en naar de verbeterscore (% suboptimale ervaringen/100* gemiddelde belangscore)14. Bij een percentage van meer dan 10% suboptimale ervaringen, moeten kwaliteitsverbeteringen worden overwogen7. De verbeterscore moet minimaal 0,3 zijn uitgaande van het voorgenoemde criteria van >10% suboptimale ervaringen en een gemiddeld belang (3 op een schaal van 1-4).7 Op basis van de CQI meting uit 2011 zien we dat het verbeterpotentieel matig is bij enkele vragen uit het thema bereikbaarheid, bejegening en afstemming tussen behandelaars. Bij de overige vragen voldoen de vragen aan de gestelde criteria. De scores geven geen aanleiding om vragen niet te selecteren.
3.4 .4
Continuïteit
Zowel de gebruikers als de wetenschappelijk experts geven aan dat continuïteit in de meting een belangrijk aspect is bij de selectie van de vragen. Daarbij gaat het enerzijds om de mogelijkheid om uitkomsten van de metingen te vergelijken en anderzijds om continuïteit voor aanlevering van gegevens aan het jaardocument maatschappelijke verantwoording (JMV). Ten eerste hebben we gekeken naar continuïteit wat betreft de mogelijkheid om uitkomsten van de metingen te vergelijken. Daarbij is de context dat de vragenlijsten de 14
Triemstra et al (2008), Doelspecifieke versies van CQ-index meetinstrumenten: korter, krachtiger, en specifieker meten?, TSG, jaargang 86, nr 8 (486-493)
2
23/111
afgelopen jaren al enkele malen zijn aangepast, waardoor er geen vergelijking over de jaren heen kan worden gemaakt. Voor gebruikers is de mogelijkheid om gegevens tussen jaren te vergelijken een belangrijk onderdeel. De vragenlijsten scoren verschillend op het criterium continuïteit: •
Zowel vragenlijst 1 als 2 scoren laag op dit criterium. Door uit te gaan van een selectie van één vraag en niet aan te sluiten bij de bestaande CQI schalen, is het minder goed mogelijk om de uitkomsten van deze meting te vergelijken met metingen uit voorgaande jaren.
•
Vragenlijst 3 scoort goed op dit criterium. Door aan te sluiten bij de huidige thema’s binnen de CQI blijft de mogelijkheid bestaan om zowel gegevens te vergelijken over de jaren als om op vrijwillige basis niet geselecteerde thema’s uit te vragen. Door de kernset te focussen op de drie tot vier belangrijkste thema’s wordt de mogelijkheid geboden om jaarlijks extra thema’s uit te vragen en de continuïteit te behouden doordat aangesloten wordt bij de thema’s die de afgelopen jaren binnen de CQI zijn uitgevraagd.
Ten tweede hebben we gekeken naar continuïteit voor het aanleveren van gegevens aan het JMV. Gegevens verzameld met de huidige CQI vragenlijst worden namelijk gebruikt om kwaliteitsindicatoren te vullen die zijn opgenomen in het JMV. Instellingen zijn verplicht om jaarlijks een aantal indicatoren aan te leveren voor het JMV. De drie vragenlijsten scoren matig op dit thema. Optie 3, scoort het beste omdat vier van de acht thema’s die zijn opgenomen vereist zijn voor het JMV (zie Tabel 3). Tabel 3 Prestatie-indicatoren voor het JMV Thema
Selectie
Opmerkingen
Cliëntperspectief /oordeel van de cliënt over verandering van de ernst van de problematiek
Ja
Drie vragen over klachten & functioneren vervangen door één effectvraag
Informed consent
Nee
Het betrof één losse itemvraag uit de CQI die is komen te vervallen
Keuzevrijheid
Nee
De vragen binnen het thema keuzevrijheid en het thema zelf hebben een lage belangscore
Vervulling zorgwensen
Ja
Volledige schaal opgenomen in de vragenlijst
Nee
Het betrof één losse itemvraag uit de CQI die is komen te vervallen
Evaluatie behandelbegeleidingsplannen
en
Verder heeft het thema heeft een relatief lage belangscore. Daarbij wordt de vragenlijst in het voorlaatste gesprek uitgezet waardoor de vragen binnen het thema nog niet van toepassing zijn.
2
24/111
Thema
Selectie
Opmerkingen
Continuïteit van zorg: goede samenwerking en afstemming ketenpartners
Nee
De beide thema’s hebben een relatief lage belangscore en zijn komen te vervallen uit de kernset
Adequate bejegening hulpverleners
de
Ja
Volledig schaal opgenomen in de vragenlijst
Adequate informatieverstrekking door de hulpverlener
Ja
Volledig schaal opgenomen in de vragenlijst
3.4 .5
door
Rapportage format
De wens die vanuit de Stuurgroep is neergelegd is het rapporteren van één score per thema, naast de scores op de algemene waarderingsvragen. De vragenlijsten scoren verschillend in de wensen met betrekking tot het rapportage format: •
Vragenlijst 1 scoort laag op dit criterium. Het uitvragen van 15 losse itemvragen die niet behoren tot een schaal, biedt niet de mogelijkheid om één totaalscore te rapporteren. Dit leidt ertoe dat binnen vragenlijst 1 niet gewerkt kan worden met een schaalscore per thema maar dat 15 scores moeten worden gerapporteerd.
•
Vragenlijst 2 scoort matig op dit criterium. Bij vragenlijst 2 worden voor drie thema’s meerdere vragen gesteld, wat inhoudt dat er voor drie thema schaalscores kunnen worden bepaald. Voor vier thema’s kan dit niet.
•
Vragenlijst 3 scoort goed op dit criterium. De vragenlijst biedt, door drie tot vier thema’s uit te vragen, de mogelijkheid om binnen de rapportage te focussen op 3 of 4 thema scores, naast de twee algemene waarderingvragen en de effect vraag. Daarbij kan binnen de rapportage ook gekeken worden naar de scores op de individuele items, maar geeft de themascore wel inzicht in de kwaliteit binnen dat specifieke thema.
2
25/111
3.5
Stap 8 - Testd ag met c liënten
Op de testdag zijn aan cliënten de twee vragenlijst voorgelegd die als beste naar voren kwamen uit stap 1 tot en met 7. Hiervoor zijn twee testrondes georganiseerd met iedereen minimaal 10 cliënten. Daarbij zijn met de cliënten een aantal punten besproken: a.
Anonieme of niet-anonieme uitvraag;
b.
Tijdsduur;
c.
Volledigheid van de vragenlijst; en
d.
Vraagstelling en antwoordcategorieën.
Ad a. Uit de testdag met cliënten blijkt ten eerste dat er geen behoefte is de vragen op individueel niveau terug te koppelen naar de behandelaar. De evaluatie vindt net voor het einde plaats, waardoor behandelaars de mogelijkheid hebben om in het eindgesprek middels een open vraag te vragen of de cliënt opmerkingen heeft over de behandeling n.a.v. de ingevulde vragenlijst. De mogelijkheid tot het niet anoniem invullen van de vragenlijst wekt wantrouwen op bij de cliënten en kan leiden tot sociaal wenselijke antwoorden. Advies is deze optie niet te testen en de vragenlijst dus altijd anoniem uit te vragen. Ad b. De gemiddelde invultijd op de testdag lag rond de 4 minuten voor vijftien vragen.15 We verwachten echter dat cliënten de vijftien vragen in de praktijk binnen circa 3 minuten kunnen beantwoorden. Bij de test besteedden cliënten namelijk extra aandacht aan de vraagstelling en de antwoordcategorieën. Ad c. De volledigheid is voldoende bevonden door de cliënten. Aangegeven is dat de belangrijkste onderwerpen opgenomen zijn in de vragenlijst. Door een maximum te stellen aan het aantal minuten dat het mag kosten om de vragenlijst in te vullen, wordt je beperkt in het aantal vragen dat gesteld kan worden. De vragen die nu opgenomen zijn, zijn volgens cliënten van belang en geven ook een voldoende beeld van het behandeltraject. Ad d. Wat betreft de vragenlijst en antwoordcategorieën zijn tijdens de testdag diverse punten naar voren gekomen •
Cliënten vinden het prettig om per onderwerp een korte toelichting (een zin) te lezen waarbij vermeld staat waar de vragen over gaan. Dit helpt om te focussen. Cliënten ervaren dit niet als storend of tijdrovend.
15 Cliënten uit het testpanel hebben extra tijd besteed aan het invullen van de vragenlijst omdat hen ook gevraagd is te kijken naar de formulering van de vragen en antwoordcategorieën.
2
26/111
•
Enkele vragen zijn geherformuleerd naar aanleiding van de test onder tien cliënten. De aanpassingen zijn gericht op het bevorderen van de leesbaarheid. Het betreft geen inhoudelijke wijzigingen. Bij bereikbaarheid vinden respondenten de vraag (en de antwoordcategorieën) over de bereikbaarheid in de avonduren of in het weekend niet duidelijk. Dit kan het hoge non-respons percentage van deze vraag mogelijk verklaren. Aanbevolen wordt om deze vraag te herformuleren.
•
Er zijn daarnaast enkele kleine aanpassingen gedaan bij andere vragen, te weten: Oude formulering
Aangepaste formulering
Is het een probleem om een behandelaar ’s avonds
Is het een probleem om uw behandelaar/
of in het weekeind telefonisch te bereiken, in geval
instelling ’s avonds of in het weekeind telefonisch
van nood?
te bereiken, in geval van nood?
Heeft u informatie gekregen over hoe u met uw
Heeft u informatie gekregen over hoe u met uw
klachten om kunt gaan?
problematiek om kunt gaan?
Zou u deze instelling bij anderen aanbevelen?
Zou
u
deze
instelling
bij
anderen
met
vergelijkbare klachten aanbevelen? Toevoegen open vraag
Heeft u verder nog opmerkingen over de behandeling of begeleiding?
•
Sommige antwoordcategorieën zijn aangepast. Dit omdat cliënten hebben aangegeven sommige antwoordcategorieën te beperkt te vinden. Bij vragen naar informatievoorziening
zijn
binnen
de
huidige
CQI
alleen
de
antwoordmogelijkheden ja/nee gegeven. Bij de andere vragen wordt vaak gewerkt met uitgebreidere antwoordcategorieën (bijvoorbeeld altijd, meestal, soms en nooit). Ook bij andere CQI door-ontwikkel trajecten is gebleken dat de antwoordcategorie met twee opties (ja/nee) te beperkt is gebleken. Bij deze vragen bleef vaak ook het onderscheidend vermogen achter. Het CKZ heeft per type vraag standaardantwoordcategorieën ontwikkeld op basis van wetenschappelijk onderzoek. Deze standaardantwoordcategorieën zijn aangehouden bij het aanpassen van de antwoordcategorieën. Op basis van bovenstaande bevelen wij aan om ook bij de informatievragen een breder scala aan antwoordcategorieën op te nemen. Dit sluit ook beter aan bij de wetenschappelijke literatuur die ten grondslag ligt aan de CQI. Bij de vraag naar bereikbaarheid in de avonduren of in het weekend wordt aanbevolen een antwoordcategorie ‘niet van toepassing’ toe te voegen voor cliënten die hier geen ervaringen mee hebben. Het betreft de volgende wijzigingen:
2
27/111
Oude antwoordcategorie
Nieuwe antwoordcategorie
-Is het een probleem om uw behandelaar/instelling ’s avonds of in het weekeind telefonisch te
Toevoegen een n.v.t. categorie
bereiken, in geval van nood? •
Een groot problem,
•
Een klein probleem,
•
Geen probleem
-Heeft u informatie gekregen over hoe u met uw
•
Nee helemaal niet
problematiek om kunt gaan?
•
Een beetje
-Heeft
u
informatie
behandelingsmogelijkheden
gekregen
over
de
•
Grotendeels
die
voor
uw
•
Ja, helemaal
•
Nee helemaal niet
•
Een beetje
•
Grotendeels
er
klachten zijn? -Heeft u informatie gekregen over de aanpak van uw huidige behandeling? •
Nee
•
Ja
Ja, helemaal
Bij de waarderingsvraag en de aanbevelingsvraag houden we de antwoordcategorieën aan die ontwikkeld zijn binnen de CAHPS en de QUOTE en die standaard binnen de CQI worden toegepast. Dit betreft de range van 0 (heel erg slecht) tot 10 (uitstekend).
3.6
Stap 9- opstellen uit eindelijke pilotvragenlij st
Samen met de Stuurgroep hebben we de uiteindelijke vragenlijst ontwikkeld. Naast de (verkorte) CQI vragen, heeft de Stuurgroep gevraagd ook de 8 CSQ (consumer satisfaction questionnaire) vragen op te nemen in de pilotvragenlijst. De Stuurgroep wil graag inzicht in de mate waarin de CQI vragen overlap vertonen met de 8 CSQ vragen. het opnemen van de CSQ naast de CQI thema’s is dus een bestuurlijk besluit van de Stuurgroep. Door tevens zoveel mogelijk aan te sluiten bij het JMV is de pilot vragenlijst opgesteld (zie bijlage I). Deze bestaat uit totaal 27 vragen, namelijk: •
Waarderingsvraag
•
Aanbevelingsvraag
•
2 effectvragen
•
8 Client Satisfaction Questionnaire (CSQ) vragen
•
16 Consumer Quality Index (CQI) vragen, verdeeld over zes thema’s,
2
28/111
o
Bejegening
o
Informatie over de behandeling
o
Vervulling hulpwensen
o
Bereikbaarheid
o
Keuzemogelijkheden
o
Informed consent (1 vraag opgenomen)
De doelstelling is om uiteindelijk de definitieve vragenlijst terug te brengen naar een vragenlijst met maximaal 15 vragen die binnen 3 minuten in te vullen is. In het volgende hoofdstuk bespreken we de uitkomsten van de pilot.
2
29/111
4
Resultaten pilotfase
In dit hoofdstuk geven we een korte beschrijving van de evaluatie van de pilot. Hierbij gaan we achtereenvolgens in op de volgende onderwerpen: 1.
Uitvraag gegevens (door Stichting Miletus)
2.
Schonen van de gegevens en opbouw van het databestand;
3.
Respons en representativiteits analyses;
4.
Psychometrische analyses;
5.
Onderscheidend vermogen;
6.
Geaggegreerde score; en
7.
Vergelijking CSQ versus CQI thema’s.
We besluiten dit hoofdstuk met een advies over het inkorten van de CQI vragenlijst.
4.1
Uitvraag gegevens
De pilot is uitgezet onder cliënten van 7 GGZ instellingen, te weten: 1.
GGZ Breburg
2.
Dimence
3.
Emergis
4.
Mentaal Beter
5.
Lentis
6.
Pro Persona
7.
Rivierduinen
Het proces van uitvraag is door Stichting Miletus begeleid. Stichting Miletus heeft het proces in onderstaand kader kort beschreven. In Bijlage L heeft Stichting Miletus een overzicht gegeven van de knelpunten bij de implementatie van de vragenlijst binnen de ROM systemen waarbij zij ook aanbevelingen doet voor de toekomstige implementatie.
2
30/111
Kader: Dataverzameling door Stichting Miletus De dataverzameling van de pilot kende een grillig karakter. Oorspronkelijk was het de bedoeling om bij 7 instellingen de verkorte vragenlijst in te bedden in het ROM systeem. De ROM systemen werken allemaal met cliëntnummers en/of cliënt ID’s, waardoor de CQI vragenlijsten te koppelen zijn aan de achtergrondgegevens die binnen de ROM systematiek beschikbaar zijn. Alle cliënten die aan het einde van hun behandeltraject zijn zouden binnen de ROM een uitnodiging moeten krijgen om naast de ROM lijsten ook de CQI vragenlijsten in te vullen. Om de invloed van het al dan niet anoniem uitvragen van de vragenlijst te testen, zouden cliënten ‘at random’ een anonieme al dan niet anonieme versie van de vragenlijst krijgen. Hierbij werd de regel aangehouden dat de even cliëntnummers de vragenlijst anoniem aangeboden zouden krijgen, en de oneven nummers niet-anoniem. Dit laatste houdt in dat cliënten op de hoogte zijn dat de gegevens teruggekoppeld worden aan de behandelaar. Door technische problemen en problemen in de ROM-systematiek in het algemeen is de uiteindelijk dataverzameling aangepast aan de mogelijkheden van de instelling. Instelling
Systeem
Wijze uitnodigen
Anoniem / niet Anoniem
Achtergrondgegevens in ROM
Non-Respons
Dimence 1
Questmanager
online
niet anoniem
ja
nee
Dimence 2
Buiten ROM
face-to-face / online
anoniem
nee
nee
Lentis
Roqua
online
keuze
ja
ja
Mentaal Beter
Buiten ROM
brief / online
anoniem
nee
ja
Rivierduinen
Buiten ROM
face-to-face / online
anoniem
nee
nee
Emergis
Questmanager
online
niet anoniem
ja
nee
Pro Persona
NetQ
online
anoniem
nee
ja*
GGZ Breburg
Questmanager
online
niet anoniem
ja
ja
* met uitzondering van het opleidingsniveau De zeven instellingen hebben op de volgende wijze deelgenomen: 1.
Dimence (1) maakt gebruik van Questmanager (Vital Health Software). Wegens een technische problemen is via dit systeem bijna geen respons gerealiseerd. De vragenlijst is in de testomgeving gebleven en lange tijd niet ‘live’ gegaan. De uitnodigingen worden online verstuurd. Er is een directie koppeling met de achtergrondgegevens uit de minimale dataset van de ROM. De vragenlijsten zijn niet anoniem uitgevraagd. Binnen het systeem is niet duidelijk welke cliënt de vragenlijst aangeboden heeft gekregen. Hierdoor is er geen informatie over de non-repsons beschikbaar. Dimence (2) is een afdeling binnen Dimence die nog niet aangesloten is op Questmanager. Hiervoor is een online applicatie buiten de ROM opgezet. De cliënten zijn door een medewerker gevraagd de vragenlijst in te vullen. Zij hebben een briefje meegekregen met een inlogcode. De medewerker heeft de nodige achtergrondvariabelen geregistreerd. De uitvraag is anoniem verlopen en er is geen informatie over de non-respons.
2.
Lentis maakt gebruik van Roqua. Cliënten worden online benaderd. De eerste vraag is een keuzemogelijkheid. De cliënt kan kiezen of de antwoorden direct teruggekoppeld worden naar de behandelaar of juist niet. De achtergrondgegevens zitten in de ROM en er is informatie over de non-response met betrekking tot de aantallen. Er is geen informatie over de achtergrondvariabelen van de non-respons groep.
3.
Mentaal Beter zou begin 2012 overgaan op Questmanager. Wegens uitstel van deze stap, is besloten Mentaal Beter ook op de online applicatie buiten de ROM systemen te laten draaien. De cliënten zijn per brief uitgenodigd online de vragenlijst in te vullen. Deze uitvraag heeft anoniem plaatsgevonden. De achtergrondvariabelen zijn door de medewerker bijgehouden. Er is informatie over de non-respons.
2
31/111
4. 4.
Rivierduinen maakt gebruik van Questmanager, maar draaien op een verouderde versie van het systeem. In deze versie kon de pilotvragenlijst niet meer worden toegevoegd. Dit betekent dat ook Rivierduinen buiten het ROM systeem de data heeft verzameld. De cliënten konden tijdens het bezoek aan de ROM verpleegkundige meteen achter de computer de vragenlijst invullen. De achtergrondvariabelen zijn verzameld door de ROM verpleegkundige (ook buiten het ROM systeem om). Alle cliënten zijn anoniem afgenomen. Er is beperkte informatie over de non respons. Achtergrondkenmerken zijn niet beschikbaar.
5.
Emergis, maakt gebruik van Questmanager. Het systeem zet geen eindmetingen uit wanneer er geen beginmeting is. Dit heeft de respons nadelig beïnvloed omdat van de meeste cliënten nog geen beginmeeting beschikbaar was. Om een inhaalslag te maken zijn cliënten telefonisch benaderd, of zij alsnog de vragenlijst wilde invullen. Alle vragenlijsten zijn niet anoniem afgenomen. Er is geen informatie over de non respons.
6.
Pro Persona, maakt gebruik van NetQROM. De cliënten werden online uitgenodigd. En de afname gebeurde anoniem. Wel is er bij pro Persons een extra vraag opgenomen of cliënten in de toekomst bezwaar zouden hebben tegen een nietanonieme afname. De dataverzameling is voorspoedig verlopen. Bij aanlevering aan de SBG echter ongeveer 50% van de vragenlijsten onterecht afgekeurd. Dit had te maken met exclusie criteria binnen de ROM, maar niet met exclusie criteria van de cliëntervaringslijst. Om alle gegevens te gebruiken in de analyses is de data buiten de SBG om aangeleverd, wel met de achtergrondvariabelen leeftijd en geslacht (ook van de non-respons) met uitzondering van het opleidingsniveau.
7.
GGZ Breburg maakt gebruik van Questmanager. Het systeem loopt binnen de instelling wel, maar de zorgpaden zijn nog niet voldoende gedefinieerd, waardoor de eindmetingen niet (goed) terugkomen. De cliënten mogen zelf kiezen of ze de vragenlijsten bij de instelling invullen of dat ze per mail worden uitgenodigd. De afname is niet anoniem, er is wel informatie over de non – respons.
4.2
Schonen en opbouwen dat abestand
SiRM heeft via Stichting Miletus gegevens ontvangen van de deelnemende pilot instellingen. De controle van de kwaliteit van de databestanden leert dat het codeboek niet door alle instellingen is nageleefd, waardoor het databestand eerst correct opgebouwd dient te worden alvorens gestart kan worden met de analyses. Aanbevolen wordt dat Stichting Miletus dit goed evalueert met de instellingen zodat in de toekomst invoerfouten voorkomen worden. Na de opbouw van het databestand, zijn we gestart met de controles. In totaal zijn 472 vragenlijsten ontvangen. Uit de controles kwam het volgende beeld naar voren:
2
32/111
1.
Controle op juiste respondenten
a.
Dubbelingen
Alleen bij Dimence is een respondent dubbel opgenomen in het databestand. Dit wordt veroorzaakt door het feit dat deze cliënt verschillende DBC trajecten heeft gevolgd. Een record voor deze respondent is verwijderd uit de database. In vergelijking met de CQI meting 2011 is het aantal dubbelingen substantieel lager. Bij de CQI meting 2011 hebben respondenten de vragenlijst mixed mode toegezonden gekregen, met drie herinneringen. In totaal 5% van alle benaderde cliënten bij de CQI meting 2011 heeft de vragenlijst dubbel ingevuld. b.
Doelgroep
Bij Mentaal Beter zijn er elf cliënten jonger dan 18 jaar en bij Pro Persona is één cliënt jonger dan 18 jaar. Dit lijkt onwaarschijnlijk omdat de vragenlijst uitgezet is onder kortdurende, ambulante zorg voor volwassen cliënten. Alle cliënten jonger dan 18 jaar hebben we verwijderd uit het databestand en zijn niet meegenomen in de verdere analyses. Van acht cliënten van Rivierduinen, één cliënt van Dimence en één cliënt van Pro Persona was de leeftijd niet bekend. Deze respondenten hebben we eveneens verwijderd uit het databestand. Dit houdt in dat in totaal 2,1% van de respondenten buiten de doelgroep viel. Bij de CQI meting 2011 viel ongeveer 5% van de respondenten buiten de doelgroep. 2.
Controle op juistheid en correctheid:
De achtergrondvariabelen leeftijd, geslacht en opleidingsniveau zijn aangeleverd via de SBG of door de instellingen zelf.16 Bij sommige instellingen is het geboortejaar aangeleverd, waarna de leeftijd berekend is door de volgende formule toe te passen: 2012geboortejaar. Geslacht is aangeleverd als een 1-2 variabele (1 = man, 2 = vrouw). Opleiding is in verschillende coderingen . Hier is uiteindelijk één codering vastgesteld waarbinnen de respondenten zijn ingedeeld, namelijk een ‘lage’ opleiding, ‘midden’ opleiding en ‘hoge’ opleiding. 17
16 De gegevens zijn gebaseerd op de gegevens die beschikbaar zijn binnen de ROM systemen. Voor een beschrijving van de dataverzameling verwijzen wij u naar het kader dat Stichting Miletus hierover heeft geschreven in paragraaf 5.1. 17 De meeste instellingen hebben de indeling uit het codeboek aangehouden (1 = geen opleiding, 2= lagere school, 3 = lager of voorbereidend beroepsonderwijs, 4 = middelbaar algemeen voortgezet onderwijs, 5 = middelbaar beroepsonderwijs, 6 = hoger en algemeen voorbereidend wetenschappelijk onderwijs, 7 = hoger beroepsonderwijs, 8 = wetenschappelijk onderwijs en 9 = anders. de ROM indeling aangehouden waarbinnen opleiding ). Een aantal instellingen hebben de codering van de Minimale Dataset uit de ROM
2
33/111
De instellingen hebben de codering van de vragen uit de vragenlijst is correct opgenomen. 3.
Markeren niet correct ingevulde vragenlijsten
Het percentage volledig ingevulde vragenlijsten ligt hoger in de pilot dan bij de schriftelijke CQI meting 2011: •
88% van de respondenten heeft alle vragen in de vragenlijst ingevuld. 10% heeft tussen de 80% en 96% van alle vragen beantwoord. Dit betekent 1 tot 5 vragen niet zijn ingevuld. Geen van de respondenten heeft minder dan 50% van alle vragen ingevuld. Dit houdt in dat geen vragenlijsten zijn weggelaten uit de analyses. In totaal 457 vragenlijsten zijn meegenomen in de analysefase.
•
In de CQI meting 2011 vulde 63% van alle respondenten de vragenlijst volledig in, 33% van de respondenten vulde meer dan 90% van alle vragen in. Slechts 1% vulde minder dan 50% van alle vragen in en kon niet worden meegenomen.
Het hogere percentage ontbrekende waardes in de CQI meting 2011heeft mogelijk te maken met de manier van uitvraag. De online uitvraag in de pilot maakt het lastiger om vragen niet in te vullen. Bij een schriftelijke vragenlijst kunnen respondenten makkelijker tussentijds vragen leeg laten. Daarnaast is de pilotvragenlijst korter dan de reguliere CQI vragenlijst wat ook een positief effect kan hebben gehad op het aantal ingevulde vragen. 100 88
90
% correct ingevulde antwoorden
80
Percentage
70
63
60 50
CQI meting 2011
40
Pilot meting 2012
33
30 20 10 10
3
0
2
4
0 0% missing
1-10% missing
10-15% missing
15% tot 50% missing
aangehouden waarbij opleiding is ingedeeld in 13 categorieën. Op basis van deze categorieën is opleiding ingedeeld in drie klassen, ‘laag’, ‘midden’ en ‘hoog’.
2
34/111
4.3
Respons en represe nt ativiteit
Binnen
de
pilotfase
was
het
de
bedoeling
om
een
responsanalyse
en
representativiteitsanalyse uit te voeren. In de opgeleverde databestanden zijn alleen voor Pro Persona, Mentaal Beter en Lentis respondenten en non-respondenten opgenomen. We kunnen geen totaal inzicht geven in welke respondenten niet gerespondeerd hebben. Op basis van onderstaande gegevens kan slechts een indicatie gegeven worden over de respons en de representativiteit van de respons.
Respons-analyse Van de meeste instellingen hebben we gegevens teruggekregen over het aantal cliënten dat aangeschreven is. Dit houdt in dat we het responspercentage kunnen bepalen per instelling (zie Tabel 4). De responspercentages verschillen tussen de instellingen. Dit kan verschillende oorzaken hebben waaronder: a.
De vragenlijsten bij Dimence, Rivierduinen, Emergis, GGZ Breburg en Mentaal beter zijn niet anoniem uitgezet. Niet anoniem uitzetten betekende dat de gegevens op cliëntniveau teruggekoppeld worden aan de behandelaar. Bij Pro Persona zijn de vragenlijsten wel anoniem uitgezet. Bij Lentis konden respondenten zelf kiezen of ze de vragenlijst anoniem of niet-anoniem wilden invullen.
b.
De cliënten bij Rivierduinen zijn uitgenodigd op kantoor om de vragenlijst in te vullen. Cliënten konden ter plekke aangeven of ze dit wel of niet wilden. Slechts enkele personen wilden niet deelnemen.
c.
Bij sommige instellingen zijn niet alle cliënten benaderd om deel te nemen. Alleen cliënten waarbij een voormeting binnen de ROM cyclus is uitgevoerd zijn benaderd.
d.
De verschillende manier van benadering en uitnodiging tot deelname van het onderzoek. Dit kan verschillen tussen de instellingen waardoor ook de respons kan verschillen.
2
35/111
Tabel 4 Respons overzicht Totaal Instelling
Per afdeling
Aantal
Aantal
Aantal
Gemiddeld
Minimum
Maximum
benaderd
Respons
afdelingen
Aantal
Aantal
Aantal
respondenten
respondenten
respondenten
(%) Niet Anoniem uitgezet GGZ Breburg
?
7 (?)
1
7
7
7
Dimence
?
20 (?)
3
6
1
16
Emergis
66
28 (27)
6
5
1
17
Rivierduinen
65
57 (87)
6
10
1
26
Mentaal
93
17(18)
1
17
17
17
Beter Anoniem uitgezet Lentis
414
105 (25)
6
18
1
45
Pro Persona
983
223 (22)
5
43
2
65
Voor analyses op afdelingsniveau is het aantal cliënten per afdeling gering. Alleen bij Pro Persona zien we dat vier van de vijf afdelingen meer dan 35 cliënten hebben. Bij Lentis hebben vier van de vijf afdelingen minder dan 20 cliënten. Bij Rivierduinen is het maximum aantal cliënten per afdeling 26. Deze getallen laten zien dat er te weinig respondenten zijn om significante uitspraken te doen over de verschillen tussen afdelingen. Dit houdt in dat niet voor alle afdelingen de analyses naar het onderscheidend vermogen op afdelingsniveau uitgevoerd kunnen worden. Het totaal aantal respondenten is wel voldoende om, op geaggregeerd niveau, uitspraken te doen over de betrouwbaarheid en validiteit van de vragenlijst. De betrouwbaarheid van de schalen kan in kaart worden gebracht, evenals de relatie tussen de CSQ en de CQI vragen. Daarbij kan ook gekeken worden naar de mogelijkheid een geaggregeerde score te ontwikkelen voor de CQI vragen. Omdat de uitvraag in meerdere opzichten verschilt van de CQI uitvraag in 2011, kan geen goede vergelijking gemaakt worden met betrekking tot het responspercentage. De respons van de pilot wordt in grote mate bepaald door de procedures rondom de ROM uitvraag waardoor niet na te gaan is of een lage of hoge respons het gevolg is van de vragenlijst. Bij de CQI meting 2011 lag het respons percentage rond de 24%.
Representativiteit Alleen bij Pro Persona, Mentaal Beter en Lentis zijn achtergrondkenmerken van nonrespondenten beschikbaar. Hier zien we dat de verdeling van leeftijd en geslacht van de responsgroep iets afwijkt van de non-respondenten. Er responderen iets minder cliënten
2
36/111
in de leeftijdscategorie 25 tot 35 jaar en iets meer in de leeftijd 35 tot 55 jaar. Daarnaast zijn er geen respondenten van boven de 65 jaar.18 Met betrekking tot geslacht zien we dat vrouwen vaker responderen dan mannen (63% t.o.v. 37%). Dit zien we niet bij alle instellingen, bij Mentaal Beter is er geen significant verschil tussen de respons en nonresponsgroep bij geslacht. Dit strookt met het feit dat er ook meer vrouwelijke cliënten dan mannelijke cliënten zijn (55% t.o.v. 45%). Opleidingsniveau is bij Mentaal Beter voor alle respondenten en non-respondenten beschikbaar. De verschilanalyse laat geen significant verschil in opleidingsniveau zien tussen deze twee groepen. De achtergrondkenmerken van alle respondenten (457 in totaal) laten het volgende beeld zien. De gemiddelde leeftijd ligt rond de 39 jaar, met een minimum van 18 jaar en een maximum van 69 jaar. Dit houdt in dat in totaal 393 respondenten opgenomen zijn in het analysebestand. Van de respondenten is 63% vrouw en 51% heeft een ‘gemiddelde’ opleiding. Verder heeft 65% van de respondenten een goede tot uitstekende gezondheid. Het opleidingsniveau is gebaseerd op 15% van de respondenten, omdat voor 85% van de respondenten informatie ontbrekend is.
Geslacht %; n = 457
37
Opleiding %; n = 87
Man
32
17
Midden
Vrouw
63
Laag
51
Hoog
Gezondheid %; n = 451 Slecht 15
47
Matig 28
46
Goed Zeer goed Uitstekend
18
In totaal was één cliënt ouder dan 65.
2
37/111
In vergelijking met de CQI meting 2011 zien we dat de respondenten binnen de pilot iets gezonder en iets jonger zijn. Het percentage vrouwen ligt gelijk. Omdat opleiding binnen de pilot slechts is gebaseerd op 15% van alle respondenten, is deze niet te vergelijken met het opleidingsniveau in de CQI meting 2011. De verschillen komen mogelijk door het feit dat de uitvraag online is.
Anoniem versus niet-anoniem In de pilot zijn de vragenlijsten op verschillende manieren uitgezet, te weten: a.
Niet anoniem – de antwoorden worden altijd teruggekoppeld naar de behandelaar;
b.
Anoniem – de antwoorden worden nooit teruggekoppeld naar de behandelaar
c.
Keuze anoniem/niet anoniem – de respondent kan zelf bepalen of de antwoorden worden teruggekoppeld naar de behandelaar.
De manier van uitzetten verschilt echter niet binnen een instelling maar tussen instellingen. Dit houdt in dat verschillen tussen het al dan niet anoniem uitvragen niet in kaart kunnen worden gebracht. Deze hangen namelijk samen met verschillen tussen instellingen. Het aantal waarnemingen per instelling is te beperkt om deze effecten van elkaar te scheiden. Bij één instelling, Lentis, is aan respondenten de keuze gegeven de vragenlijst al dan niet anoniem in te vullen. Bij Lentis is het dus mogelijk om na te gaan of de antwoorden tussen respondenten die de vragenlijst anoniem hebben ingevuld verschillen van die van de respondenten die de vragenlijst niet anoniem hebben ingevuld. Het blijkt echter uit de antwoorden dat slechts drie van de 109 respondenten het een probleem vinden als de antwoorden worden teruggekoppeld naar de behandelaar. Dit houdt in dat vrijwel alle vragenlijsten niet-anoniem zijn ingevuld en er geen verschilanalyse gedaan kan worden. De groep respondenten die bezwaar hebben is hiervoor te klein om betrouwbare uitspraken te kunnen doen. Bij Pro Persona is de vragenlijst anoniem uitgevraagd. Wel is aan respondenten de vraag gesteld of ze er bezwaar tegen zouden hebben als in de toekomst dergelijk onderzoek nietanoniem zou worden uitgevraagd. 85% van de respondenten geeft aan hier geen bezwaar tegen te hebben. De achtergrondkenmerken van deze twee groepen (wel bezwaar versus geen bezwaar) verschillen niet van elkaar. Dit houdt in dat qua leeftijd, geslacht en gezondheid er geen verschil is in of iemand al dan niet bezwaar heeft tegen het gebruiken van de gegevens. Bij de antwoorden op de individuele vragen zien we dat bij het merendeel van de vragen geen significante verschillen zijn tussen de twee groepen. Bij 9 van de 27
2
38/111
vragen zien we een significant verschil. Bij al deze vragen geeft de groep respondenten die geen bezwaar heeft tegen het niet-anoniem invullen van de vragenlijst een positiever antwoord dan de groep die wel bezwaar heeft. Het betreft de volgende vragen: •
•
•
•
Bejegening o
Luisters de behandelaar aandachtig?
o
Neemt de behandelaar u serieus?
Vervulling hulpwensen o
Begrijpt uw behandelaar uw klachten?
o
Was de behandeling de juiste aanpak voor uw klachten?
CSQ o
Hoe tevreden bent u met de hoeveelheid hulp?
o
Kreeg u het soort zorg dat u wilde?
o
Zou u weer voor deze vorm van hulpverlening kiezen?
Rapportcijfer (waarderingsvraag) en aanbevelingsvraag
Een vergelijking met de scores op de afzonderlijke thema’s laat zien dat bij de thema’s Bejegening, Vervulling hulpwensen en de CSQ de groep respondenten die geen bezwaar hebben significant positiever antwoorden dan de groep respondenten die wel bezwaar hebben. Bij de andere thema’s zien we geen verschil. De vragen en thema’s die iets subjectiever zijn, lijken meer afhankelijk van achtergrondkenmerken dan de meer feitelijke vragen. Als we kijken of de themascores van invloed zijn op de keuze van een respondent om de vragenlijst al dan niet anoniem in te vullen in de toekomst, zien we dat de hoogte van de scores niet van invloed zijn op deze keuze. Dit duidt dus niet op een vertekening in de respons waarbij respondenten met een hoge themascore eerder responderen dan cliënten met een lagere themascore. Opvallend is wel dat bij beide instellingen waarbij aan cliënten gevraagd is of zij bezwaar hebben tegen het delen van de informatie met de behandelaar het merendeel van de cliënten geen bezwaar heeft om de uitkomsten te bespreken. Aanbevolen wordt om in vervolgonderzoek na te gaan of het al dan niet anoniem uitvragen leidt tot een vertekening in de resultaten. Hiervoor wordt aanbevolen een onderzoek op te zetten waarbij toeval bepaalt of de respondenten de vragenlijst anoniem al dan niet anoniem voorgelegd krijgen.
2
39/111
4.4
Psychometrische analyses
In de Psychometrische testfase wordt gekeken naar een aantal aspecten, namelijk (1) itemanalyses, (2) inter-item analyses en (3) betrouwbaarheidsanalyse. In deze paragraaf bespreken we de resultaten per analyse onderwerp afzonderlijk. In Bijlage J zijn alle onderliggende tabellen en figuren opgenomen.
4.4 .1
Itemanalyse s
Binnen de itemanalyses hebben we een controle uitgevoerd op scheefheid, het percentage ontbrekende antwoorden per vraag en op de beschrijvende statistieken. In de tabellen in bijlage J staan de resultaten weergegeven. Hieronder beschrijven we beknopt de hoofdpunten.
Scheefheid Bij scheefheid zijn de volgende antwoord categorieën aangehouden: a.
Bij ja/nee vragen wordt gekeken naar het percentage ‘ja’;
b.
Bij nooit/soms/meestal/altijd vragen wordt gekeken naar het percentage ‘altijd’;
c.
Bij groot/klein/geen probleem vragen wordt gekeken naar het percentage ‘geen probleem’;
d.
Bij nee helemaal niet/een beetje/grotendeels/ja, helemaal vragen wordt gekeken naar het percentage ‘grotendeels’ plus het percentage ‘ja helemaal’;
e.
Bij de CSQ vragen wordt gekeken naar de meest positieve antwoordcategorie;
f.
Bij de aanbevelingsvraag en rapportcijfer vraag wordt gekeken naar de cijfers 8 tot en met 10.
Bij vragen met meer dan 90% van de respondenten in een van bovenstaande antwoordcategorieën, spreken we van een scheve verdeling. De antwoorden laten dan (te) weinig variatie tussen respondenten zien. Het aantal vragen met een scheve verdeling is gering. Bij slechts twee van de 27 vragen geeft meer dan 90% van de respondenten het meest positieve antwoord, te weten: •
Of de behandelaar in voldoende mate de klachten begrijpt
•
Of het een probleem was om de behandelaar/ instelling ‘s avonds bereikbaar was
2
40/111
De vraag over de bereikbaarheid neemt ook respondenten mee waarbij de vraag niet van toepassing was (85% van de respondenten). Van de respondenten die deze vraag invullen geeft 73% aan dat het een klein of geen probleem was om de behandelaar/instelling ’s avonds te bereiken. De scheefheid wordt dus met name veroorzaakt door de categorie ‘Niet van toepassing’. Naast de scheefheid per item, is ook gekeken naar de scheefheid per schaal. Bij de schalen geven we een overzicht van het percentage respondenten dat de maximale score heeft op een schaal. De maximale score op een schaal houdt in dat de respondent op alle onderliggende vragen het meest positieve antwoord heeft gegeven. Bij de schalen zien we dat vervulling hulpwensen (75%) en bejegening (59%) het hoogste percentage respondenten met een maximale score is. Deze scores liggen echter onder de 90% wat aangeeft dat de schalen niet scheef verdeeld zijn.
Percentage ontbrekende antwoorden De resultaten laten ten eerste zien dat het percentage ontbrekende antwoorden gering is. Maximaal 1 tot 2 antwoorden per vraag ontbreken (zie ook paragraaf 5.1 punt3).
Beschrijvende statistiek De beschrijvende statistieken staan weergegeven in Tabel 7 tot en met Tabel 11.
4.4 .2
Inter-itemanaly se & betrouwbaarheidsanalyse
Bij inter-itemanalyse wordt gekeken naar de samenhang tussen verschillende vragen en of er sprake is van overlap tussen verschillende items. De inter-itemanalyse wordt zowel op vraag als op schaalniveau uitgevoerd. 1.
Berekenen en betrouwbaarheid schalen: in totaal zijn er 5 CQI schalen berekend en 1 CSQ schaal. De CQI schalen zijn berekend aan de hand van de werkinstructie van het CKZ, behorende bij de vragenlijst kortdurende ambulante zorg. De CSQ schaal is berekend door de score op alle afzonderlijke vragen bij elkaar op te tellen. De vragen zijn allen uitgedrukt in een 4-punt schaal, waarbij een hogere score duidt op een hogere tevredenheid. Een hogere score, duidt dus op een hogere tevredenheid De betrouwbaarheid van de schalen laat zien dat de Cronbach’s alpha voor de meeste schalen boven de 0.7 ligt. De betrouwbaarheid van de schalen is grotendeels vergelijkbaar met die uit 2011 (zie Bijlage J, Tabel 10). We zien dat de betrouwbaarheid bij met name informatie over de behandeling en keuzemogelijkheden is gestegen. Bij informatie over de behandeling kan dit worden veroorzaakt door de veranderde
2
41/111
antwoordcategorieën. Deze zijn aangepast van een twee-punt naar een vier-punt schaal. Vraag 26 ` Hoe waarschijnlijk is het dat u deze instelling bij anderen, met dezelfde problematiek, aanbeveelt?’ is de aanbevelingsvraag die uitgevraagd is op een 0-10 schaal. Hierbij zijn respondenten die een 9 en 10 schoren ‘promotors’, respondenten die een 7 of 8 aangeven ‘passief tevreden’ zijn en respondenten die een 6 of lager scoren ‘criticasters’. Het De Net promotor score (NPS) wordt berekend door het percentage promotors te verminderen met het percentage criticasters. De resultaten laten zien dat de NPS op 12% ligt (zie Bijlage J, Tabel 11) Het rapportcijfer is gebaseerd op vraag 27 ‘Welk cijfer geeft u aan de behandeling? Een 0 betekent heel erg slecht. Een 10 betekent uitstekend.’ Meer de helft van de respondenten (56%) geeft de score van 8 of hoger.
%
Figuur 1 Verdeling rapportcijfer over alle respondenten 100 90 80 70 60 50 40 30 20 10 0
Rapportcijfer
0
2.
1
2
3
4
5
6
7
8
9
10
Correlatie analyse op vraagniveau: In totaal zijn er 6 item paren (buiten de CSQ vragen) die een correlatie vertonen van 0.70 of hoger. De vragen binnen de CSQ vertonen allemaal, op een vraag na, een correlatie van 0.65 of hoger. Alleen de vraag ‘Hoe beoordeelt u de kwaliteit van de door u ontvangen zorg’ correleert minder met de andere CSQ items. De hoge correlaties vinden we met name tussen de CSQ items en de aanbevelingsvraag en de vraag (Zie Bijlage J, Tabel 12). Daarnaast is er een sterke correlatie tussen twee vragen binnen de schaal bejegening (vraag 1 en 2). De resultaten laten zien dat er slechts een aantal vragen zijn met een correlatie hoger dan 0.7.
3.
Correlatie analyse op schaalniveau: Er zijn geen correlaties hoger dan 0.70 gevonden tussen de 5 CQI schalen (Bijlage J, Tabel 13). De schalen bejegening en vervulling hulpwensen tonen de sterkste correlatie (0.68). Wel zien we een sterke correlatie tussen de CSQ schaal en de afzonderlijke CQI schalen. De correlatie is het laagste bij de meer objectievere schalen (bereikbaarheid en keuzemogelijkheden) en het sterkste bij
2
42/111
de meer subjectieve schalen/vragen (aanbevelingsvraag en rapportcijfer). Dit zien we tevens terug als we de R-kwadraat berekenen tussen de CSQ schaal en de afzonderlijke CQI schalen. De resultaten laten zien dat de CQI schalen geen directe substituten voor elkaar vormen. De CSQ lijkt sterke overlap te vertonen met het rapportcijfer en de aanbevelingsvraag. De correlatie tussen de CSQ en het rapportcijfer is het sterkste, met een R-kwadraat van 74%. In de onderstaande tabel geven we een samenvattend oordeel van de psychometrische testfase. De resultaten laten zien dat alle uitgevraagde schalen betrouwbaar zijn, het percentage ontbrekend gering is, en dat drie van de 10 schalen/items een percentage ‘ja’ hebben van meer dan 70% en twee een percentage ‘ja’ van meer dan 80%. Verder is er binnen één CQI schaal een hoge correlatie tussen de individuele items waarneembaar (bejegening), en zien we wel een sterke correlatie tussen de individuele items binnen de CSQ. Voor alle schalen en vragen is de belangscore minimaal 3, op een schaal van 1 tot 5. De aanbevelingsvraag en de rapportcijfervraag worden door cliënten als minder belangrijk ervaren dan de vragen naar specifieke thema’s. Tabel 5 Samenvatting psychometrische tests Schaal
α
Belang
% ontbrekend
% ja
Correlatie boven 0.7
Bejegening (vr 1,2,3)
0.87
4.4
0.1
73
vr1-vr2
Informatie behandeling (vr 10,11,12)
0.87
4.5
0.2
40
Vervulling hulpwensen (vr 4,5,6)
0.78
4.2
0.1
85
Bereikbaarheid (vr 7,8,9)
0.66
4.0
0.4
75
Keuzemogelijkheden (vr 13, 14,15)
0.69
3.8
0.4
59
CSQ (vr 18, 19, 20, 21, 22, 23, 24,25)
0.92
-
0.9
47
Informed consent (vr 16)
-
-
0.2
82
11x
Behandeleffect (vr 17)
-
-
0.9
62
Aanbevelingsvraag (vr26)
-
3.2
2.6
20
vr27
Rapportcijfer (vr 27)
-
3.4
2.8
25
vr26
4.5
Onderscheidend vermogen
In totaal zijn er zeven deelnemende instellingen aan de pilot. De verwachting is dat op afdelingsniveau meer onderscheidend vermogen is dan op instellingsniveau. Vanwege het geringe aantal waarnemingen per afdeling, is het niet mogelijk uitgebreide analyses te doen naar het onderscheidend vermogen van de pilot vragenlijst. Wel wordt op basis van de huidige gegevens een verkennende analyse gedaan naar het onderscheidend vermogen, inclusief de correctie voor achtergrondkenmerken geslacht en leeftijd. Aanbevolen wordt om in de volgende landelijke meting nader onderzoek te doen naar het onderscheidend vermogen van de schalen/ items in de vragenlijst.
2
43/111
Van de zeven instellingen hebben vijf instellingen 20 of meer cliënten in totaal aangeleverd. Alleen GGZ Breburg en Mentaal Beter hebben minder dan 20 cliënten. Van deze vijf instellingen zijn slechts twee instellingen die afdelingen hebben met minimaal 30 cliënten, namelijk Lentis (1 afdeling) en Pro Persona (4 afdelingen). We hebben gekozen de ICC’s (Intra Class Correlation) op twee manieren in kaart te brengen, namelijk: a.
De ICC’s waarbij instellingen meegenomen zijn met minimaal 20 of meer cliënten. Alle afdelingen binnen deze instellingen zijn dan meegenomen om op afdelingsniveau analyses te doen, ongeacht het aantal cliënten per afdeling. Dit houdt in dat de analyses op instellingsniveau gebaseerd zijn op 5 instellingen en de analyses op afdelingsniveau op 26 afdelingen;
b.
De ICC’s waarbij alleen afdelingen met meer dan 30 cliënten zijn meegenomen. Dit houdt in dat de analyses op instellingsniveau gebaseerd zijn op 2 instellingen en de analyses op afdelingsniveau op vijf afdelingen.
De ICC wordt gebruikt om het onderscheidend vermogen in kaart te brengen. De ICC geeft inzicht in het percentage van de totale variantie dat toe te schrijven is aan verschillen tussen analyse-eenheden. Hoe hoger de ICC, hoe groter de invloed van instellingen op het respondentenoordeel. Een thema wordt gezien als voldoende onderscheidend als de ICC minimaal 2,5% is en statistisch significant verschilt van 0. De ICC wordt zowel ongecorrigeerd (niet gecorrigeerd voor achtergrondkenmerken) als gecorrigeerd (wel gecorrigeerd voor achtergrondkenmerken) gepresenteerd. De correctie voor achtergrondkenmerken is gebaseerd op de werkwijze van het CKZ zoals beschreven in de werkinstructie WIS 07.02 Vergelijkende analyses en case-mix adjustment19. De case-mix variabelen die gebruikt zijn, zijn Leeftijd, Geslacht en Ervaren gezondheid. Normaal wordt binnen de kortdurende ambulante GGZ ook Opleidingsniveau gebruikt als casemixvariabele maar vanwege het grote percentage ontbrekende gegevens voor deze variabele is besloten deze niet mee te nemen. De resultaten laten zien dat zowel voor de analyse over vijf instellingen als voor de analyse over twee instellingen, de ICC’s op afdelingsniveau hoger zijn dan op instellingsniveau (Tabel 14 & Tabel 15). Dit geldt zowel voor de gecorrigeerde als ongecorrigeerde ICC’s. Daarbij zijn de meeste ICC’s op afdelingsniveau hoger dan 2,5%. Alleen de ICC voor keuzemogelijkheden ligt lager. Hoewel het aantal waarnemingen te beperkt is om harde conclusies te trekken over het onderscheidend vermogen, geven deze analyses wel vertrouwen. De verwachting dat op afdelingsniveau een hoger onderscheidend vermogen te zien is, wordt namelijk bevestigd. 19
http://www.centrumklantervaringzorg.nl/fileadmin/site/ckz/documenten/Handboek_nieuwe_stijl/WI S_07_02_Vergelijkende_analyses_en_casemix_adjustment_20120307.pdf
2
44/111
Met de reliability analyse wordt inzicht gegeven in hoeverre een betrouwbaar beeld kan worden gegeven van verschillen tussen instellingen. Een reliability tussen de 0,7 en 0,8 wordt over het algemeen beschouwd als betrouwbare grens voor het vaststellen van verschillen tussen instellingen. De resultaten laten zien dat: •
Bij de analyses waarbij alle instellingen met minimaal 20 respondenten meegenomen zijn zien we het volgende beeld: o
Bij de CQI thema’s Bejegening, Bereikbaarheid, Vervulling hulpwensen, en Doelen bereikt zien we dat 2 instellingen een reliability lager dan 0.7 hebben. Bij de thema’s Informatievoorziening en doelen geformuleerd heeft 1 instelling een reliability lager dan 0.7. Dit zijn de instellingen met minder dan 30 respondenten.
o
Bij het CQI thema keuzemogelijkheden hebben alle instellingen een reliability lager dan 0.7. Dit houdt in dat geen enkele instelling voldoende waarnemingen heeft om een betrouwbaar beeld van de gevonden verschillen te laten zien. Dit komt overeen met de lage ICC die gevonden is voor dit thema.
o
Bij het rapportcijfer en de aanbevelingsvraag zijn de aantallen wel voldoende om verschillen tussen instellingen te tonen. Geen van de instellingen heeft een reliability onder de 0.7.
o
Bij de CSQ heeft 1 instelling een reliability lager dan 0.7. Dit is de instelling met de minste respondenten (n = 20).
o
Op afdelingsniveau hebben bij alle thema’s en vragen minimaal 19 van de 26 afdelingen een reliability onder de 0.7. Alleen bij het rapportcijfer en de aanbevelingsvraag hebben slechts vijf afdelingen een lage reliability.
•
Bij de analyses waarbij alleen instellingen meegenomen zijn die afdelingen hebben met minimaal 30 respondenten zien we het volgende beeld: o
Bij slechts één thema, Vervulling hulpwensen, heeft een van de twee instellingen een reliability lager dan 0.7. Daarnaast heeft ook een instelling een reliability van lager dan 0.7 bij de CSQ.
o
Op afdelingsniveau zien we dat bij de thema’s Bereikbaarheid en Keuzemogelijkheden geen enkele afdeling voldoende waarnemingen heeft om verschillen betrouwbaar in kaart te brengen. Bij de thema’s
2
45/111
informatievoorziening, vervulling hulpwensen, het rapportcijfer, de aanbevelingsvraag en de CSQ hebben tussen de 1 en 3 afdelingen onvoldoende waarnemingen (en dus een reliability onder de 0.7). Bij Bejegening en de vragen naar doelen hebben alle afdelingen een reliability hoger dan 0.7. De reliablity analyse laat dus eenzelfde beeld zien als de ICC’s nog niet alle afdelingen en instellingen hebben voldoende waarnemingen om betrouwbare verschillen tussen afdelingen en instellingen te tonen. Hiervoor dient het aantal waarnemingen per afdeling en instelling te worden vergroot. Een poweranalyse laat zien dat het minimum aantal benodigde waarnemingen per analyse-eenheid verschilt per schaal. Om het minimaal aantal waarnemingen per schaal te bepalen worden de volgende parameters gebruikt: •
het kleinste verschil (in navolging van de CKZ richtlijnen);
•
het gemiddelde van de schaal;
•
de standaard afwijking van het gemiddelde;
•
een power van 0,8 (in navolging van de CKZ richtlijnen).
Het minimale aantal waarnemingen zoals weergegeven in Tabel 6 gelden per analyseeenheid. Wanneer verschillen vanaf het kleinste relevante verschil significant dienen te zijn, dan zijn voor de schaal bejegening bijvoorbeeld 139 waarnemingen nodig bij een minimum relevant verschil van 0,15. Voor vergelijkingen op afdelingsniveau betekent dit dat er per afdeling 139 waarnemingen moeten zijn. Voor vergelijkingen op instellingsniveau volstaat 139 waarden per instelling. Als er grotere verschillen worden gevonden dan de aangegeven minimum verschillen, zijn minder waarnemingen nodig om significante verschillen te vinden tussen afdelingen of instellingen.
2
46/111
Tabel 6 Beschrijvende statistieken per schaal i.c.m. de uitkomsten van de poweranalyse Schaal
N
Gemiddelde
Bejegening
259
3,58
Standaard afwijking 0,63
Variantie
Min
Max
0,40
1
4
Benodigde N 139
Informatie over de
259
3,00
0,87
0,76
1
4
266
Vervulling hulpwensen
258
1,18
0,33
0,11
1
2
347
Bereikbaarheid
258
2,59
0,56
0,32
1
3
248
Keuzevrijheid
258
1,57
038
0,14
1
2
455
CSQ
258
24,47
5,73
32,84
8
32
132
Aanbeveling
258
7,24
2,72
7,39
0
10
180
Rapportcijfer
258
7,26
2,17
4,73
0
10
149
behandeling
4.6
Geaggregeerde score
Op basis van alle CQI vragen, exclusief de waarderingsvraag, aanbevelingsvraag en de effect vragen , is een geaggregeerde CQI score berekend. De waarderingsvraag, aanbevelingsvraag en de effect vragen worden niet opgenomen in de geaggregeerde score omdat het conceptueel andere vragen zijn die niet behoren tot de vragen binnen de zes schalen. De geaggregeerde score is vooralsnog bepaald op dezelfde manier als de individuele schaalscores. Dit houdt in dat er een gemiddelde score wordt bepaald over alle CQI vragen. Omdat de antwoordcategorieën verdeeld zijn over 1-2 (ja/nee vragen), 1-2-3 (geen probleem, klein probleem, groot probleem) en 1-2-3-4 (nee helemaal niet/ een beetje/ grotendeels/ ja, helemaal), zijn de antwoordcategorieën gecodeerd tot een indeling 1-2-3-4. Hiervoor is de volgende codering aangehouden: •
Ja/nee vragen: ja = 4 punten en nee is 1 punt (let op: het meest positieve antwoord
krijgt altijd 4 punten); •
Geen probleem/klein probleem/ probleem vragen: Geen probleem = 4 punten, klein probleem = 2,5 punten, geen probleem = 1 punt (let op: het meest positieve
antwoord krijgt altijd 4 punten); De geaggregeerde score is, in lijn met de schaalscores, alleen berekend als minimaal de helft van alle vragen zijn beantwoord. In totaal zijn er 16 CQI vragen die behoren tot een
2
47/111
schaal opgenomen. Dit houdt in dat minimaal 8 vragen beantwoord dienen te worden. De minimale score is 8 en de maximale score is 64. De resultaten laten zien dat de geaggregeerde score samenhangt met de score op de individuele CQI items en de score op de CSQ. Daarnaast hangt de geaggregeerde score op de CQI samen met het rapportcijfer en de aanbevelingsvraag (correlatie van ongeveer 0,6). Op basis van de resultaten en de meningen in de expertgroep wordt aanbevolen om in plaats van een geaggregeerde CQI score te presenteren, het rapportcijfer of de aanbevelingsvraag te gebruiken als totaal overzicht. Om een correcte geaggregeerde score te bepalen zijn belangscores per individuele CQI schaal of per individuele item vraag noodzakelijk. Dit omdat een geaggregeerde score die gebaseerd is op het gemiddelde van alle CQI items, geen rekening houdt met het belang dat gehecht wordt aan de individuele items. Dit belang kan echter verschillen tussen cliënten, verzekeraars en aanbieders en zou elk jaar opnieuw in kaart moeten worden gebracht. Vanwege de hoge correlatie met het rapportcijfer of de aanbevelingsvraag is aan te raden deze vragen als overkoepelende score te hanteren. De individuele CQI schalen geven dan verder inzicht in de kwaliteit op de afzonderlijke thema’s.
4.7
Vergelijking CSQ en CQI thema’s
De afzonderlijke CQI thema’s en de geaggregeerde CQI score zijn vergeleken met de score op de CSQ vragen. De mogelijke samenhang tussen deze scores is in kaart gebracht. De resultaten laten zien dat: •
Er een relatief hoge correlatie is tussen de CSQ en het rapportcijfer en de aanbevelingsvraag;
•
De correlatie tussen de CSQ en de individuele CQI thema’s hoger is bij de meer subjectieve thema’s zoals bejegening dan bij de meer objectieve thema’s zoals informatievoorziening; en
•
De CSQ gevoeliger is voor verschillen in achtergrondkenmerken dan de CQI schalen.
Op basis van deze resultaten bevelen we aan in plaats van de CSQ het rapportcijfer en de aanbevelingsvraag uit te vragen binnen de CQI. De Cronbach’s Alpha van de CSQ schaal is zeer hoog (0,92) wat erop duidt dat dit een eenduidig thema is wat mogelijk met minder vragen uit te vragen is om een betrouwbare vergelijking te maken tussen instellingen. De CSQ vragen richten zich op cliënttevredenheid en proberen een totaalbeeld te geven over
2
48/111
de tevredenheid van de cliënt met de ontvangen zorg. De CSQ geeft echter geen inzicht in de kwaliteit van objectieve deelgebieden zoals informatievoorziening. Daarnaast blijkt de CSQ gevoelig voor achtergrondkenmerken wat een vergelijking tussen aanbieders bemoeilijkt. Daarbij lijkt de CSQ niet te voldoen aan de eis in het Programma van Eisen dat de uitgevraagde schalen bruikbaar moeten zijn voor alle gebruikersdoelen. De CSQ is minder bruikbaar voor kwaliteitsverbetering en levert resultaten op die onderling minder vergelijkbaar zijn dan de CQI. Instellingen hebben geen inzicht in de gebieden die verbetering behoeven maar hebben alleen zich op de cliënttevredenheid met de zorg. Daarbij biedt de CSQ weinig extra keuze-informatie buiten de tevredenheid en is meer gevoelig voor responsverschillen. Op basis van bovenstaande bevelen we aan de CSQ niet uit te vragen maar de vragenlijst te beperken tot de waarderingsvraag en aanbevelingsvraag en de afzonderlijke CQI thema’s.
4.8
Inkorten vragenlijst
Op basis van bovenstaande resultaten formuleren we in deze paragraaf een advies over de te ontwikkelen vragenlijst. Hier worden een aantal zaken besproken, te weten: a.
Keuze tussen de CSQ en de CQI;
b.
Keuze van de afzonderlijke items binnen de CQI schalen;
c.
Niveau van rapportage;
d.
Uitvraag achtergrondkenmerken;
e.
Aansluiting bij het JMV;
f.
Eventuele aanvullende analyses.
Ad a. Keuze tussen de CSQ en CQI: Op basis van bovenstaande resultaten raden we aan de CSQ niet te gebruiken. De schaal correleert sterk met de waarderingsvraag en de aanbevelingsvraag en is gevoeliger voor achtergrondkenmerken en daardoor minder vergelijkbaar tussen instellingen en afdelingen. De informatiewaarde van de CSQ voor de instellingen zelf is gering en de informatie kan niet gebruikt worden voor verbetertrajecten. Door de waarderingsvraag en de aanbevelingsvraag uit te vragen kan eenzelfde oordeel gegeven worden. De combinatie tussen het rapportcijfer, de aanbevelingsvraag en de afzonderlijke CQI thema’s leidt tot een hogere informatiewaarde voor gebruikers en geeft ook een inzicht in cliënttevredenheid.
2
49/111
Ad b. Keuze van de afzonderlijke items binnen de CQI schalen: De uitgevraagde CQI schalen bestonden elk uit drie afzonderlijke items. Op basis van de inter-item, item en schaalanalyses is gekeken of de CQI schalen betrouwbaar en valide waren en of eventuele items konden vervallen. De resultaten laten zien dat enkele CQI schalen verkort kunnen worden. Daarnaast kunnen de antwoordcategorieën van sommige schalen worden aangepast. De aanbevelingen per schaal zijn de volgende: •
Bejegening. We bevelen aan om de vraag ‘luistert uw behandelaar aandachtig’ te laten vervallen. Er is een sterke correlatie tussen vraag 1 en vraag 2 en de Cronbach’s Alpha is hoog wat duidt op een eenduidig thema. Het laten vervallen van een vraag leidt nog steeds tot een betrouwbare schaal. Ook tijdens de cliëntenraadpleging is gebleken dat deze schaal uit overlappende vragen bestaat. Aanbevolen wordt het item met de laagste belangscore te laten vervallen. Dit is de vraag ‘luistert uw behandelaar aandachtig?’.
•
Bereikbaarheid. We bevelen aan om de vraag ‘Is het een probleem om uw behandelaar/ instelling ’s avonds of in het weekeind telefonisch te bereiken, in geval
van
nood?
te
laten
vervallen.
De
vraag
naar
avond-
&
weekendbereikbaarheid is voor 83% van de respondenten niet van toepassing. Voor de cliënten voor wie de vraag wel van toepassing is zien we een relatief hoge correlatie (0,6) tussen de vraag naar weekend & avond bereikbaarheid en de bereikbaarheid overdag. Het onderscheidend vermogen van de vraag naar de bereikbaarheid overdag ligt hoger dan van de vraag naar de avond & weekendbereikbaarheid.
Het
laten
vervallen
van
de
avond&
weekendbereikbaarheidsvraag leidt niet tot een daling in de Cronbach’s Alpha. •
Keuzemogelijkheden. We bevelen aan om de antwoordcategorieën uit te breiden van de vragen in deze schaal. Deze schaal heeft een zeer laag onderscheidend vermogen. Dit betreft niet alleen deze meting maar kwam ook bij eerdere metingen naar voren. Ook de Cronbach’s Alpha ligt onder de 0,7. De vragen correleren niet sterk bij elkaar en het thema wordt wel als belangrijk ervaren door instellingen en cliënten. Dit thema heeft twee antwoordcategorieën (ja/nee). Aanbevolen wordt om de antwoordcategorieën uit te breiden en na te gaan of de betrouwbaarheid van de schaal en het onderscheidend vermogen toenemen.
•
‘Informatievoorziening’,
en
‘Bereikbaarheid’.
We
bevelen
aan
de
antwoordcategorieën voor de vragen van deze schalen voortaan op een vierpuntsschaal uit te vragen. Bij de verkorting van de vragenlijst zijn de antwoordcategoriën aangepast van een twee-puntsschaal naar een vierpuntsschaal. De betrouwbaarheid van de schalen en het onderscheidend vermogen is toegenomen ten opzichte van de eerder meting.
2
50/111
Ad c. Niveau van rapportage: Het onderscheidend vermogen laat zien dat de eerste verkennende resultaten op afdelingsniveau meer onderscheidend vermogen laten zien dan de resultaten op instellingsniveau. We bevelen aan om bij de uitvraag in ieder geval op te nemen binnen welke afdeling een respondent behandeld is om rapportages op afdelingsniveau mogelijk te maken. Een aandachtspunt is dat per afdeling voldoende respondenten beschikbaar dienen te zijn om analyses op afdelingsniveau te kunnen uitvoeren. Voor privacy gevoeligheid is dit minimaal 10 maar voor statistische analyses moet
gestreefd
worden
naar
minimaal
30
(indicatorstandaard)
tot
100
(Centrumklantervaring zorg) cliënten per afdeling.
Ad d. Uitvraag achtergrondkenmerken: Zolang de achtergrondkenmerken niet goed opgenomen zijn binnen de ROM cyclus, of wanneer instellingen nog niet uitvragen via de ROM cyclus, adviseren we om de benodigde achtergrondkenmerken uit te vragen binnen de CQI vragenlijst. Dit biedt namelijk de mogelijkheid te blijven corrigeren voor deze factoren en zorgt voor een continuïteit in de uitvraag. De CQI schalen worden vooralsnog gecorrigeerd voor de achtergrondkenmerken geslacht, leeftijd, ervaren gezondheid en opleidingsniveau. De verkennende analyses laten zien dat ervaren gezondheid van invloed is op de themascores. Opleidingsniveau is niet meegenomen omdat dit voor slechts 15% van de respondenten beschikbaar was.
Ad.e Aansluiting bij het JMV: We bevelen aan om met het kwaliteitsinstituut na te gaan welke indicatoren voor volgend jaar verplicht worden gesteld voor het JMV op basis van de nieuw ontwikkelde vragenlijst. De opgestelde vragenlijst voldoen aan 6 van de 8 gestelde criteria door het JMV. De evaluatie van de behandel en begeleidingsplannen (een vraag) en de continuïteit van zorg zijn niet opgenomen. Deze items hadden een lage belangscore. Daarnaast is de evaluatie vraag nog niet van toepassing omdat de vragenlijst binnen de ROM cyclus voor het einde van de behandeling wordt uitgezet. Het al dan net opnemen van het thema keuzemogelijkheden, hangt tevens samen met de aansluiting bij het JMV. Dit thema is opgenomen in de indicatoren die voor het JMV moeten worden aangeleverd. De relatief lage belangscore en het lage onderscheidend vermogen zijn mogelijk een reden om dit thema te laten vervallen.
Ad f. Eventuele aanvullende analyses: We bevelen aan om aanvullende analyses te doen naar het onderscheidend vermogen op afdelingsniveau. De huidige pilot geeft onvoldoende mogelijkheden om deze punten nader te onderzoeken. We bevelen aan om dit in de landelijke meting wel te doen. De impact van het al dan niet anoniem uitvragen van de CQI kan in een afzonderlijk onderzoek onderzocht worden.20
20
GGZ Ingeest (partner van VUMC) voert momenteel een onderzoek uit naar ‘anoniem versus openbaar benaderen bij cliëntfeedback’ uit waarin ze de impact van het al dan niet anoniem uitvragen van een klantervaringsvragenlijst testen.
2
51/111
5
Conclusies en aanbevelingen nieuwe vragenlijst GGZ cliëntervaringen
5.1
Conclu sies
De doelstelling van het project was het ontwikkelen van een nieuwe, korte, vragenlijst die cliëntervaringen op een betrouwbare en valide manier kan meting binnen de kortdurende ambulante GGZ. De belangrijkste vereisten die gesteld zijn aan de nieuwe vragenlijst zijn: •
de vragenlijst dient te voldoet aan de informatiebehoeften van zowel zorgaanbieders, zorgverzekeraars als cliënten;
•
de vragenlijst kan binnen 3 minuten worden ingevuld;
•
de vragenlijst dient binnen de ROM cyclus online en continu te kunnen worden uitgevraagd.
Op basis van de opgestelde vereisten heeft SiRM een inventarisatie gemaakt van de bestaande vragenlijst binnen de GGZ om cliëntervaringen te meten en is tijdens een aantal gebruikersbijeenkomsten de belangscore van alle afzonderlijke vragen in kaart gebracht. Op basis van de belangscores, het onderscheidend vermogen per vraag, het percentage missings per vraag, de scheefheid per vraag, en het verbeterpotentieel hebben we een verkorte vragenlijst vastgesteld om cliëntervaringen binnen de kortdurende ambulante GGZ te meten. Door de experts is aanbevolen om te werken met de bestaande CQI schalen die uitgebreid getest zijn op validiteit en betrouwbaarheid. Daarnaast heeft de Stuurgroep de wens geuit de CQI vragen (over cliëntervaringen) af te zetten tegen de CSQ vragen (over cliënttevredenheid). Deze fase heeft geleid tot een verkorte vragenlijst met 28 vragen waarvan
8
CSQ
waarderingsvraag,
vragen de
(tevredenheidsvragen),
aanbevelingsvraag
en
de
19
CQI
vragen
effectvraag)
en
(inclusief 1
vraag
de naar
achtergrondkenmerken (gezondheid). Stichting Miletus heeft de opgestelde vragenlijst uitgezet in een pilot onder zeven instellingen, waarbij de uitvraag gekoppeld is aan de ROM cyclus. Tijdens de pilot is gebleken dat de ROM cyclus nog niet bij alle instellingen zodanig ingericht is dat de CQI vragenlijst opgenomen kan worden in de reguliere ROM uitvraag. Binnen de pilotmeting zijn daarom minder respondenten beschikbaar dan vooraf verwacht. Daarnaast bleken niet alle achtergrondkenmerken opgenomen in de ROM databestanden, wat leidt tot de noodzaak deze, tot de ROM systemen in orde zijn, uit te vragen binnen de cliëntervaringsvragenlijst.
2
52/111
De resultaten hebben laten zien dat de CQI schalen in de verkorte vragenlijst betrouwbaar en valide zijn. De kwaliteit van de ingevulde vragenlijsten is hoog en de respons lijkt niet afhankelijk van het al dan niet anoniem uitvragen. De vergelijking tussen de CQI en de CSQ heeft laten zien dat de CSQ in sterke mate correleert met de meer subjectieve schalen en items binnen de CQI zoals bejegening, het rapportcijfer en de aanbevelingsvraag. De CSQ wordt sterker beïnvloed door achtergrondkenmerken dan de CQI schalen. Vanwege het geringe aantal waarnemingen per instelling en per afdeling is het alleen mogelijk verkennende analyses uit te voeren naar het onderscheidend vermogen. Deze verkennende analyses laten zien dat het onderscheidend vermogen op afdelingsniveau groter is dan het onderscheidend vermogen op instellingsniveau. Dit houdt in dat er meer variatie is tussen afdelingen dan tussen instellingen.
5.2
Aanbeveli ngen
Naar aanleiding van resultaten van de pilot bevelen we aan een vragenlijst op te stellen die bestaat uit in totaal 19 vragen. Het betreft de waarderingsvraag, de aanbevelingsvraag, twee effectvragen, twee vragen naar achtergrondkenmerken die vereist zijn zolang deze gegevens nog niet binnen de ROM beschikbaar zijn, en vijf CQI schalen met twee tot drie vragen per schaal. In totaal betekent dit dat de vragenlijst bestaat uit 19 vragen (zie bijlage K voor de vragenlijst inclusief antwoordcategorieën): Vraag 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19
Neemt de behandelaar u serieus? Legt uw behandelaar u dingen op een begrijpelijke manier uit? Begrijpt uw behandelaar in voldoende mate wat uw klachten zijn? Is/was de behandeling naar uw mening de juiste aanpak voor uw klachten? Wordt/werd het behandelplan naar uw wens uitgevoerd? Is het een probleem om een afspraak met uw behandelaar snel te laten plaatsvinden? Is het een probleem om uw behandelaar overdag tussen 9.00 en 17.00 uur telefonisch te bereiken? Heeft u informatie gekregen over de behandelingsmogelijkheden die er voor uw klachten zijn? Heeft u informatie gekregen over hoe u met uw klachten om kunt gaan? Heeft u informatie gekregen over het resultaat dat u van de behandeling kunt verwachten? Heeft u informatie gekregen over andere vormen van behandeling of ondersteuning zoals zelfhulpprogramma’s, cliëntondersteuning, patiëntenverenigingen, E-hulp en alternatieve geneeswijzen Kunt u uw voorkeuren aangeven voor een bepaalde vorm van een behandeling? Kunt u kiezen uit verschillende soorten behandelingen? Zijn er samen met u doelen voor de behandeling geformuleerd? Heeft u uw doelen dankzij de behandeling bereikt? Hoe waarschijnlijk is het dat u deze instelling bij anderen, met dezelfde problematiek, aanbeveelt? Welk cijfer geeft u aan de behandeling? Een 0 betekent heel erg slecht. Een 10 betekent uitstekend. Hoe zou u over het algemeen uw gezondheid noemen?
Wat is uw hoogst voltooide opleiding? (een opleiding afgerond met een diploma of
getuigschrift)
2
53/111
Naar aanleiding van de pilotstudie komen we tot concrete aanbevelingen over de inhoud van de vragenlijst, achtergrondkenmerken, de uitvraag, rapportage en vervolgonderzoek:
Aanbevelingen over de inhoud van de vragenlijst 1.
Laat de CSQ vragen vervallen en beperk de tevredenheidsvragen tot de aanbevelingsvraag en waarderingsvraag: 1) Hoe waarschijnlijk is het dat u deze instelling bij anderen, met dezelfde problematiek, aanbeveelt? 2) Welk cijfer geeft u aan de behandeling?
2.
Behoudt de vijf CQI schalen vanwege het belang dat de verschillende gebruikers hieraan hechten en vanwege de informatiewaarde van de vijf afzonderlijke items (Bejegening, Bereikbaarheid, Keuzemogelijkheden, Informatievoorziening en Evaluatie).
3.
Verkort de CQI schalen Bereikbaarheid en Bejegening tot twee items.
4.
Pas
de
antwoordcategorieën
van
de
schalen
Bereikbaarheid,
en
Informatievoorziening aan naar een vier-puntsschaal.
Aanbevelingen over achtergrondkenmerken 5.
Blijf de achtergrondkenmerken uitvragen om de CQI schalen die gebruikt worden om op Kiesbeter.nl instellingen met elkaar te vergelijken te kunnen corrigeren voor deze achtergrondkenmerken. Met name de wat meer subjectieve schalen zijn gevoelig voor verschillen in achtergrondkenmerken. Voor rapportage via BRAM (SBG) is het niet nodig om scores vooraf te corrigeren voor achtergrondkenmerken. Gebruikers van BRAM zullen namelijk instellingen onderling met elkaar te vergelijken door in te zoomen op één of meerdere subcategorieën volgens bepaalde criteria, zoals leeftijd en geslacht (stratificeren). Dit is een alternatieve wijze van correctie van achtergrondkenmerken.
6.
Vraag de achtergrondkenmerken binnen de cliëntervaringsvragenlijst uit zolang deze nog niet beschikbaar zijn binnen de ROM systemen.
Aanbevelingen over de uitvraag en rapportage 7.
Integreer de cliëntervaringsvragenlijst binnen de ROM systemen via een continue uitvraag. Stel hiervoor een eenduidige werkinstructie inclusief codeboek op zodat alle analyses, behalve de vergelijkende analyses, binnen de ROM systemen kunnen worden uitgevoerd. (zie bijlage L voor een uitgebreide omschrijving van de aanbevelingen voor de implementatie van de nieuwe vragenlijst).
2
54/111
8.
Vraag de vragenlijst online uit.
9.
Rapporteer de resultaten op zowel instellings- als afdelingsniveau. Op afdelingsniveau lijken de eerste resultaten meer onderscheidend dan op instellingsniveau.
Aanbevelingen over vervolgonderzoek 10. Ga na of het thema Keuzemogelijkheden nog voldoende informatiewaarde heeft. Dit thema is niet onderscheidend en heeft de laagste belangscores van de vijf CQI thema’s. Mogelijk dat het aanpassen van de antwoordcategorieën van een tweenaar een vierpuntsschaal leidt tot meer onderscheidend vermogen. 11. Onderzoek of het al dan niet anoniem uitvragen leidt tot een vertekening in de antwoorden op de individuele items en de CQI schalen. 12. Voor de definitieve validatie van de vragenlijst bij het CKZ bevelen we aan om tijdens de eerste landelijke meting het onderscheidend vermogen van de nieuwe cliëntervaringsvragenlijst in kaart te brengen en te rapporteren aan het CKZ. 13. Het verkorten van CQI vragenlijsten is ook relevant voor andere sectoren. In dit onderzoek is naar voren gekomen dat het aandacht verdient bij het verkorten van de vragenlijst te kijken naar de complexiteit van een thema. Complexe thema’s dienen met meerdere vragen te worden uitgevraagd terwijl bij minder complexe thema’s mogelijk een vraag volstaat. We bevelen aan dit nieuwe inzicht ook te gebruiken bij de verkorting van CQI vragenlijsten buiten de GGZ.
2
55/111
6
Referentielijst
Arah. O.A., A.H.A. ten Asbroek, D.M.J. Delnoij, J.S. de Koning, P.J.A. Stam, A.H. Poll, B. Vriens, P.F. Schmidt en N.S. Klazinga (2006) Pscyhometric Properties of the Dutch Version of the Hospital-Level consumer Assessment of Health Plans Survey Instrument. Health Services
Research 41(1). Asmoredjo, J., D. de Boer, en D. Delnoij (2012) Verantwoording aanpassing vragenlijsten en indicatoren CQI VV&T, NIVEL (Utrecht) Attkisson, C.C. and R. Zwick (1982) The Client Satisfaction Questionnaire Psychometric Properties and correlations with Service Utilization and Psychotherapy Outcome.
Evaluation and Program Planning 5(233-237). Booij, J.C., N.C. Zwijnenberg, L. Koopman, L.S. van der Hoek, D. de Boer, M. Hendriks, D. Delnoij (2009). Landelijke meting CQ-index kortdurende ambulante GGZ 2009. Schoning van data, schaalanalyses en vergelijking van de instellingen. NIVEL/ Centrum Klantervaring zorg. Brey, de H. (1983) A cross-national validation of the Client Satisfaction Questionnaire: The Dutch Experience. Evaluation and Program Planning 6 (395-400). Brouwer,
W. en D.M.J.
Delnoij
(2004)
Verdiepingsstudie prestatie-indicatoren
consumenttevredenheid en patiënttevredenheid. NIVEL (Utrecht) Canas, A.J. et al (2003) A summary of Literature Pertaining to the Use of concept Mapping Techniques and Technologies for Education and Performance Support (2003), The Institute for Humand an Machine Coginiation (ihmc). Centrum Klantervaring Zorg Checklist WAR beoordeling inkorten vragenlijsten: concept 1 Centrumklantervaring Zorg (2010) Werkinstructies voor de CQI kortdurende ambulante GGZ. Damman. O.C., M. Hendriks, A.H.M. Triemstra en H.J. Sixma (2007) CQ-index Mammacare:
meetinstrumentontwikkeling.
Kwaliteit
van
zorg
rondom
een
borstafwijking vanuit het perspectief van patiënten. NIVEL 2007 (Utrecht). Draisma S., J.H. Smit (2010) Responsverhogende maatregelen voor de Consumer Quality Index. GGZ InGeest, partner van VU MC.
2
56/111
Koopman, L, en J. Rademakers (2008) CQ-index Mammacare: onderzoek naar het discriminerend vermogen. Ervaren kwaliteit van zorg bij een borstafwijking vanuit het perspectief van patënten. NIVEL (Utrecht) Koolman, X., J. Visser en M. Appelman (2012) Indicatorstandaard versie 1.5, Methodologische criteria voor de ontwikkeling van betrouwbare kwaliteitsindicatoren in de zorg. In opdracht van programmabureau Zichtbare Zorg, ministerie van VWS. KPMG Plexus Werkwijze inkorten CQ index diabetes en integreren met PROM diabetes. In opdracht van Stichting Miletus. Mah, J.k., S. Tough, T. Fung, K. Douglas-England, M. Verhoef (2006) Parents’ global rating of mental health correlates with SF-36 scores and health services satisfaction. Quality of Life
Research 15 (1395-1401) Sixma, H., Michelle Hendriks, Dolf de Boer en Diana Delnoij (2008) Handboek CQI Ontwikkeling versie 2.0 (November 2008) Utrecht. NIVEL, Stichting Miletus, Significant, Mailstreet en AMC. Triemstra, M, H. Hendriks, D. Delnoij en J. Rademakers (2008) Doelspecifieke versies van de CQ-index meetinstrumenten: korter, krachtiger en specifieker meten? Tijdschrift voor
Gezondheidswetenschappen 86 (8) Weltzien, R.T., T. J. McIntyre, J.A. Ernst, J.A. Walsch en J.K. Parker (1986) Crossvalidation of some psychometric properties of the CSQ and its differential return rate as a function of token financial incentive, Community Mental Health Journal , 22(1) Wijngaarden, van B., I. Kok, D. Meije en L. Fotiadis (2007), Een consumer quality index voor kortdurende ambulante GGZ. De ontwikkeling en psychometrische kwaliteiten van een vragenlijst voor het meten van cliëntervaringen: verslag van een pilotstudie. Trimbos Instituut (Utrecht) Wijngaarden, van B., D. Meije en I. Kok (2008) Het onderscheidend vermogen van een Consumer Quality Index voor kortdurende ambulante geestelijke gezondheidszorg en verslavingszorg. Trimbos Instituut (Utrecht) Wijngaarden, van B., I. Kok, D. Meije en L. Fotiadis (2008) De ontwikkeling en psychometrische kwaliteiten van een vragenlijst voor het meten van cliëntervaringen: verslag van een pilotstudie. Trimbos Instituut (Utrecht) Zuidgeest, M., M. Hendriks, P. Spreeuwenberg en J. Rademakers Gebruikswaarden van de CQ-index, deelrapport 1 Methoden van dataverzameling bij CQI onderzoek. NIVEL.
2
57/111
2
58/111
Gebruikte vragenlijsten (zie toelichting in bijlage C)
Standaard instrumenten •
CQI kortdurende ambulante GGZ en VZ, versie 4.0 Februari 2009
•
Consumer Satisfaction Survey
•
GGZ Thermometer
•
Experience of Health and Care Outcomes (ECHO) Managed Behavioral Healthcare Organization Version 3.0
Vragenlijsten binnen instellingen: •
Klanttevredenheidsvragenlijst
•
Cliëntervaringsvragenlijst kort
•
Aangepaste CQI GGZ
•
Aangepaste GGZ Thermometer
•
Thermometer cliëntwaardering
•
Eigen instrumenten
2
59/111
1 Bijlage A: Programma van Eisen Onderwerp
Programma van eisen
Doel van de vragenlijst
Vragenlijst richt zich op een kernset die alle drie de doelen dient (cliëntkeuzeinformatie, zorginkoop-informatie en zorgverbeterinformatie).
(middelste vlak van de figuur) Relevante thema’s en
Verminder het aantal vragen door zo veel mogelijk data uit andere bronnen te benutten: persoonskenmerken uit ROM
aantal vragen per thema. Schrap losse vragen uit de CQI, die hebben relatief weinig waarde Voor alle thema’s (schalen) bekijken of de huidige CQI vragen valide zijn met behulp van de afkapwaarden van het Centrum Klantervaring Zorg (alpha > 0.7). Indien een thema valide is, dan kunnen alle huidige vragen van het thema worden gehandhaafd. Indien niet valide, dan kan het hele thema komen te vervallen (de samenhang van vragen heeft dan geen meerwaarde) en kunnen eventueel losse vragen opgenomen. Houd hiervoor maximaal drie vragen binnen een schaal aan en behoud de vragen die het meest bijdragen aan de schaal. Wanneer bovenstaande tot een te lange vragenlijst leidt (zie onder), dan is het wenselijk om met een prioritering te bepalen welke thema’s onderdeel worden van de verplichte kernset. Selectie van thema’s kan worden gebaseerd op de belangscores. Overige thema’s kunnen als aparte module worden ontwikkeld, met de optie om jaarlijks een module verplicht uit te vragen. Instellingen kunnen naar eigen inzicht en voor eigen gebruik modules ook vaker uitvragen.
2
60/111
Lengte van de vragenlijst
Het gemak en de invultijd weegt zwaarder dan het totaal aantal vragen. De vragenlijst mag circa 3 minuten tijd kosten om in te vullen.
Vergelijkbaarheid
De vragen zijn in te delen in drie categorieën: 1.
Feitelijke vragen
2.
Ervaringsvragen
3.
Ervaren effect vragen
Bij de eerste categorie vragen is geen case-mixcorrectie nodig om de vragen vergelijkbaar te maken. Hierbij zijn normen nodig om de prestatie van instellingen tegen af te zetten. Bij ervaringsvragen en ervaren effect vragen wordt gecorrigeerd voor cliëntkenmerken. Bekeken moet worden voor welke kenmerken een correctie moet worden uitgevoerd, of deze beschikbaar zijn binnen de ROM en of dit moet gebeuren op basis van stratificatie of standaardisatie. Vanuit de ROM is gekozen voor standaardisatie. Het doel is namelijk om bepaalde doelgroepen tussen instellingen met elkaar te vergelijken en niet om instellingen instellingsbreed met elkaar te vergelijken.
De te benaderen
Sluit aan bij de doelgroep kortdurende ambulante en verslavingszorg voor volwassen, zoals die in de ROM wordt gehanteerd. Bekijk of het zinvol is om
doelgroep
subgroepen te onderscheiden in de rapportage.
Methode van uitvraag
De vragenlijst wordt continu online uitgevraagd waarbij alle cliënten binnen de doelgroep vlak voor het einde van de behandeling een vragenlijst invullen.
Minimum aantal
Op basis van de CQI ligt dit tussen de 50 en 400 cliënten per vraag.
respondenten De wens is om op een lager niveau gegevens te vergelijken (per afdeling) waardoor mogelijk de homogeniteit van de respondentgroepen toeneemt. Hierdoor kan het aantal benodigde respondenten per vraag afnemen. Anonimiteit
2
De privacy wordt gewaarborgd door de vragenlijst uit te vragen volgens de richtlijnen van het CBP.
61/111
Belangrijk is dat op bsn wordt uitgevraagd zodat de gegevens te koppelen zijn met de ROM gegevens. Dit gebeurt versleuteld zodat de privacy gewaarborgd is. In beginsel worden de antwoorden niet op individueel niveau teruggekoppeld aan de behandelaar. Rol van Toeval
Bij ervaringsvragen speelt toeval veelal geen rol als alle patiënten bij de meting zijn betrokken. Indien er sprake is van een steekproef dan wel.
Niveau van uitvraag
Voorgesteld wordt om gegevens op een zo laag mogelijk niveau uit te vragen waardoor de gegevens op elk gewenst niveau (behandelaar, afdeling, instelling, concern) kunnen worden gepresenteerd. De resultaten kunnen alleen vergeleken worden als voldaan wordt aan een vastgesteld minimum aantal waarnemingen (per behandelaar, afdeling, instelling of concern).
Rapportage
Het niveau van rapportage wordt in samenspraak met de gebruikers vastgesteld. Het niveau van de rapportage kan per gebruikersgroep verschillen.
2
62/111
1 Bijlage B: Raamwerk ex-post analyse van de pilot vragenlijst In deze bijlage geven we een korte beschrijving van de stappen die worden uitgevoerd om de ingekorte vragenlijst te evalueren. Hierbij gaan we achtereenvolgens in op de volgende onderwerpen: 1.
Schonen van de gegevens en opbouw van het databestand;
2.
Respons en representativiteits analyses;
3.
Psychometrische analyses;
4.
Onderscheidend vermogen;
5.
Geaggregeerde score;
6.
Vergelijking CSQ versus CQI thema’s ; en
7.
Inkorten vragenlijst.
B.1
Schonen en opbouwen dat abestand
De eerste stap is de kwaliteitscontrole die wordt uitgevoerd op de aangeleverde gegevens. De kwaliteitscontrole bestaat uit de volgende punten: 1.
Controle op invoer gegevens: Volgens de richtlijnen van het CKZ dient 10% van de schriftelijk ingevulde vragenlijsten te worden gecontroleerd om na te gaan of de gegeven antwoorden correct opgenomen zijn in het databestand. Minimum 10 en max 75 vragenlijsten moeten worden gecontroleerd. (Controle door
instellingen zelf) 2.
Controle op dubbelingen: Ontdubbelen van databestand (persoon mag maar 1x voorkomen). Dit wordt gecontroleerd door te bekijken of het respondent nummer niet meer dan 1 maal voorkomt. (Controle door SiRM)
3.
Controle op juistheid en correctheid: De gegevens worden gecheckt op juistheid en correctheid (geen onlogische waarden, frequentieverdeling zoals
2
63/111
geen 6 bij een
antwoord met 4 categorieën, een negatieve leeftijd of
geboortedatum later dan 2012). (Controle door SiRM) 4.
Markeren niet correct ingevulde vragenlijsten: Vragenlijsten markeren die wel behoren tot de doelgroep, maar die onvoldoende of niet op de juiste manier zijn ingevuld. Dit zijn de volgende vragenlijsten: a.
Lege vragenlijsten. Dit betekent vragenlijsten van respondenten die minder dan 5 vragen beantwoord hebben.
b.
Vragenlijsten waarvan minimaal 50% van alle kernvragen niet ingevuld zijn. Kernvragen zijn die vragen die door iedereen ingevuld dienen te zijn. Dit betekent dat minimaal 13 vragen van de in totaal 27 kernvragen ingevuld dienen te zijn. Kernvragen zijn: vr01-vr27 (CQI & CSQ vragen).
B.2
Respons en represe nt ativiteit
De eerste analyse stap is de respons en de representativiteit analyse die uitgevoerd wordt om na te gaan of de respons representatief is voor de getrokken steekproef. De stappen die worden uitgevoerd zijn de volgende:
1.
Responspercentage berekenen: Het responspercentage wordt berekend door het steekproefbestand te koppelen met het responsbestand. De totale respons is de netto respons/ totaal aantal aangeschreven respondenten. De netto respons is het aantal correct ingevulde vragenlijsten (aantal teruggestuurde vragenlijsten – vragenlijsten gemarkeerd als niet volledig of onjuist ingevuld [zie hierboven bij controle]).
2.
Responspercentages bepalen per subgroep: Het responspercentage wordt voor een aantal specifieke subgroepen in kaart worden gebracht. De subgroepen die in ieder geval bekeken worden zijn:
3.
a.
Per instelling;
b.
Anoniem versus niet anoniem ingevuld;
Non-respons
versus
respons
analyse:
Er vindt een controle tussen
respondenten en non-respondenten plaats van het totale bestand en per instelling op de volgende kenmerken:
2
a.
Leeftijd/ Leeftijdsklassen;
b.
Geslacht;
c.
Anoniem versus niet anoniem versus keuze anoniem;
64/111
4.
Controle representativiteit: Persoonskenmerken leeftijd, geslacht en andere relevante beschikbare variabelen van de respondenten worden gecontroleerd met die van de steekproef.
B.3
Psychometrische Analyses
In de Psychometrische testfase wordt gekeken naar een aantal aspecten, namelijk (1) itemanalyses, (2) inter-item analyses en (3) betrouwbaarheidsanalyse. Deze fase geeft inzicht in de betrouwbaarheid en validiteit van de vragenlijst. We hebben hierbij de analyses en richtlijnen aangehouden die het CKZ heeft gepresenteerd in het Hanboek CQI Meetinstrumenten- Ontwikkeling21.
B.3.1 Itemanalyse s Itemanalyses zijn analyses die per vraag plaatsvinden. Dit houdt in dat alle vragen in de vragenlijst gecontroleerd worden op de volgende aspecten: 1.
Controle op scheefheid: Controle op verdeling en scheefheid van de vragen. Sterk scheef verdeelde vragen zijn minder bruikbaar voor de analyses. Hierbij wordt gekeken of bij bepaalde vragen meer dan 90% van de respondenten in één antwoordcategorie vallen.
2.
Controle op % missings: Controleren van non-respons per vraag. Een percentage hoger dan 10% wordt gehanteerd als afkapcriterium. Vragen met een percentage non-respons hoger dan 10% worden gemarkeerd. Hierbij wordt rekening gehouden met screener vragen. Het gaat om vragen die onterecht niet ingevuld zijn.
3.
Beschrijvende statistiek: Karakteristieken van de hierboven beschreven subgroepen respondenten worden beschreven. Hierbij worden per vraag in ieder geval de volgende uitkomstmaten gepresenteerd: a.
Gemiddelde;
b.
Mediaan;
c.
Minimum;
d.
Maximum
e.
Standaard deviatie;
21
http://www.centrumklantervaringzorg.nl/fileadmin/site/ckz/documenten/Handboek_nieuwe_stijl/Ha ndboek_CQI_Ontwikkeling_versie_3_1_20111206.pdf
2
65/111
f.
Frequentieverdeling.
B.3.2 Inter-itemanaly se & betrouwbaarheidsanalyse In deze fase wordt gekeken naar de samenhang tussen verschillende vragen en of er sprake is van overlap tussen verschillende items. Als er een hoge overlap is tussen verschillende items, wordt gekeken of het mogelijk is een van de items (vragen) te laten vervallen. De inter-itemanalyse wordt zowel op vraag als op schaalniveau uitgevoerd. We kijken hierbij ook naar de betrouwbaarheid van de zes CQI schalen. De stappen die hierbij gevolgd worden, zijn de volgende: 1.
Correlatie analyse op vraagniveau: Met een correlatie analyse wordt nagegaan hoe groot de overlap is in antwoordpatronen tussen de verschillende items. Bij items met een grote overlap (hoge correlatie), die inhoudelijk over hetzelfde onderwerp gaan, zou mogelijk één van de twee items verwijder kunnen worden. De items leveren dan gen eigen (unieke) bijdrage aan het meten van het specifieke kwaliteitsthema. Volgens de CKZ richtlijnen is een correlatie van meer dan 0,7 (oftewel een overlap in antwoordpatronen van circa 50%) verdacht. Bij een correlatie van meer dan 0,85 is er geen (statistische) reden om beide items te handhaven.
2.
Betrouwbaarheidsanalyse op schaalniveau: Met een betrouwbaarheidsanalyse wordt gekeken of de gehanteerde schalen binnen de vragenlijst betrouwbaar, oftewel intern consistent, zijn. Dit wordt gecontroleerd op basis van de Cronbach’s alpa. Het CKZ handboek stelt dat een schaal met een Cronbach’s alpha tussen 0,6 en 0,7 een geringe betrouwbaarheid heeft. Een Cronbach’s alpha >0,70 is de betrouwbaarheid voldoende. Binnen dit onderzoek wordt ervan uitgegaan dat een Cronbach’s alpha hoger dan 0,85 duidt op een eenduidig concept dat mogelijk gemeten kan worden met één tot twee vragen. Een lagere Cronbach’s alpha kan duiden op een complex construct dat niet met een vraag gemeten kan worden. De schalen worden beoordeeld op basis van de Cronbach’s alpha waarbij de vuistregel is dat schalen met een Cronbach’s alpha hoger dan 0,85, met minder vragen gemeten kunnen worden. De betrouwbaarheid van dichotome variabelen (ja/nee) dient met Kuder-Richardson Formule (KR-20 ) berekend te worden waarbij de score op dezelfde wijze als Cronbach’s alpha geïnterpreteerd wordt. Voor de selectie van de betreffende vraag wordt gekeken naar de ICC. Vragen met een hoge ICC zeggen namelijk meer over de instelling dan over het individu.
3.
Correlatie analyse op schaalniveau: Binnen de vragenlijst werken we met zes CQI schalen. Na het berekenen van de schaalscores, wordt gekeken wat de
2
66/111
correlatie tussen de verschillende schalen is en of verschillende schalen mogelijk dezelfde concepten meten (de berekening van de schaalscores wordt toegelicht in de volgende paragraaf). Een hoge correlatie betekent niet automatisch dat de schalen hetzelfde meten, hiervoor zou ook de inhoud van de schalen moeten overlappen. Wel kan het erop duiden dat er geen statistische reden is om beide schalen mee te nemen omdat er een grote overlap is in antwoordpatronen tussen de beide schalen. 4.
De schalen die berekend worden op basis van de vragenlijst zijn de volgende: a.
CQI schaal Bejegenening: met behulp van vragen i. 1 ‘Luistert uw behandelaar aandachtig naar u?’, ii. 2 ‘Neemt de behandelaar u serieus? ’ en iii. 3 ‘Legt uw behandelaar u dingen op een begrijpelijke manier uit?’ wordt een gemiddelde schaalscore berekend op een nooit/ soms/ meestal/ altijd schaal (1-4).
b.
CQI schaal Informatie over de behandeling met behulp van vragen i. 10
‘Heeft
u
informatie
gekregen
over
de
behandelingsmogelijkheden die er voor uw klachten zijn?’, ii. 11 ‘Heeft u informatie gekregen over hoe u met uw klachten om kunt gaan?’ en iii. 12 ‘Heeft u informatie gekregen over het resultaat dat u van de behandeling kunt verwachten?’ wordt een gemiddelde schaalscore berekend op een nee helemaal niet/ een beetje/ grotendeels/ ja, helemaal schaal (1-4). c.
CQI schaal Vervulling hulpwensen met behulp van vragen i. 4 ‘Begrijpt uw behandelaar in voldoende mate wat uw klachten zijn?’ ii. 5 ‘Is/was de behandeling naar uw mening de juiste aanpak voor uw klachten?’
2
67/111
iii. ‘6 Wordt/werd het behandelplan naar uw wens uitgevoerd?’ wordt een gemiddelde schaalscore berekend op een nee/ja schaal (1-2). d.
CQI schaal Bereikbaarheid met behulp van vragen i. 7 ‘Is het een probleem om een afspraak met uw behandelaar snel te laten plaatsvinden?’ ii. 8 ‘Is het een probleem om uw behandelaar overdag tussen 9.00 en 07.00 uur telefonisch te bereiken?’ iii. 9 ‘Is het een probleem uw behandelaar/ instelling ’s avonds of in het weekeind telefonisch te bereiken, in geval van nood?’ wordt een gemiddelde schaalscore berekend op een groot probleem/ klein probleem/ geen probleem schaal (1-3)
e.
CQI schaal Keuzemogelijkheden met behulp van vragen i. 13 ‘Heeft u informatie gekregen over andere vormen van behandeling of ondersteuning zoals zelfhulpprogramma’s, cliëntondersteuning,
patiëntenverenigingen
E-hulp
en
alternatieve geneeswijzen’ ii. 14 ‘Kunt u uw voorkeuren aangeven voor een bepaalde vorm van een behandeling?’ en iii. 15 ‘Kunt u kiezen uit verschillende soorten behandelingen?’ op een nee/ja schaal wordt een gemiddelde schaalscore berekend (1-2). f.
Daarnaast zijn er nog enkele losse CQI vragen die gepresenteerd worden. Dit betreft: i. Informed consent wordt bepaald op vraag 16 ‘ Zijn er samen met u doelen voor de behandeling geformuleerd?’ ii. Behandeleffect is gebaseerd op vraag 17 ‘Heeft u deze doelen dankzij de behandeling bereikt?’. iii. Aanbevelingsvraag is gebaseerd op de vraag 26 ` Hoe waarschijnlijk is het dat u deze instelling bij anderen, met dezelfde problematiek, aanbeveelt?’ Op basis van deze vraag
2
68/111
wordt de net promotor score bepaald. Respondenten worden op basis van hun antwoord ingedeeld in drie categorieën: 1.
Promotors: antwoord categorie 9 en 10
2.
Passief tevreden: antwoord categorie 7 en 8
3.
Criticasters: antwoord categorie 0 tot en met 6
4.
De net promotor score wordt berekend door het percentage promotors te verminderen met het percentage criticasters.
iv. Rapportcijfer: is gebaseerd op vraag 27 ‘Welk cijfer geeft u aan de behandeling? Een 0 betekent heel erg slecht. Een 10 betekent uitstekend.’
Voor alle CQI schalen geldt dat er geen schaalgemiddelde berekend wordt wanneer 2 of meer items binnen de schaal niet correct ingevuld zijn (=missing) voor de desbetreffende respondent (blijft er slechts 1 vraag over). Wanneer 1 item binnen een schaal missend is, wordt er een gemiddelde gerekend over het over gebleven aantal (2) items. g.
CSQ Schaal Cliënttevredenheid wordt berekend met vragen i. 18 ‘Hoe tevreden bent u met de hoeveelheid hulp die u heeft gekregen?’ ii. 19 ‘Heeft de zorg die u heeft ontvangen, u geholpen om beter met uw problemen om te gaan?’ iii. 20 ‘Kreeg u het soort zorg dat u wilde?’ iv. 21 ‘In hoeverre kwam ons aanbod tegemoet aan uw behoeften aan zorg?’ v. 22 ‘Als een vriend vergelijkbare hulp nodig had, zou u onze hulpverlening dan aanraden?’ vi.
23 ‘Hoe beoordeelt u de kwaliteit van de door u ontvangen zorg?’
vii. 24 ‘Hoe tevreden bent u in het algemeen met de zorg die u ontvangen heeft?’
2
69/111
viii. 25 ‘Zou u weer voor deze vorm van hulpverlening kiezen als u nog eens hulp nodig heeft?’ De vragen zijn allen uitgedrukt in een 4-punt schaal, waarbij een hogere score duidt op een hogere tevredenheid. Er wordt een schaalscore berekend (sommatie) waarbij de score varieert tussen 8 en 32. Een hogere score, duidt op een hogere tevredenheid.
B.4
Anoniem versus niet-anoniem
In de pilot zijn de vragenlijsten op verschillende manieren uitgezet, te weten: 1.
Niet anoniem – de antwoorden worden altijd teruggekoppeld naar de behandelaar;
2.
Anoniem – de antwoorden worden nooit teruggekoppeld naar de behandelaar
3.
Keuze anoniem/niet anoniem – de respondent kan zelf bepalen of de antwoorden worden teruggekoppeld naar de behandelaar.
Binnen de pilot wordt een vergelijking gemaakt tussen deze drie methoden om na te gaan of er verschillen zijn tussen de drie manieren van uitvraag. Hiervoor worden de volgende analyses uitgevoerd: •
Responsanalyse o
Vergelijking respons percentages tussen de anonieme en niet-anonieme groep
respondenten
(zie
paragraaf
8.2
voor
een
uitgebreide
omschrijving). •
Representativiteitsanalyse o
Vergelijking representativiteit tussen de anonieme en niet-anonieme groep
respondenten
(zie
paragraaf
8.2
voor
een
uitgebreide
omschrijving). •
2
Antwoord analyses o
Vergelijking op itemniveau tussen de drie uitvraag methoden
o
Vergelijking op schaalniveau tussen de drie uitvraag methoden
70/111
B.5
Onderscheidend vermogen
Het onderscheidend vermogen wordt bepaald aan de hand van de volgende stappen. Hierbij worden deze stappen steeds uitgevoerd voor alle afzonderlijke CQI thema’s, het rapportcijfer, de aanbevelingsvraag en de Netto Promotor Score. 1.
Met een multi-level analyse wordt de ICC (Intra Class Correlation) wordt bepaald. De ICC kan worden weergegeven als het percentage van de totale variantie dat toe te schrijven is aan verschillen tussen analyse-eenheden. Hoe hoger de ICC, hoe groter de invloed van instellingen op het respondentenoordeel.
2.
Daarnaast
wordt
per
instelling
een
case-mixgecorrigeerde
score
en
vergelijkingsinterval berekend. Het vergelijkingsinterval wordt berekend door de formule case-mixgecorrigeerde score +/- standaard fout * 1,39 toe te passen. Alle instellingen (of analyse eenheden) worden op basis van dit vergelijkingsinterval ingedeeld in drie groepen. ‘onder gemiddeld’, ‘gemiddeld’ en ‘boven gemiddeld’. 3.
Met de reliability analyse wordt inzichtelijk gemaakt of op basis van de huidige meting op een betrouwbare wijze uitspraken gedaan kunnen worden over verschillen tussen analyse-eenheden. Een reliability tussen de 0,7 en 0,8 wordt over het algemeen beschouwd als betrouwbare grens voor het vaststellen van verschillen tussen instellingen.
Op basis van de uitkomsten wordt tevens bepaald of een case-mix correctie gewenst is voor alle afzonderlijke thema’s, het rapportcijfer, de aanbevelingsvraag en de Netto Promotor Score.
B.6
Geaggregeerde score
Gevraagd is om op basis van de ontwikkelde pilot vragenlijst (alle vragen exclusief de CSQ vragen) een samengestelde, geaggregeerde score van de klantervaringen te construeren. Binnen de pilot wordt nagegaan of het mogelijk is een geaggregeerde score te bepalen en welke vragen hierbinnen moeten worden opgenomen. De geaggregeerde score die gebaseerd wordt op de CQI vragen, wordt gebaseerd op alle CQI vragen binnen de zes opgenomen schalen. Het rapportcijfer, de aanbevelingsvraag en de effectvraag worden hierbij niet meegenomen. Dit zijn conceptueel andere vragen die niet behoren tot de vragen binnen de zes schalen. Voorgesteld wordt om de geaggregeerde score vooralsnog te bepalen op dezelfde manier als de individuele schaalscores. Dit houdt in dat er een gemiddelde score wordt bepaald over alle CQI vragen. Omdat de antwoordcategorieën verdeeld zijn over 1-2 (ja/nee vragen),
2
71/111
1-2-3 (geen probleem, klein probleem, groot probleem) en 1-2-3-4 (nee helemaal niet/ een beetje/ grotendeels/ ja, helemaal), worden de antwoordcategorieën omgecodeerd tot een indeling 1-2-3-4. Hiervoor wordt de volgende hercodering aangehouden: •
Ja/nee vragen: ja = 4 punten en nee is 1 punt (let op: het meest positieve anwoord
krijgt altijd 4 punten); •
Geen probleem/klein probleem/ probleem vragen: Geen probleem = 4 punten, klein probleem = 2,5 punten, probleem = 1 punt (let op: het meest positieve
anwoord krijgt altijd 4 punten); De geaggregeerde score wordt, in lijn met de schaalscores, alleen berekend als minimaal de helft van alle vragen zijn beantwoord. In totaal zijn er 16 CQI vragen die behoren tot een schaal opgenomen. Dit houdt in dat minimaal 8 vragen beantwoord dienen te worden. De geaggregeerde score wordt als volgt berekend: ∑xi/n, waarbij xi de afzonderlijke scores op de 16 CQI vragen zijn en n staat voor het aantal ingevulde vragen. N kan variëren tussen de 8 en de 16. Bij minder dan 8 ingevulde vragen wordt immers geen geaggregeerde score bepaald. De gemiddelde score varieert tussen de 1 (laagste score) en 4 (hoogste score). ∑xi varieert tussen de 8 (slechts 8 vragen ingevuld en op alle 8 vragen de laagste score) en 64 (alle 16 vragen ingevuld met de hoogste score).
B.7
Vergelijking CSQ en CQI
Binnen de pilot worden zowel de CSQ als verschillende CQI thema’s uitgevraagd. Gevraagd is in hoeverre de CSQ correleert met de CQI vragenlijst. De CSQ is een geaggregeerde score over 8 vragen. Deze score wordt vergeleken met de geaggregeerde CQI score die berekend wordt. De CSQ wordt normaal gesproken niet gecorrigeerd voor case-mixverschillen. De CQI wordt wel gecorrigeerd voor case-mixverschillen tussen instellingen. Omdat dit van invloed kan zijn op de uiteindelijke uitkomst, stellen we voor de CSQ en de CQI op drie manieren met elkaar te vergelijken: 1.
De case-mix gecorrigeerde geaggregeerde CQI met de CSQ score;
2.
De ongecorrigeerde geaggregeerde CQI met de CSQ score;
3.
De case-mix gecorrigeerde geaggregeerde CQI met de case-mix gecorrigeerde CSQ score.
De vergelijking geeft inzicht in hoeverre de CSQ dezelfde uitkomsten geeft als de geaggregeerde CQI score. Hierbij kijken we naar onder andere:
2
72/111
•
De correlatie tussen de scores;
•
Het onderscheidend vermogen van de twee scores;
•
De verdeling van instellingen over de antwoordcategorieën van beide scores;
•
De invloed van case-mix op de uitkomsten van beide scores.
B.8
Advies i nkorten v rag enlij st
Op basis van bovenstaande informatie zal de CQI kortdurende ambulante GGZ ingekort worden naar 15 vragen zodat de invultijd maximaal 3 minuten bedraagt. Hierbij wordt o.a. gekeken naar: •
Non-respons per vraag;
•
Scheefheid per vraag;
•
Onderscheidend vermogen per vraag/ schaal;
•
Item behoort tot een betrouwbare schaal;
•
Toename van betrouwbaarheid indien vraag verwijderd wordt;
•
Correlatie tussen de vragen/ schalen;
•
Spreiding analyse-eenheden over 3 groepen;
•
Betrouwbaarheid van de geaggregeerde schaal;
•
Als extra optie voor de analyses (op basis van CKZ criteria inkorten van CQI vragenlijsten)
2
o
Maximaal verschil tussen de beste en slechtste analyse-eenheid
o
Gemiddeld verbeterpotentieel
o
Percentage suboptimale ervaringen
o
Verbeterscore
73/111
1 Bijlage C: Inventarisatie bestaande vragenlijsten In deze bijlage worden de verschillende geïnventariseerde vragenlijsten beschreven en vergeleken. SiRM heeft een inventarisatie gemaakt van bestaande vragenlijsten binnen de kortdurende ambulante GGZ en VZ. Aan 32 GGZ instellingen is gevraagd welke ervaringsvragenlijsten zij uitzetten en indien zij een lijst uitzetten die afwijkt van de ‘standaard’ lijsten, of zij deze wilden toesturen. De drie ‘standaard’ lijsten betreffen: 1.
de Consumer Quality Index kortdurende ambulante GGZ of verslavingszorg;
2.
de GGZ Thermometer; en
3.
de Klanttevredenheidslijst.
19 instellingen hebben gereageerd, waarvan 8 instellingen aangeven een andere vragenlijst te gebruiken dan de voorgenoemde drie reguliere lijsten. De specifieke vragenlijsten die een aantal instellingen gebruiken zijn: •
een korte cliëntenvragenlijst;
•
een aangepaste CQI vragenlijst;
•
een aangepaste GGZ Zorgthermometer;
•
de Consumer Quality Score (CQS-8); en
•
een eigen instrument dat aangepast is aan de CQI.
C.1
CQI
De CQI is een vragenlijst met 62 vragen en is gebaseerd op de CAPHS vragenlijst uit Amerika. De CQ-index is ontwikkeld door het Trimbos-instituut en wordt anoniem afgenomen. De CQI meet de cliententevredenheid binnen de volgende thema’s: •
Hulpvraag
•
Bereikbaarheid van de behandelaar(s)
•
Informatievoorziening
•
Inspraak en keuzevrijheid
•
Bejegening
2
74/111
•
Verandering van klachten en functioneren
•
Informatie-uitwisseling behandelaars
•
Evaluatie en afronding behandeling
•
Achtergrondkenmerken
C.2
GGZ Thermometer
De GGZ Thermometer Volwassenen is ook ontwikkeld door het Trimbos-instituut en dateert uit 2003. De GGZ Thermometer is niet anoniem en bevat 28 vragen (inclusief achtergrondkenmerken), waarmee de cliëntentevredenheid wordt gemeten binnen de volgende thema’s: •
Informatie
•
Inspraak in het behandel/ of begeleidingsplan
•
Hulpverlener
•
Resultaat van behandeling of begeleiding
•
Overige vragen
•
Achtergrondkenmerken
C.3
Klanttevredenheid li jst
De klanttevredenheidslijst biedt de mogelijkheid tot keuze voor anonimiteit en bevat 23 vragen. Deze vragen zijn onder te verdelen in de volgende thema’s: •
Waardering ontvangen zorg
•
Waardering informatie
•
Waardering behandelplan
C.4
Vergelijking vrage nlijsten
De hoeveelheid vragen die de verschillende vragenlijsten bevatten zijn verschillend. In onderstaande figuur is weergegeven hoeveel vragen er in welke vragenlijst worden uitgevraagd (hierbij zijn de instellingsspecifieke lijsten voorzien van een enkele letter).
2
75/111
De CQI is veruit de langste vragenlijst met 62 vragen. Een instellingsspecifieke lijst bevat slechts 5 vragen. De meeste vragenlijsten bevatten tussen de 25 en 35 vragen. In onderstaande figuur is voor acht overkoepelende thema’s weergegeven in hoeveel vragenlijsten de verschillende hoofdthema’s terug komen. Hierin is te zien dat de volgende overkoepelende thema’s relatief vaak worden uitgevraagd: •
Inspraak en keuzevrijheid
•
Globale evaluatie
•
Bejegening
•
Informatievoorziening informatievoorziening
(informatievoorziening over
medicatie
en
over
de
behandeling,
informatievoorziening
over
cliëntenrechten) •
Resultaat behandeling
•
Toegankelijkheid
•
Coördinatie van zorg
•
Achtergrondkenmerken
Binnen de verschillende vragenlijst is derhalve een overlap te zien wat betreft de overkoepelende thema’s. Twee thema’s komen in alle 11 de vragenlijsten terug: Inspraak en keuzevrijheid en Globale evaluatie. Drie andere thema’s ontbreken slechts in 1 lijst: Bejegening, Informatievoorziening en Resultaat behandeling. De drie thema’s Toegang, Coördinatie van de zorg en Achtergrondvragen komen het minst vaak terug (in 4 tot 5 lijsten). In alle vragenlijsten zien we dus dezelfde thema’s (en vragen) terugkomen. Hierbij verschilt het aantal vragen per thema, per vragenlijst en het aantal achtergrondkenmerken dat wordt uitgevraagd. Voor de focusgroepen is de indeling in thema’s van de CQI
2
76/111
gehanteerd om vragen binnen een thema te rangschikken. Alle vragen uit de andere vragenlijsten kunnen worden opgenomen binnen deze thema’s.
2
77/111
1 Bijlage D: focusgroep, expertgroep en Stuurgroep Focusgroep 1 ANONIEM 22
cliëntvertegenwoordiging vanuit LPGGZ
Marrie Venderink
Lentis
Ronald Luijk
Zorgverzekeraars Nederland (ZN)
Michiel de Vroom
Rivierduinen
Ariane Klompe
Emergis
Tijs van Hoek
CZ
Caroline van Weert
Stichting Miletus
ANONIEM
22
Arie de Koning
cliëntvertegenwoordiging / therapeut Familieraad GGNet
Focusgoep 2 Ineke van Gent
Pro Persona
Johannes Daalmans
cliëntvertegenwoordiging Pro Persona
Liesbeth Honig
LOC
Anita Struis
cliëntvertgenwoordiging Dimence
Erik Lubbers
Mentaal Beter
Rob Gerrits
Dimence
Lilly Buurke
GGZ Nederland
Meike Bak
cliëntvertegenwoordiging Lentis
ANONIEM
22
cliëntvertegenwoordiging Lentis
Expertgroep Diana Delnoij/ Laura Koopman
Centrumklantervaring Zorg
Bob van Wijngaarden
Trimbos
Suzan Oudejans
Arkin
Agnes Blom
Dimence
Edwin de Beurs
SBGGZ
Bea Tiemens
Propersona
Stasja Draisma
GGZ Ingeest
Astrid Partouns
Stichting Miletus
Caroline van Weert
Stichting Miletus
22 'De naam van de cliëntvertegenwoordiger is bekend bij Stichting Miletus. U kunt Stichting Miletus via
[email protected] vragen in contact te worden gebracht met deze cliëntvertegenwoordiger. Hiervoor zal dan eerst expliciete toestemming van de cliëntvertegenwoordiger zelf worden gevraagd.
2
78/111
Xander Koolman, Dika Luijendijk, Lieke Boonen en Marja Appelman
SiRM
Stuurgroep R. Verheul
GGZ Nederland
L. Buurke / J. Schrieke
GGZ Nederland
S. Bangma / C. Buinsma
SBG
M. ter Avest
LPGGZ
S. Makkink
LPGGGZ
H. Bal/ P. Verbraak
LPGGZ
C. van Weert
Stichting Miletus
E. Velzel
Velzel en Partners
M. Olsman/ B. de Bruin
ZN
R. Luijk
ZN
Astrid Partouns
Stichting Miletus
2
79/111
1 Bijlage E: Criteria op vraagniveau % Subtoptimale ervaringen
Verbeterscore
% non-respons CQI 2010
max verschil tussen beste en slechtste score
80/111
Scheefheid CQI 2010
2
ICC CQI 2010
3.9 3.3 4.4 4.5 4.0 3.8
Totaal belang
Moet u aan de andere zorgverlener(s) alles opnieuw vertellen over uw klachten?(vr38)* Geven uw behandelaars u tegenstrijdige informatie? (vr40)* Bejegening door de behandelaar (Alpha = 0.80) Neemt de behandelaar u serieus? (vr31)* (Alpha = 0.8)** Legt uw behandelaar u dingen op een begrijpelijke manier uit? (vr20)* (Alpha = 0.83) Toonde (toont) de hulpverlener respect voor u?
Zorgverzekeraar
3.6 4.6 4.3 3.9 3.9 3.4 3.1 2.0 1.7 3.4 4.3
Zorgaanbieder
Afronding behandeling (Alpha = 0.63) Zijn er afspraken gemaakt over wat u moet doen als uw klachten terugkomen of verergeren? (vr47)* Zijn er afspraken gemaakt over nazorg? (vr46)* Hoe beoordeelt u de kwaliteit van de door u ontvangen zorg? Mijn behandelaar evalueert samen met mij het verloop van de behandeling Is de behandeling naar uw tevredenheid afgerond? (vr45)* De gemaakte afspraken worden door de hulpverleners nagekomen Ik houd mij aan de afspraken die ik met de hulpverlener maak Regels en procedures staan een goede hulpverlening niet in de weg Afstemming tussen behandelaars (Alpha = 0.61) Zitten uw behandelaar en de andere zorgverlener(s) op één lijn als het over de beste behandeling voor uw klachten gaat? (vr39)*
Cliënt
Gemiddeld
Vragen
4.5 4.2 4.8 4.1 4.1 3.5 2.9 2.0
4.9 4.2 3.0 3.9 3.2 3.2 1.3 1.7
5.0 5.0 4.5 1.0 2.0 1.0 1.0 1.0
16.5 15.4 13.9 13.9 12.1 11.3 7.0 6.7
1.14 1.17
52.3 73.5
0.5 0.3
0.7 0.9
46.37 22.95
1.43
1.24
64.9
0.6
0.7
32.16
1.09
4.5
4.2
4.0
14.6
0.84
44.0
0.7
2.1
25.47
0.81
3.3 2.9
4.3 3.6
5.0 3.9
13.3 11.3
0.80 0.84
28.1 83.1
0.6 0.4
1.2 1.7
43.96 6.85
1.27
4.7 4.2 4.6
4.1 4.1 3.9
5.0 3.5 1.0
20.0 17.5 16.9
0.78 0.27
73.7 60.7
0.5 0.3
1.1 0.8
6.19 8.89
0.23 0.31
4.0 3.0 1.0 3.0 4.0 1.0 2.9 2.5
16.6 15.6 15.4 15.0 14.4 13.4 13.2 11.7
4.8 3.7
3.8 4.0
4.0 4.9
Is het een probleem om een behandelaar ’s avonds of in het weekeind telefonisch te bereiken, in geval van nood? (vr06)*
3.3
3.4
3.8
Informatie over de behandeling (Alpha = 0.71) Heeft u informatie gekregen over de behandelingsmogelijkheden die er voor uw klachten zijn? (vr07)* (alpha = 0.69) **
4.5 4.5
4.5
Heeft u informatie gekregen over het resultaat dat u van de behandeling kunt verwachten? (vr10)* (alpha = 0.71)**
3.9
Heeft u informatie gekregen over hoe u met uw klachten om kunt gaan? (vr09) * (alpha = 70)** Heeft u informatie gekregen over de aanpak van uw huidige behandeling? (vr08)* (alpha = 0.67)** De informatie over het doel van de behandeling is voldoende Informatie over cliëntenrechten (Alpha =0.74) Heeft u informatie gekregen over uw rechten als cliënt wat betreft het inzien van uw cliëntdossier? (vr17) * Heeft u informatie gekregen over uw rechten als cliënt wat betreft de klachtenprocedure? (vr18)*
0.82
71.4
0.4
0.9
5.92
0.21
1.39
52.1
0.5
0.9
11.31
0.38
18.7 17.3
0.28 1.02
66.4 63.9
0.3 0.4
1.2 2.6
8.93 7.64
0.28 0.20
2.9
14.7
1.38
43.2
0.5
17.9
25.26
0.58
4.3
4.3
20.2
0.13
82.7
0.2
1.2
15.95
0.53
3.8
3.9
4.5
17.8
0.00
64.7
0.2
1.8
33.61
1.09
3.9 3.7 3.0 3.2 3.9
4.0 3.8 2.6
3.6 3.8 4.8
5.0 4.0 4.0
17.5 16.7 13.6
0.19 0.28
82.4 83.9
0.2 0.2
1.5 1.2
15.99 15.24
0.56 0.50
4.0
3.8
4.0
12.5
1.14
34.9
0.3
1.4
64.02
1.90
3.2
3.3
3.8
2.5
10.4
2.56
27.2
0.4
2.2
71.95
1.85
81/111
Verbeterscore
3.3 3.9 3.7 3.0 3.4 3.2 2.7 2.2
% Subtoptimale ervaringen
Totaal belang
4.4 3.7 3.5 3.6 3.3 3.5 3.7 3.2
% non-respons CQI 2010
Zorgverzekeraar
max verschil tussen beste en slechtste score
Zorgaanbieder
Scheefheid CQI 2010
Cliënt
3.8 3.5 3.5 3.4 3.3 3.1 3.0 2.7 4.0 4.3 3.9
2
ICC CQI 2010
Gemiddeld
Ik heb een goede samenwerking met mijn hulpverlener Luistert uw behandelaar aandachtig naar u? (vr30)* (Alpha = 0.78) Kon (kunt) u de hulpverlener voldoende vertrouwen? De manier van werken van mijn hulpverlener past goed bij mij Mijn hulpverlener confronteert mij, indien nodig, met zaken die ik moeilijk onder ogen kan zien Vond (vindt) u de hulpverlener voldoende deskundig (goed in zijn/haar vak?) Heeft uw behandelaar genoeg tijd voor u? (vr29)* (Alpha = 0.83) Als ik vragen heb, word ik doorverwezen naar de juiste persoon Bereikbaarheid van de behandelaars (Alpha = 0.67) Is het een probleem om een afspraak met uw behandelaar snel te laten plaatsvinden? (Vr04)* Is het een probleem om uw behandelaar overdag tussen 9.00 en 17.00 uur telefonisch te bereiken? (vr05)*
Vragen
% Subtoptimale ervaringen
Verbeterscore
% non-respons CQI 2010
max verschil tussen beste en slechtste score
Scheefheid CQI 2010
Zorgverzekeraar
ICC CQI 2010
Zorgaanbieder
Totaal belang
Cliënt
Heeft u informatie gekregen over uw rechten als cliënt wat betreft de mogelijkheden tot een second opinion? (vr19)* Informatie over medicatie (Alpha = 0.72) Heeft u informatie gekregen over de werking van de medicijnen die u gebruikt? (vr13)* Heeft u informatie gekregen over de eventuele (lichamelijke) bijwerkingen van de medicijnen die u gebruikt? (vr14)*
Gemiddeld
Vragen
2.7
2.8
2.6
3.0
8.8
0.31
17.3
0.2
2.3
81.65
2.20
3.8 4.1 4.0
4.6 4.0
4.2 4.1
4.0 2.5
15.5 15.0
4.92 4.89
80.4 71.3
0.2 0.1
2.1 2.2
16.46 26.10
0.58 0.87
3.7
4.0
3.7
3.0
14.1
4.95
58.6
0.3
2.0
38.41
1.22
2.7 4.2
4.8
3.8
1.0
11.3
0.80
68.2
0.4
1.0
28.90
4.1 3.3 3.0
4.5 3.7 3.3
4.2 3.0 2.8
3.0 1.0 1.0
11.2 9.1 8.3
2.8 2.5 3.8 4.4 4.2 4.0
2.5 2.3
3.5 3.2
3.0 2.9
7.5 6.7
0.75 0.80
72.2 32.8
0.3 0.5
1.0 1.1
12.33 21.90
0.35 0.61
4.2 4.3 3.9
4.9 4.0 4.2
5.0 2.0 3.9
17.7 15.7 15.0
0.56 0.67 0.95
73.6 51.1 32.8
0.2 0.3 0.3
2.3 3.1 1.4
23.58 46.01 65.74
0.73 1.36 1.73
3.1 2.5 2.3 3.5 3.6
3.2 2.1 3.1
3.0 3.2 1.6
2.5 4.0 1.0
11.8 9.5 8.7
0.28
25.6
0.3
1.4
72.83
1.88
4.2
3.4
4.0
12.4
Heeft u informatie gekregen over de verschillende soorten medicijnen die er bestaan voor uw klachten? (vr12)* Informatie uitwisseling tussen behandelaars (Alpha = 0.59) Heeft uw behandelaar aan u toestemming gevraagd om informatie over u met andere zorgverleners te delen? (vr37)* Ik heb de indruk dat mijn persoonlijke gegevens zorgvuldig worden behandeld Ik heb er vertrouwen in dat buiten mij om nooit gegevens aan derden worden gegeven Het was duidelijk voor het begin van de hulpverlening dat mijn problemen in het team werden besproken Wordt uw huisarts geïnformeerd over uw behandeling door uw behandelaar? (vr41)* Wordt uw behandelaar geïnformeerd over uw lichamelijk functioneren door uw huisarts? (vf42)* Keuzemogelijkheden (Alpha = 0.57) Kunt u uw voorkeuren aangeven voor een bepaalde vorm van behandeling? (Vr21)* Kunt u kiezen uit verschillende soorten behandelingen? (vr22)* Heeft u informatie gekregen over andere vormen van behandeling of ondersteuning zoals zelfhulpprogramma’s, cliëntondersteuning, patiëntenverenigingen, E-hulp en alternatieve geneeswijzen? (Vr16)* Kunt u kiezen wie uw behandelaar is? (vr23) los item Kunt u kiezen op welk tijdstip van de dag de behandeling plaatsvindt? (vr24)los item Heeft u informatie gekregen over behandelmogelijkheden elders? (Vr15)* Algemene waarderingsvragen Welk rapportcijfer geeft u aan het resultaat van de behandeling (0 tot 10)
2
82/111
3.9 4.8
4.5 3.2
5.0 3.0
16.2 15.8
3.3 3.1 3.0 3.0 4.2 4.2 3.9 3.6 3.5 3.5
3.3 2.8 3.0 2.4
2.8 2.6 2.7 3.5
3.0 3.0 2.0 4.0
12.7 11.9 11.5 11.5
4.2 4.0 3.9 4.4 3.6
4.0 4.3 3.7 2.9 3.7
3.0 2.5 2.5 1.0 3.0
17.6 16.1 15.1 14.6 14.5
Vond (vindt) u de hulpverlener voldoende geïnteresseerd in u en uw mening? 2.6 Kreeg u het soort zorg dat u wilde? 2.6 De gang van zaken bij de opname is duidelijk uitgelegd 2.3 * Betreft vragen binnen de CQI schaal over dit thema ** Dit duidt de Cronbach’s alpha van de CQI schaal aan als deze vraag uit de CQI schaal komt te vervallen
2.7 3.1 2.0
2.6 1.9 3.4
1.0 1.0 3.0
10.7 10.7 9.6
1.0
1.2
0.71
43.8
0.5
1.5
12.31
0.70 0.42 0.68
34.6 32.2 30.8
0.7 0.7 0.7
1.2 1.3 1.4
10.37 6.94 10.42
0.04
77.0
0.2
4.7
18.56
0.08 0.34
77.9
0.1 0.2
1.4 4.6
17.97
Verbeterscore
4.2 4.1
0.56
% Subtoptimale ervaringen
Totaal belang 11.8 11.6 11.2 11.0 10.0
% non-respons CQI 2010
Zorgverzekeraar 4.5 2.0 4.0 3.0 2.0
max verschil tussen beste en slechtste score
Zorgaanbieder 2.2 3.4 2.6 3.5 1.9
Scheefheid CQI 2010
Cliënt 4.0 3.7 4.0 2.4 3.8
Zou u weer voor deze vorm van hulpverlening kiezen als u nog eens hulp nodig heeft? Welk cijfer geeft u aan de behandeling/ hulpverlening (0-10)? (vr51) Welk rapportcijfer geeft u over hoe tot nu toe met uw problemen is omgegaan (0 tot 10) Zou u deze instelling bij anderen aanbevelen? (vr50) welk rapportcijfer geeft u aan de behandelaar (0 tot 10) Veranderingen in klachten en functioneren (Alpha = 0.93) Bent u door de behandeling of begeleiding beter in staat om dingen te doen die u belangrijk vindt? Kunt u door de behandeling of begeleiding beter omgaan met mensen en situaties, waar u eerder problemen mee had? In vergelijking met 12 maanden geleden is de kwaliteit van mijn leven verbeterd Vergeleken met 12 maanden geleden, hoe vindt u dat u nu functioneert? (vr33)* Vergeleken met 12 maanden geleden, hoe vindt u dat u nu met uw klachten omgaat? (vr34)* Vergeleken met 12 maanden geleden, hoe beoordeelt u nu uw klachten? Het gaat nu: (vr35)* Vervulling hulpwensen23 (Alpha = 0.80) Is/was de behandeling naar uw mening de juiste aanpak voor uw klachten? (vr48)* Ik krijg voldoende ruimte om mijn problemen te bespreken Begrijpt uw behandelaar in voldoende mate wat uw klachten zijn? (vr32)* Wordt/werd het behandelplan naar uw wens uitgevoerd? (vr49)* Tijdens de therapie zijn mijn hulpverlener en ik bezig met de onderwerpen waarvoor ik hulp heb gezocht
ICC CQI 2010
Gemiddeld 3.4 3.4 3.2 3.2 2.9
Vragen
0.55
23 De losse CQI vragen over het behandelplan zijn niet opgenomen. Dit betreft de vragen of de persoon mee kon beslissen over de inhoud van het behandelplan, of de persoon ingestemd heeft met het behandelplan en of het in overleg bijgesteld is.
2
83/111
1 Bijlage F: Opgestelde vragenlijsten Vragenlijst optie 1 – belangrijkste vraag per thema Thema
Vraag
Afronding behandeling*
Zijn er afspraken gemaakt over wat u moet doen als uw klachten terugkomen of verergeren? Zitten uw behandelaar en de andere zorgverlener(s) op één lijn als het over de beste behandeling voor uw klachten gaat? Neemt de behandelaar u serieus?
Afstemming tussen behandelaars* Bejegening door de behandelaar Bereikbaarheid van de behandelaar(s) Informatie over behandeling
Informatie uitwisseling tussen behandelaars* Keuzemogelijkheden
Is het een probleem om een afspraak met uw behandelaar snel te laten plaatsvinden? Heeft u informatie gekregen over de behandelingsmogelijkheden die er voor uw klachten zijn? Heeft u informatie gekregen over uw rechten als cliënt wat betreft het inzien van uw cliëntdossier? Heeft u informatie gekregen over de werking van de medicijnen die u gebruikt? Heeft uw behandelaar aan u toestemming gevraagd om informatie over u met andere zorgverleners te delen? Kunt u uw voorkeuren aangeven voor een bepaalde vorm van behandeling?
Vervulling hulpwensen
Is/was de behandeling naar uw mening de juiste aanpak voor uw klachten?
Informatie over cliëntenrechten* Informatie over medicatie
* deze thema’s komen niet voor in optie 2 en 3
Vragenlijst optie 2 – belangrijkste vraag voor de zes belangrijkste thema’s plus de zes belangrijkste vragen op basis van de hoogste belangscore Thema Afronding behandeling * Bejegening door de behandelaar Bejegening door de behandelaar Bejegening door de behandelaar* Bereikbaarheid van de behandelaar(s) Bereikbaarheid van de behandelaar(s) Informatie over behandeling Informatie over behandeling Informatie over behandeling Informatie over medicatie* Keuzemogelijkheden* Vervulling hulpwensen Algemene waarderingsvraag Algemene waarderingsvraag Verandering in klachten en functioneren
Vraag Zijn er afspraken gemaakt over wat u moet doen als uw klachten terugkomen of verergeren? Neemt de behandelaar u serieus? Legt uw behandelaar u dingen op een begrijpelijke manier uit? Toonde (toont) de hulpverlener respect voor u? Is het een probleem om een afspraak met uw behandelaar snel te laten plaatsvinden? Is het een probleem om uw behandelaar overdag tussen 9.00 en 17.00 uur telefonisch te bereiken? Heeft u informatie gekregen over de behandelingsmogelijkheden die er voor uw klachten zijn? Heeft u informatie gekregen over het resultaat dat u van de behandeling kunt verwachten? Heeft u informatie gekregen over hoe u met uw klachten om kunt gaan? Heeft u informatie gekregen over de werking van de medicijnen die u gebruikt? Kunt u uw voorkeuren aangeven voor een bepaalde vorm van behandeling? Is/was de behandeling naar uw mening de juiste aanpak voor uw klachten? Welk cijfer geeft u aan de behandeling/ hulpverlening (0-10)? Zou u de instelling bij anderen aanbevelen? Bent u door de behandeling of begeleiding beter in staat om dingen te doen die u belangrijk vindt?
* Deze vragen verschillen van optie 3, de overige vragen zijn identiek
2
84/111
Vragenlijst optie 3 – Belangrijkste vier thema’s met behoud van de CQI schalen binnen deze thema’s (met maximum van drie vragen per thema) Thema Bejegening door de behandelaar Bejegening door de behandelaar Bejegening door de behandelaar* Bereikbaarheid vd behandelaar(s) Bereikbaarheid vd behandelaar(s) Bereikbaarheid vd behandelaar(s)* Informatie over behandeling Informatie over behandeling Informatie over behandeling Vervulling hulpwensen Vervulling hulpwensen* Vervulling hulpwensen* Verandering in klachten & functioneren Algemene waarderingsvraag Algemene waarderingsvraag
Vraag Neemt de behandelaar u serieus? Legt uw behandelaar u dingen op een begrijpelijke manier uit? Luistert uw behandelaar aandachtig naar u? Is het een probleem om een afspraak met uw behandelaar snel te laten plaatsvinden? Is het een probleem om uw behandelaar overdag tussen 9.00 en 17.00 uur telefonisch te bereiken? Is het een probleem om een behandelaar ’s avonds of in het weekeind telefonisch te bereiken, in geval van nood? Heeft u informatie gekregen over de behandelingsmogelijkheden die er voor uw klachten zijn? Heeft u informatie gekregen over het resultaat dat u van de behandeling kunt verwachten? Heeft u informatie gekregen over hoe u met uw klachten om kunt gaan? Is/was de behandeling naar uw mening de juiste aanpak voor uw klachten? Begrijpt uw behandelaar in voldoende mate wat uw klachten zijn? Wordt/werd het behandelplan naar uw wens uitgevoerd? Bent u door de behandeling of begeleiding beter in staat om dingen te doen die u belangrijk vindt? Welk cijfer geeft u aan de behandeling/ hulpverlening (0-10)? Zou u deze instelling bij anderen aanbevelen?
* Deze vragen verschillen van optie 2, de overige vragen zijn identiek
2
85/111
Bijlage G: WAR Notitie 6 april Voorstel aanpak CQI GGZ ambulant door SiRM Dit voorstel heeft tot doel de WAR te vragen naar een oordeel over de twee voorliggende opties om de huidige vragenlijst in te korten. De Stuurgroep GGZ heeft als eis geteld dat de CQI vragenlijst “twee, maximaal drie minuten” invultijd mag vragen van de respondent. Daarbij heeft de Stuurgroep GGZ expliciet aangegeven dat de CQI GGZ ambulant geen volledig beeld van de ervaring hoeft te geven en dat het niet nodig is om te werken met thema’s/schalen. Naar aanleiding van bovenstaande randvoorwaarden en gesprekken met afgevaardigden van instellingen, cliënten en verzekeraars zijn twee mogelijke voorstellen geformuleerd. Deze voorstellen zijn tevens besproken met een groep wetenschappelijke experts met een achtergrond in de GGZ. De twee besproken voorstellen zijn: 1.
het selecteren van de belangrijkste (3?) thema’s met behoud van de onderliggende items;
2.
het selecteren van de belangrijkste items, en het loslaten van de bestaande themaitemstructuur.
De eerste optie maakt gebruik van een bestaande CQI-vragenlijst waaruit bestaande thema’s inclusief de onderliggende items worden geselecteerd. De beperkte selectie van thema’s zal geen volledig beeld geven maar de kwaliteit van de geselecteerde thema’s wordt niet aangetast. De selectie van thema’s zal waarschijnlijk worden gebaseerd op de hoogste belangscores en in de tweede plaats op een aantal statistische eigenschappen. Een eerste verkenning laat zien dat de meest waarschijnlijke selectie van thema’s (binnen de GGZ) allen een Cronbach’s Alpha hebben van van boven de 0,7. Wij denken dat deze methodiek het best aansluit bij de gebruikelijke procedures om CQI-vragenlijsten te ontwikkelen. De tweede optie bestaat uit het selecteren van losse items en impliceert het loslaten van het gebruik om meerdere items per thema te hebben. Het bepalen van een Cronbach’s Alpha per thema is dan ook niet meer mogelijk. Deze aanpak maakt het wel mogelijk om binnen de beperkte invultijd een zo volledig mogelijk beeld te geven (van alle thema’s) en daarmee de verschillende gebruikersdoelen optimaal te dienen. Met andere woorden, indien het wetenschappelijk verantwoord is om geen gebruik te maken van meerdere vergelijkbare items binnen een schaal, dan kunnen de items sterker verschillen en dus een groter deel van de zorg beschrijven.
2
86/111
Ook bij andere kwaliteitsindicatoren wordt gewerkt met het inzichtelijk maken van kwaliteit op item niveau en niet op schaalniveau. Zorginhoudelijke indicatoren bijvoorbeeld worden in de regel niet opgebouwd als een schaal met meerdere items die beogen hetzelfde te meten, en daardoor een hoge (statistische) betrouwbaarheid hebben. Wij vermoeden dat het verschil in de aanpak tussen de CQI/psychometrische aanpak aan de ene kant en de zorginhoudelijke indicatoren aanpak aan de andere kant, het gevolg is van het belang dat psychometristen hechten aan de betrouwbaarheid (test-retest) van de uitkomst op respondentniveau. Op het moment dat de eenheid waarover een uitspraak dient te worden gedaan uit meerdere respondenten bestaat (het niveau van de CQI uitvraag), dan is het niet meer nodig dat een uitkomstmaat betrouwbaar is op respondentniveau. Het gaat erom dat deze betrouwbaar is op groepsniveau. In dat geval kan de Cronbach’s Alpha worden vervangen voor een maat voor spreiding van het gemiddelde in relatie tot het relevante effectverschil (een poweranalyse). En indien de Cronbach’s Alpha niet meer nodig is, dan vervalt (vanuit het betrouwbaarheidsperspectief) ook de noodzaak van het hebben van meerdere items per thema. Een voorbeeld is het thema patiëntveiligheid. Dat thema wordt ingevuld met items over doorligwonden, medicatieveiligheid, bijwerkingen etc. Dergelijke items verschillen duidelijk van elkaar en correleren onderling veelal zwak. Een hoge onderlinge correlatie is echter niet het doel en de Cronbach’s Alpha wordt veelal niet uitgerekend. De items verschillen juist veel van elkaar met het doel om het thema patiëntveiligheid zo volledig mogelijk te beschrijven. In een aantal zorginhoudelijke vragenlijsten is slechts een of enkele van de items opgenomen en het is niet gebruikelijk om een schaalscore uit te rekenen. De vraag die voorligt is dan ook of de procedure die gebruikelijk is voor de zorginhoudelijke indicatoren ook kan worden gebruikt voor het reduceren van het aantal items van de CQI met goedkeuring van de WAR. Daarbij stellen wij voor om: •
themascores te vervangen door itemscores;
•
te benadrukken dat de itemscores niet bedoeld zijn om uitspraken te doen op respondentniveau (de betrouwbaarheid kan niet worden beoordeeld);
•
dat de scores wel bruikbaar op een hoger aggregatieniveau (de hoogte van dat niveau zal binnen de pilot worden beoordeeld aan de hand van een post hoc poweranalyse);
•
het niet voor de hand ligt om op basis van de itemscores op te tellen tot een totaalscore zonder verder onderzoek naar de validiteit van een dergelijke totaalscore.
2
87/111
Graag ontvangen wij een antwoord waaruit duidelijk wordt of en zo ja, onder welke voorwaarden een toekomstige instrument dat gebaseerd is op het tweede voorstel de CQI naam mag dragen. Wij danken u voor uw inspanningen.
Met vriendelijke groet, Dr. Xander Koolman SiRM Associate Partner Statistiek Commissie CKZ (lid)
2
88/111
Bijlage H: Reactie WAR op het voorstel van SiRM De Wetenschappelijke Advies Raad (WAR) van het Centrum Klantervaring Zorg heeft met interesse de notitie gelezen. De bevindingen van de WAR zijn als volgt. Het is interessant om te zoeken naar nieuwe strategieën voor het inkorten van vragenlijsten. Maar niet alle thema’s in een CQI kunnen worden gedekt met één vraag. Sommige begrippen zijn te complex waardoor er zijn meerdere vragen nodig om een construct/concept te meten. Het advies is daarnaast om per thema goed na te denken of het hierbij gaat om een complex construct dat met meerdere vragen moet worden gemeten, of om meer eenduidige zaken waarin met één vraag kan worden volstaan. In het algemeen geldt, dat hoe hoger de correlaties tussen de items in een schaal en hoe hoger de Cronbach’s alpha, des te eenduidiger is het concept en des te minder informatie gaat er verloren als met één vraag gemeten worden. De WAR raadt SiRM aan om simulaties te doen op bestaande data en te kijken naar de gevolgen en nauwkeurigheid van de schatting op basis van een sterk ingekorte lijst. Dit kan overigens ook in de vorm van een experiment, waarbij bijvoorbeeld 100 respondenten de lange CQI vragenlijst invullen en 100 respondenten delen van de CQI vragenlijst in vullen. Verder zouden bij het inkorten vragen gekozen moeten worden die een hoge ICC waarde hebben omdat die meer over de instelling zeggen dan over het individu. Daarnaast wordt er een suggestie gedaan voor een onderzoek waarbij respondenten verschillende steekproeven van vragen invullen, zodat bij voldoende aantallen cliënten toch een groot aantal vragen op instellingsniveau beschikbaar is. De WAR kan niet op voorhand aangeven of het uiteindelijke product voor het stempel CQI in aanmerking komt. Ze zijn voorstander om methoden te gebruiken om tot kortere vragenlijsten te komen, mits deze geëvalueerd worden. De wijze waarop dit recent in de VVT is gedaan, is volgens de WAR in elk geval verantwoord. Dit zou ook als voorbeeld kunnen dienen voor de GGZ.
2
89/111
Bijlage I: Pilot vragenlijst Vragenlijst “Ervaringen met de kortdurende ambulante geestelijke gezondheidszorg of verslavingszorg” We willen u verzoeken enkele vragen te beantwoorden over de begeleiding of behandeling die u ontvangen heeft bij onze instelling. Uw ervaring is voor ons van groot belang om in de toekomst de kwaliteit van onze zorg te kunnen behouden of verbeteren. In totaal stellen we u 28 vragen. U kunt steeds antwoord geven door het gewenste hokje aan te klikken. U kunt de vragen beantwoorden voor de periode waarbinnen uw behandeling heeft plaatsgevonden. Beantwoordt de lijst vraag voor vraag. Er zijn geen goede of foute antwoorden. Het is belangrijk dat u uw eigen ervaringen weergeeft. Neem bij vragen over uw behandelaar of hulpverlener de behandelaar/hulpverlener in gedachten met wie u het meeste contact heeft of heeft gehad. Beantwoordt de vragen voor deze persoon. Alle gegevens zullen vertrouwelijk worden verwerkt. Vindt u het goed dat uw behandelaar inzage krijgt in de antwoorden die u geeft op deze vragenlijst, om zo zijn zorg te verbeteren? Nee, mijn behandelaar mag geen inzage krijgen in mijn antwoorden. Ja, mijn behandelaar mag inzage krijgen in mijn antwoorden.
Bejegening
De volgende vragen gaan over hoe de behandelaar met u omging tijdens de behandeling en over de mogelijkheden die u heeft gehad om zelf invloed uit te oefenen op de behandeling.
1.
Luistert uw behandelaar aandachtig naar u?
Nooit Soms Meestal Altijd
2.
Neemt de behandelaar u serieus?
Nooit Soms Meestal Altijd
2
90/111
3.
Legt uw behandelaar u dingen op een begrijpelijke manier uit?
Nooit Soms Meestal Altijd
4.
Begrijpt uw behandelaar in voldoende mate wat uw klachten zijn?
Nee Ja
5.
Is/was de behandeling naar uw mening de juiste aanpak voor uw klachten?
Nee Ja
6.
Wordt/werd het behandelplan naar uw wens uitgevoerd?
Nee Ja
Bereikbaarheid van de behandelaar (hulpverlener)
De volgende vragen gaan over de bereikbaarheid van de behandelaar(s). 7. Is het een probleem om een afspraak met uw behandelaar snel te laten plaatsvinden? Een groot probleem Een klein probleem Geen probleem
8.
Is het een probleem om uw behandelaar overdag tussen 9.00 en 17.00 uur telefonisch te bereiken? Een groot probleem Een klein probleem Geen probleem
9.
Is het een probleem om uw behandelaar/ instelling ’s avonds of in het weekeind telefonisch te bereiken, in geval van nood? Een groot probleem Een klein probleem Geen probleem Niet van toepassing
Informatievoorziening
De volgende vragen gaan over de informatie die u van uw behandelaar/hulpverlener ontvangen hebt over uw behandeling.
2
91/111
10. Heeft u informatie gekregen over de behandelingsmogelijkheden die er voor uw klachten zijn? Nee, helemaal niet Een beetje Grotendeels Ja, helemaal
11. Heeft u informatie gekregen over hoe u met uw klachten om kunt gaan? Nee, helemaal niet Een beetje Grotendeels Ja, helemaal
12. Heeft u informatie gekregen over het resultaat dat u van de behandeling kunt verwachten? Nee, helemaal niet Een beetje Grotendeels Ja, helemaal Keuzemogelijkheden
De volgende vragen gaan over uw keuzemogelijkheden binnen de behandeling
13. Heeft u informatie gekregen over andere vormen van behandeling of ondersteuning zoals zelfhulpprogramma’s, cliëntondersteuning, patiëntenverenigingen, E-hulp en alternatieve geneeswijzen Nee Ja
14. Kunt u uw voorkeuren aangeven voor een bepaalde vorm van een behandeling? Nee Ja
15. Kunt u kiezen uit verschillende soorten behandelingen? Nee Ja
Evaluatie
De volgende vragen gaan over hoe de behandeling tot nu toe is verlopen
16. Zijn er samen met u doelen voor de behandeling geformuleerd? Nee Ja
2
92/111
17. Heeft u deze doelen dankzij de behandeling bereikt? Nee Ja
18. Hoe tevreden bent u met de hoeveelheid hulp die u heeft gekregen? 1 Behoorlijk ontevreden
2 Neutraal of enigszins ontevreden
3 Redelijk tevreden
4 Zeer tevreden
19. Heeft de zorg die u heeft ontvangen, u geholpen om beter met uw problemen om te gaan? 4 Ja, het heeft veel geholpen
3 Ja, het heeft iets geholpen
2 Nee, het heeft niet geholpen
1 Nee, het lijkt er slechter van geworden
20. Kreeg u het soort zorg dat u wilde? 1 Nee, beslist niet
2 Nee, niet echt
3 Ja, in het algemeen wel
4 Ja, zeker
21. In hoeverre kwam het aanbod tegemoet aan uw behoeften aan zorg? 4 Bijna al mijn zorgbehoeften zijn vervuld
3 De meeste van mijn zorgbehoeften zijn vervuld
2 Slechts enkele van mijn zorgbehoeften zijn vervuld
1 Geen van mijn zorgbehoeften zijn vervuld
Beoordeling
Deze vragen gaan over wat u in het algemeen van de instelling/behandeling vindt.
22. Als een vriend vergelijkbare hulp nodig had, zou u onze hulpverlening dan aanraden? 1 Nee, beslist niet
2 Nee, dat denk ik niet
3 Ja, dat denk ik wel
4 Ja, zeker
23. Hoe beoordeelt u de kwaliteit van de door u ontvangen zorg? 4 Uitstekend
3 Goed
2 Redelijk
1 Slecht
24. Hoe tevreden bent u in het algemeen met de zorg die u ontvangen heeft? 4 Zeer tevreden
2
3 Redelijk tevreden
2 Neutraal of enigszins ontevreden
1 Nogal ontevreden
93/111
25. Zou u weer voor deze vorm van hulpverlening kiezen als u nog eens hulp nodig heeft? 1 Nee, beslist niet
2 Nee, dat denk ik niet
3 Ja, dat denk ik wel
4 Ja, zeker
26. Hoe waarschijnlijk is het dat u deze instelling bij anderen, met dezelfde problematiek, aanbeveelt?
0 zeer onwaarschijnlijk 1 2 3 4 5 6 7 8 9 10 zeer waarschijnlijk
27. Welk cijfer geeft u aan de behandeling? Een 0 betekent heel erg slecht. Een 10 betekent uitstekend. 0 heel erg slechte behandeling 1 2 3 4 5 6 7 8 9 10 uitstekende behandeling Over uzelf Ten slot nog een vraag over uzelf. 28. Hoe zou u over het algemeen uw gezondheid noemen? Slecht Matig Goed Zeer goed Uitstekend Wilt u verder nog iets opmerken over uw behandeling/instelling? Dan kunt u dit hieronder kwijt. …………………………………………………… ………………………………………………….
2
94/111
Bijlage J: tabellen en grafieken Tabel 7 Overzicht % missings en scheefheid per item Vraag
Aantal
% ontbrekend
% ja
observatie 1
Luistert uw behandelaar aandachtig naar u?
458
0.21
75
2
Neemt de behandelaar u serieus?
458
0
77
3
Legt uw behandelaar u dingen op een begrijpelijke
457
0
68
458
0.21
91
458
0
82
457
0
83
457
0.21
93
457
0.86
70
457
0.21
82
457
0.21
39
457
0.21
43
456
0.21
38
456
0.43
54
456
0.43
67
soorten
457
0.43
56
Zijn er samen met u doelen voor de behandeling
454
0.21
82
manier uit? 4
Begrijpt uw behandelaar in voldoende mate wat uw klachten zijn?
5
Is/was de behandeling naar uw mening de juiste aanpak voor uw klachten?
6
Wordt/werd het behandelplan naar uw wens uitgevoerd?
7
Is het een probleem om een afspraak met uw behandelaar snel te laten plaatsvinden?
8
Is het een probleem om uw behandelaar overdag tussen 9.00 en 07.00 uur telefonisch te bereiken?
9
Is het een probleem uw behandelaar/ instelling ’s avonds of in het weekeind telefonisch te bereiken, in geval van nood?
10
Heeft
u
informatie
gekregen
over
de
behandelingsmogelijkheden die er voor uw klachten zijn? 11
Heeft u informatie gekregen over hoe u met uw klachten om kunt gaan?
12
Heeft u informatie gekregen over het resultaat dat u van de behandeling kunt verwachten?
13
Heeft u informatie gekregen over andere vormen van behandeling
of
ondersteuning
zelfhulpprogramma’s,
zoals
cliënt-ondersteuning,
patiëntenverenigingen
E-hulp
en
alternatieve
geneeswijzen 14
Kunt u uw voorkeuren aangeven voor een bepaalde vorm van een behandeling?
15
Kunt
u
kiezen
uit
verschillende
behandelingen? 16
geformuleerd? 17
Heeft u deze doelen dankzij de behandeling bereikt?
454
0.86
62
18
Hoe tevreden bent u met de hoeveelheid hulp die u
455
0.43
50
heeft gekregen?
2
95/111
Vraag
Aantal
% ontbrekend
% ja
Heeft de zorg die u heeft ontvangen, u geholpen om
456
0.64
52
observatie 19
beter met uw problemen om te gaan? 20
Kreeg u het soort zorg dat u wilde?
455
0.43
44
21
In hoeverre kwam ons aanbod tegemoet aan uw
453
0.64
45
453
1.07
54
453
1.07
40
452
1.29
52
452
1.29
40
404
2.58
20
411
2.79
25
behoeften aan zorg? 22
Als een vriend vergelijkbare hulp nodig had, zou u onze hulpverlening dan aanraden?
23
Hoe beoordeelt u de kwaliteit van de door u ontvangen zorg?
24
Hoe tevreden bent u in het algemeen met de zorg die u ontvangen heeft?
25
Zou u weer voor deze vorm van hulpverlening kiezen als u nog eens hulp nodig heeft?
26
Hoe waarschijnlijk is het dat u deze instelling bij anderen, met dezelfde problematiek, aanbeveelt?
27
Welk cijfer geeft u aan de behandeling?
Tabel 8 Overzicht % missings en scheefheid per schaal Vraag
Aantal
% ontbrekend
% ja
observatie 1
Bejegening (vr 1,2,3)
458
0
59
2
Informatie behandeling (vr 10,11, 12)
457
0.2
25
3
Vervulling hulpwensen (vr 4,5,6)
458
0
75
4
Bereikbaarheid (vr 7,8,9)
545
0.87
61
5
Keuzemogeljkheden (vr 13, 14,15)
457
0.22
33
6
CSQ (vr 18,19,20,21,22,23,24,25)
458
1.53
8
Tabel 9 Beschrijvende statistieken per item
1
Vraag
Gemiddelde
St dev
Min
Max
Luistert uw behandelaar aandachtig naar
3.7
0.6
1
4
u? 2
Neemt de behandelaar u serieus?
3.7
0.6
1
4
3
Legt uw behandelaar u dingen op een
3.6
0.7
1
4
4
Begrijpt uw behandelaar in voldoende
1.9
0.3
1
2
1.8
0.4
1
2
begrijpelijke manier uit? mate wat uw klachten zijn? 5
Is/was de behandeling naar uw mening de juiste aanpak voor uw klachten?
2
96/111
6
Vraag
Gemiddelde
St dev
Min
Max
Wordt/werd het behandelplan naar uw
1.8
0.4
1
2
2.7
0.6
1
3
2.7
0.6
1
3
3.7
0.7
1
4
3.1
0.9
1
4
3.1
0.9
1
4
2.9
0.9
1
4
1.5
0.5
1
2
1.7
0.5
1
2
1.6
0.5
1
2
1.8
0.4
1
2
de
1.6
0.5
1
2
Hoe tevreden bent u met de hoeveelheid
3.3
0.9
1
4
3.3
0.8
1
4
wens uitgevoerd? 7
Is het een probleem om een afspraak met uw
behandelaar
snel
te
laten
plaatsvinden? 8
Is het een probleem om uw behandelaar overdag tussen 9.00 en 07.00 uur telefonisch te bereiken?
9
Is het een probleem uw behandelaar/ instelling ’s avonds of in het weekeind telefonisch te bereiken, in geval van nood?
10
Heeft u informatie gekregen over de behandelingsmogelijkheden die er voor uw klachten zijn?
11
Heeft u informatie gekregen over hoe u met uw klachten om kunt gaan?
12
Heeft u informatie gekregen over het resultaat dat u van de behandeling kunt verwachten?
13
Heeft u informatie gekregen over andere vormen
van
behandeling
of
ondersteuning
zoals
zelfhulpprogramma’s, ondersteuning,
cliënt-
patiëntenverenigingen
E-hulp en alternatieve geneeswijzen 14
Kunt u uw voorkeuren aangeven voor een bepaalde vorm van een behandeling?
15
Kunt u kiezen uit verschillende soorten behandelingen?
16
Zijn er samen met u doelen voor de behandeling geformuleerd?
17
Heeft
u
deze
doelen
dankzij
behandeling bereikt? 18
hulp die u heeft gekregen? 19
Heeft de zorg die u heeft ontvangen, u geholpen om beter met uw problemen om te gaan?
20
Kreeg u het soort zorg dat u wilde?
3.2
0.8
1
4
21
In hoeverre kwam ons aanbod tegemoet
2.9
0.9
1
4
3.3
0.8
1
4
aan uw behoeften aan zorg? 22
Als een vriend vergelijkbare hulp nodig had, zou u onze hulpverlening dan aanraden?
2
97/111
23
Vraag
Gemiddelde
St dev
Min
Max
Hoe beoordeelt u de kwaliteit van de door
2.7
0.9
1
4
3.3
0.8
1
4
3.2
0.8
1
4
7.5
2.5
0
10
7.5
2.0
0
10
u ontvangen zorg? 24
Hoe tevreden bent u in het algemeen met
25
Zou u weer voor deze vorm van
de zorg die u ontvangen heeft? hulpverlening kiezen als u nog eens hulp nodig heeft? 26
Hoe waarschijnlijk is het dat u deze instelling bij anderen, met dezelfde problematiek, aanbeveelt?
27
Welk cijfer geeft u aan de behandeling?
Tabel 10 Beschrijvende statistieken en betrouwbaarheid per schaal
1
Schaal
N
gem
St dev
Min
Max
Cronbach’s
Cronbach’s
Alpha
Alpha 2011
Bejegening (vr 1,2,3)
458
3.67
0.55
1
4
0.87
0.85
2
Informatie behandeling (vr 10,11, 12)
457
3.05
0.83
1
4
0.87
0.75
3
Vervulling hulpwensen (vr 4,5,6)
458
1.85
0.30
1
2
0.78
0.80
4
Bereikbaarheid (vr 7,8,9)
454
2.65
0.51
1
3
0.66
0.67
5
Keuzemogeljkheden (vr 13, 14,15)
457
1.56
0.38
1
2
0.69
0.58
6
CSQ (vr 18, 19, 20, 21, 22, 23, 24, 25)
457
25.2
5.5
8
32
0.92
7
Informed consent (vr 16)
457
1.81
0.39
1
2
-
8
Behandeleffect (vr 17)
454
1.63
0.48
1
2
-
Tabel 11 Beschrijvende statistieken net promotor score
1
Aanbevelingsvraag (vr 26)
N
promotors
passief
criticasters
NPS*
457
38%
38%
24%
12.47
*Net promotor Score wordt berekend door % promotors te verminderen met het % criticasters.
Tabel 12 Correlaties tussen items met correlatie hoger dan 0.7 Vraag
Vraag
Correlatie 0.7881
1
Luistert de behandelaar aandachtig
2
Neemt de behandelaar u serieus
26
Aanbevelingsvraag
27
Rapportcijfer
0.7306
27
Welk cijfer geeft u aan de behandeling?
20
CSQ (gewenste zorg)
0.7009
22
CSQ (aanbeveling)
26
Aanbevelingsvraag
0.7437
27
Welk cijfer geeft u aan de behandeling?
24
CSQ (tevredenheid)
0.7540
25
CSQ (weer kiezen voor dezelfde zorg)
26
Aanbevelingsvraag
0.7536
Tabel 13 Correlatie tussen de CQI schalen en de CSQ schaal
2
98/111
Bejegening
Informatie
Vervulling
Bereik-
Keuze-
Aanbevelings-
Rapport-
behandeling
hulpwensen
baarheid
mogeljkheden
vraag
cijfer
CSQ
1
Bejegening Informatie behandeling
0.546
1
Vervulling hulpwensen
0.678
0.619
1
Bereikbaarheid
0.431
0.357
0.456
1
Keuzemogelijkheden
0.288
0.434
0.309
0.127
1
Aanbevelings-vraag
0.578
0.617
0.653
0.425
0.314
1
Rapportcijfer
0.673
0.662
0.733
0.450
0.329
0.808
1
CSQ
0.698
0.698
0.779
0.460
0.345
0.815
0.862
Figuur 2 R2 tussen de CQI schalen en de CSQ schaal
R2
R2 tussen CSQ en afzonderlijke CQI schalen 100 90 80 70 60 50 40 30 20 10 0
74 66
60 48
47
42 22
21 12
Tabel 14 ICCs voor instellingen met minimaal 20 cliënten Instellingsniveau
Afdelingsniveau
N=5
N = 26
Thema
ICC ongecorr
ICC gecorr*
ICC ongecorr
ICC gecorr*
Bejegening
7.1
5.1
9.7
6.5
Informatie behandeling
2.6
0.8
4.5
2.6
Vervulling hulpwensen
5.8
3.5
7.4
4.1
Bereikbaarheid
3.7
2.9
6.0
5.0
Keuzemogelijkheden
0.1
0
0.2
0
CSQ
7.9
3.6
9.7
5.2
Aanbevelingsvraag
5.9
2.0
7.9
57
Rapportcijfer
6.6
2.4
7.5
3.6
Doelen geformuleerd
8.6
5.6
10.9
4.6
Doelen bereikt
6.8
2.7
9.5
3.8
* gecorrigeerd voor Leeftijd, Geslacht en Opleidingsniveau
2
99/111
1
Tabel 15 ICC’s voor instellingen met afdelingen met minimaal 30 cliënten Instellingsniveau
Afdelingsniveau
N=2
N=5
Thema
ICC ongecorr
ICC gecorr*
ICC ongecorr
ICC gecorr*
Bejegening
5.6
1.7
6.2
3.2
Informatie behandeling
2.9
2.0
4.9
4.2
Vervulling hulpwensen
5.3
2.7
5.3
2.9
Bereikbaarheid
2.6
2.2
3.4
3.1
Keuzemogelijkheden
3.5
0
2.5
0
CSQ
1.8
0
4.6
1.9
Aanbevelingsvraag
2.8
0
5.5
3.1
Rapportcijfer
3.2
0
3.8
1.4
Doelen geformuleerd
67
66
22
20
Doelen bereikt
14
7.8
9.4
4.1
* gecorrigeerd voor Leeftijd, Geslacht en Opleidingsniveau
2
100/111
Bijlage K: Definitieve vragenlijst Vragenlijst “Ervaringen met de kortdurende ambulante geestelijke gezondheidszorg of verslavingszorg” We willen u verzoeken enkele vragen te beantwoorden over de begeleiding of behandeling die u ontvangen heeft bij onze instelling. Uw ervaring is voor ons van groot belang om in de toekomst de kwaliteit van onze zorg te kunnen behouden of verbeteren. In totaal stellen we u 19 vragen. U kunt steeds antwoord geven door het gewenste hokje aan te klikken. U kunt de vragen beantwoorden voor de periode waarbinnen uw behandeling heeft plaatsgevonden. Beantwoordt de lijst vraag voor vraag. Er zijn geen goede of foute antwoorden. Het is belangrijk dat u uw eigen ervaringen weergeeft. Neem bij vragen over uw behandelaar of hulpverlener de behandelaar/hulpverlener in gedachten met wie u het meeste contact heeft of heeft gehad. Beantwoordt de vragen voor deze persoon. Alle gegevens zullen vertrouwelijk worden verwerkt.
Bejegening
De volgende vragen gaan over hoe de behandelaar met u omging tijdens de behandeling en over de mogelijkheden die u heeft gehad om zelf invloed uit te oefenen op de behandeling.
1.
Neemt de behandelaar u serieus? Nooit Soms Meestal Altijd
2.Legt uw behandelaar u dingen op een begrijpelijke manier uit? Nooit Soms Meestal Altijd
3.
Begrijpt uw behandelaar in voldoende mate wat uw klachten zijn? Nee Ja
Vervulling hulpwensen
De volgende vragen gaan over of uw wensen tijdens de behandeling zijn meegenomen.
2
101/111
4.
Is/was de behandeling naar uw mening de juiste aanpak voor uw klachten?
Nee Ja
5.
Wordt/werd het behandelplan naar uw wens uitgevoerd?
Nee Ja
Bereikbaarheid van de behandelaar (hulpverlener)
De volgende vragen gaan over de bereikbaarheid van de behandelaar(s). 6. Is het een probleem om een afspraak met uw behandelaar snel te laten plaatsvinden? Een groot probleem Een klein probleem Geen probleem
7.
Is het een probleem om uw behandelaar overdag tussen 9.00 en 17.00 uur telefonisch te bereiken? Een groot probleem Een klein probleem Geen probleem
Informatievoorziening
De volgende vragen gaan over de informatie die u van uw behandelaar/hulpverlener ontvangen hebt over uw behandeling.
8.
Heeft u informatie gekregen over de behandelingsmogelijkheden die er voor uw klachten zijn?
Nee, helemaal niet Een beetje Grotendeels Ja, helemaal
9.
Heeft u informatie gekregen over hoe u met uw klachten om kunt gaan?
Nee, helemaal niet Een beetje Grotendeels Ja, helemaal
10. Heeft u informatie gekregen over het resultaat dat u van de behandeling kunt verwachten? Nee, helemaal niet
2
102/111
Een beetje Grotendeels Ja, helemaal Keuzemogelijkheden
De volgende vragen gaan over uw keuzemogelijkheden binnen de behandeling
11. Heeft u informatie gekregen over andere vormen van behandeling of ondersteuning zoals zelfhulpprogramma’s, cliëntondersteuning, patiëntenverenigingen, E-hulp en alternatieve geneeswijzen? Nee, helemaal niet Een beetje Grotendeels Ja, helemaal
12. Kunt u uw voorkeuren aangeven voor een bepaalde vorm van een behandeling? Nee, helemaal niet Een beetje Grotendeels Ja, helemaal
13. Kunt u kiezen uit verschillende soorten behandelingen? Nee, helemaal niet Een beetje Grotendeels Ja, helemaal
Evaluatie
De volgende vragen gaan over hoe de behandeling tot nu toe is verlopen
14. Zijn er samen met u doelen voor de behandeling geformuleerd? Nee Ja
15. Heeft u uw doelen dankzij de behandeling bereikt? Nee Ja
Beoordeling
Deze vragen gaan over wat u in het algemeen van de instelling/behandeling vindt.
16. Hoe waarschijnlijk is het dat u deze instelling bij anderen, met dezelfde problematiek, aanbeveelt?
2
103/111
0 zeer onwaarschijnlijk 1 2 3 4 5 6 7 8 9 10 zeer waarschijnlijk
17. Welk cijfer geeft u aan de behandeling? Een 0 betekent heel erg slecht. Een 10 betekent uitstekend. 0 heel erg slechte behandeling 1 2 3 4 5 6 7 8 9 10 uitstekende behandeling Over uzelf Ten slot nog een tweetal vragen over uzelf.
18. Hoe zou u over het algemeen uw gezondheid noemen? Slecht Matig Goed Zeer goed Uitstekend
19. Wat is uw hoogst voltooide opleiding? (een opleiding afgerond met een diploma of
getuigschrift) Geen opleiding (lager onderwijs niet afgemaakt) Lager onderwijs (basisschool, speciaal basisonderwijs) Lager of voorbereidend beroepsonderwijs (zoals LTS, LEAO, LHNO, VMBO) Middelbaar algemeen voortgezet onderwijs (zoals MAVO, (M)ULO, MBO-kort, VMBO-t) Middelbaar beroepsonderwijs en beroepsbegeleidend onderwijs (zoals MBO-lang, MTS, MEAO, BOL, BBL, INAS) Hoger algemeen en voorbereidend wetenschappelijk onderwijs (zoals HAVO, VWO, Atheneum, Gymnasium, HBS, MMS) Hoger beroepsonderwijs (zoals HBO, HTS, HEAO, HBO-V, kandidaats wetenschappelijk onderwijs)
2
104/111
Wetenschappelijk onderwijs (universiteit) Anders, namelijk:……. Wilt u verder nog iets opmerken over uw behandeling/instelling? Dan kunt u dit hieronder kwijt.
………………………………………………. ………………………………………………..
2
105/111
Bijlage L: Knelpunten analyse voor implementatie Naar aanleiding van de pilotuitvraag heeft Stichting Miletus, samen met de deelnemende instellingen, geïnventariseerd welke knelpunten er naar voren zijn gekomen tijdens de pilotuitvraag. Stichting Miletus heeft een kort verslag van deze kenlpunten uitgewerkt. Dit verslag is opgenomen in deze bijlage.
Knelpuntenanalyse voor implementatie- door Stichting Miletus
Voor de knelpuntenanalyse is er een focusgroep geweest met de deelnemende instellingen en een gesprek met de SBG. In een focusgroep waar 4 van de 7 instellingen waren vertegenwoordig hebben we gezamenlijk het proces geëvalueerd, met de nadruk op het achterblijven van de response. De instellingen die niet vertegenwoordigd waren hebben schriftelijk hun input geleverd. Tijdens de bijeenkomst zijn we vier stappen langsgelopen, maar de nadruk lag op het achterblijven van de respons. 1.
Informeren cliënten en medewerkers
2.
Programmeren vragenlijst
3.
Dataverzameling (achterblijven van de response)
4.
Aanleveren SBG
1.
Informeren cliënten en medewerkers
Bij de instellingen is dit punt geen probleem geweest. Cliëntenraden waren op de hoogte, de cliënten kregen eerst een inleidende tekst en vervolgens de vraag of ze wilde deelnemen, en medewerkers zijn met behulp van een standaard tekst geïnformeerd. Alle deelnemende instellingen stellen wel dat het scheelt dat er een ROM team is dat de cliënten hierin begeleidt waardoor de informatieverschaffing logistiek makkelijk te organiseren is. Wanneer er geen ROM team is, zal het meer voeten in aarde hebben om de informatie stroom (in ieder geval richting cliënt) goed op te zetten.
2
106/111
De aanbevelingen die gedaan worden, zijn: a)
graag de vraag of men deel wilt nemen aan het onderzoek behouden;
b)
de tekst met uitleg moet goed leesbaar zijn (online was deze dat wel voor cliënten thuis, maar niet in de instelling -> bij Questmanagergebruikers);
c)
eventueel de vragenlijst opknippen in de verschillende fases van behandeling, zodat deze actueler is voor de cliënt.
Wat opvalt is het dat wanneer cliënten direct door ROM verpleegkundigen worden geïnformeerd – in een face-to-face contact – de respons hoger is. 2.
Programmeren van de vragenlijst
Bij het programmeren van de vragenlijst zaten grote verschillen tussen de leveranciers. a.
Roqua Inhoudelijk heel sterk en zeer betrokken bij het project. Zij waren duidelijk en helder in de communicatie. Lentis maakt gebruik van hun systeem en kon hierdoor eerder dan de andere beginnen met de dataverzameling. Roqua heeft op eigen initiatief contact opgenomen met de SBG om ook hier een goede doorstroom te kunnen garanderen. Dit heeft ook Miletus geholpen extra aandacht te schenken aan onderbelichte zaken.
b.
Questmanager (Emergis, Dimence, GGZ breburg, Mentaal Beter, Rivierduinen) Binnen de gebruikersgroep van Questmanager zijn zaken heel divers verlopen. Rivierduinen en Mentaal Beter hebben uiteindelijk gebruik gemaakt van een losse applicatie buiten de ROM systemen om, omdat zij of op een oude versie, of nog niet helemaal over waren Questmanager. Dimence, Emergis en GGZ breburg hebben wel gebruik gemaakt van de door Questmanager geprogrammeerde vragenlijsten. i. De vragenlijst had geen hoge prioriteit bij Questmanager ii. De codering uit het codeboek kon niet worden gevolgd (hier wordt een actie op gezet door de deelnemers) iii. Een berekening van de schalen was verkeerd geprogrammeerd. Dit komt bij het testen van de vragenlijst niet goed naar voren tenzij je in de achterkant van het systeem kan kijken. Idem geldt voor de
2
107/111
waardes die aan het rapportcijfer en aan de waarderingsvraag is gehangen (alle antwoorden antwoord = 0) iv. Er moet goed getest kunnen worden en daar kan het beste iemand doen die het systeem goed kent en er in thuis is. c.
NetQ Rom (Pro Persona maakt hier gebruik van) Pro Persona heeft uiteindelijk de vragenlijst zelf geprogrammeerd. Zij hadden een voorsprong op de overig deelnemers, omdat zij de reguliere CQI vragenlijst al standaard ingebouwd hadden. Hiervoor in de plaats is de pilotlijst gekomen. Ook bij Pro Persona is er bij de berekening van een schaal iets mis gegaan. Dit hebben zij zelf hersteld.
De aanbevelingen die naar voren zijn gekomen, zijn: a)
Neem voldoende tijd voor de technische fase in het traject (het programmeren van vragenlijst en berekening van schaalscores)
b)
Dubbel check op mogelijke (programmeer) fouten. De schaal bereikbaarheid heeft bijvoorbeeld een item met de antwoordoptie ‘niet van toepassing’ die niet moet worden meegenomen, en moet niet als score 4 tellen.
c)
Neem tijdens de programmeerfase de personen van de export en aanlevering
aan SBG mee, zodat het in de keten in een keer goed zit. 3.
De dataverzameling De verschillende instellingen hebben veel verschillen als het gaat om de aantallen respons op de vragenlijst. We zijn nagegaan welke factoren het meest hebben bijgedragen aan het achterblijven van de response. Daarnaast hebben we gekeken naar mogelijke oplossingen. De achtergebleven response van Dimence heeft te maken met technische problemen. De overige instellingen hebben dit niet ervaren. De punten die naar voren zijn gekomen zijn de volgende:
a.
Eindmeting is nu vaak nog een signaal van de behandelaar. Idealiter is er een zorgpad gedefinieerd en kan aan de hand daarvan de verschillende stadia van behandeling worden onderscheiden. Zover zijn de meeste instellingen nog niet. Hetgeen zorgt voor grote afhankelijkheid van individuele personen.
2
108/111
b.
Het ROM proces, met directe feedback tussen behandelaar en cliënt, welke wordt besproken tijdens de behandelsessie, is bij veel instellingen nog lang geen routine. Het is nu meer iets dat moet, in plaats van iets dat helpt.
c.
Voor de cliëntervaringsmeting geldt dit niet, maar wordt er na afronding van de behandeling nog een afspraak gepland voor over een half jaar voor ofwel controle op medicatie ofwel een contactmoment in de nazorg. De DBC wordt dan niet afgesloten, maar de eindmeting wel afgenomen. Na de afspraak wordt de DBC afgesloten en is de eindmeting ongeldig.
d.
Aanwezigheid van ROM teams binnen instellingen maken het makkelijker om eindmetingen te verzamelen, zij spreken cliënten en kunnen ook inschatten in welke fase iemand is. De reguliere administratie is daar momenteel niet op ingericht.
e.
Er is in de kortdurende ambulante GGZ een behoorlijk percentage cliënten dat eenzijdig de behandeling afbreekt (5-10%) waardoor er ook geen eindmeting is.
f.
Het systeem van ROM zit zo in elkaar dat wanneer er geen voormeting is, er
ook geen eindmeting uitgezet wordt. Dit heeft de response op de cliëntervaringsmeting aardig gedrukt. Voor de cliëntervaringsvragenlijst is er geen voormeting nodig, maar moet de lijst wel worden uitgezet. De reden dat er veel voormetingen ontbreken zijn divers, maar dit gaat onder andere om: mensen die te erg ontregeld zijn, mensen die problemen hebben met de Nederlandse taal, mensen met een verstandelijk beperking, mensen die weigeren deel te nemen aan het ROM proces.
Tijdens de bijeenkomst is ook gezocht naar oplossingen. Er zijn enkele zaken benoemd die de response kunnen verhogen, maar het gaat met name om het doorvoeren van veranderingen binnen organisaties welke niet eenvoudig te realiseren zijn. Het gaat dan om de volgende punten: a.
Het definiëren van zorgpaden;
b.
Het uitzetten van fictieve eindmetingen om de drie maanden of bijv. op gemiddelde behandelduur;
c.
Het ROM proces beter inbedden in de behandelprocedure. Wanneer de cliëntenfeedback direct invloed heeft op de behandeling, dan is het voor zowel
2
109/111
behandelaar als cliënt een instrument om mee te sturen. Momenteel zijn de instellingen nog niet zover. 4.
Aanleveren SBG
Aanleveren bij de SBG is maar summier aan bod gekomen tijdens de focusgroep, op het moment van de focusgroep hadden de instellingen nog niet de cliëntervaringslijst aangeleverd bij de SBG. De instellingen die via SBG hebben aangeleverd, kwamen voor de volgende punten te staan: Door de aanleverspecificaties van de overige lijsten, werden ook enkele cliëntervaringslijsten afgekeurd. Deze vielen niet binnen de tijdsspanne welke bij andere lijsten wordt gehanteerd. Voor de CQi geldt deze tijdsspanne niet. Daarnaast waren niet alle relevante casemix variabelen gevuld in de minimale dataset. Leeftijd en geslacht waren aanwezig, echter opleidingsniveau ontbreekt in de meeste gevallen. De SBG laat weten dat per 1 januari 2013 het verplicht is alle variabelen aan te leveren. De SBG geeft aan dat bovenstaande punten goed te verhelpen zijn. Het grote probleem in het aanleveren bij SBG is het feit dat er een cultuuromslag moet plaatsvinden binnen de instelling en dit is niet zo eenvoudig te realiseren. Iedere instelling moet hier een eigen weg in zien te vinden. 5.
Verwachte response
Pilot De instellingen hebben veel – soms vergeefse – moeite gedaan om deze pilot vlot te trekken. De aantallen waren voor hen ook zeer teleurstellend (m.u.v. Pro Persona). Alle instellingen hebben aangegeven dat ze extra werk willen verzetten om de response op te krikken. Dit zijn dat wel kunstmatige ingrepen in het proces. Deze kunnen worden ingezet, maar de verwachting is dat dit niet in een keer een hoop extra eenheden gaat opleveren. Toekomst Ongeveer de helft van de instellingen levert nu aan bij de SBG. Wel heeft bijna iedereen getekend voor deelname. De ROM response ligt momenteel rond de 10-12%. Het koppelen van de cliëntervaringslijst aan de ROM brengt grote voordelen met zich mee. Het continu uitvragen levert meer data op en dan kan er tot een lager aggregatie niveau informatie
2
110/111
worden gegenereerd. Het nadeel is dat het succes evenredig oploopt met het succes van het ROM binnen de instelling. Het aantal ingevulde vragenlijsten zal minimaal 100 moeten zijn.
2
111/111
