CQ-index Indicatiestelling AWBZ. Meetinstrumentontwikkeling

CQ-index Indicatiestelling AWBZ Meetinstrumentontwikkeling

CQ-index Indicatiestelling AWBZ

Meetinstrumentontwikkeling

Ineke Bloemendaal Sorien Kleefstra Dagmar Strikwerda Sjenny Winters

Utrecht, 10 december 2012

Kiwa Prismant is hét kennis- en expertisecentrum in het hart van de zorg. Wij willen de Nederlandse zorgsector optimaal informeren, adviseren en ondersteunen en daarmee bijdragen aan een goede sturing en kwaliteit van de zorg. Uitgangspunten zijn: objectiviteit, gedegenheid, betrouwbaarheid en onafhankelijkheid. Kiwa Prismant wortelt in de basis en heeft een sterke verbinding met de top van de zorg. Door die unieke sleutelpositie zijn wij bij uitstek in staat om actief bij te dragen aan de ontwikkeling van het landelijke beleid en ontwikkelingen in het veld. Wij ondersteunen onze klanten in hun streven de doeltreffendheid, doelmatigheid, toegankelijkheid en kwaliteit van de zorg te verbeteren.

© Kiwa Prismant, Utrecht, 5 2012. Alle rechten voorbehouden. Niets uit dit werk mag worden verveelvoudigd, opgeslagen in een geautomatiseerd gegevensbestand en/of openbaar gemaakt, hetzij elektronisch, mechanisch, door fotokopieën, opnamen of welke andere wijze dan ook, zonder voorafgaande schriftelijke toestemming van Kiwa Prismant. Publicatie van cijfers en/of tekst uit dit werk als toelichting of ondersteuning bij wetenschappelijke artikelen, boeken of scripties, is toegestaan mits daarbij geen sprake is van commerciële doeleinden en voor zover de bron duidelijk wordt vermeld. Indien het werk bedoeld is voor openbare publicaties dan mag dat zonder schriftelijke toestemming louter in zijn geheel en zonder enige toevoeging of weglating openbaar gemaakt worden. ® Prismant is een wettig gedeponeerd dienst- en warenmerk.

Uitgever Kiwa Prismant Ptolemaeuslaan 900, 3528 BV Utrecht Postbus 85200, 3508 AE Utrecht Telefoon 030 - 2345 678 Fax 030 - 2345 677 [email protected] Bestellingen Publicaties zijn te bestellen via www.kiwaprismant.nl.

Inhoudsopgave

Inhoudsopgave

3

1

Inleiding

5

1.1

Het CIZ, haar clienten en het indicatieproces

5

1.2

Afbakening van het onderzoek

7

1.3

Achtergrond van het meten van ervaren kwaliteit: de CQ-index

7

1.4

Doelstellingen en betrokkenheid relevante stakeholders

8

1.5

Onderzoeksvragen

9

1.6

Leeswijzer

9

2

Ontwikkeling van de concept vragenlijst

11

2.1

Inleiding

11

2.2

Onderzoek literatuur en bestaande meetinstrumenten

11

2.3

Interviews en groepsdiscussies over de indicatiestelling

13

2.4

Belang en samenhang van de kwaliteitsaspecten

15

2.5

Verwerking van de resultaten in een concept CQ-index

16

2.6

Input van deskundigen

17

2.7

Cognitieve test

17

2.8

Uiteindelijke testversie van de CQI Indicatiestelling AWBZ

18

2.9

Belangvragenlijst

18

3

Dataverzameling en analyses

21

3.1

Steekproeftrekking

21

3.2

Dataverzameling

21

3.3

Statistische analyses

22

3.4

Testen van het discriminerend vermogen

22

4

Opschoning en respons

25

4.1


25

4.2

Non-respons

26

4.3

Achtergrondkenmerken van de respondenten

28

5

Resultaten psychometrische testfase

29

5.1

Itemanalyses

29

5.2

Factoranalyse en betrouwbaarheid

30

5.3

Eerste analyse van de items

31

5.4

Confirmatieve factoranalyse

33

5.5

Samenhang tussen de schalen

36

5.6

Belangscores

37

6

Resultaten van de test op het discriminerend vermogen

39

6.1

Verschillen tussen respondenten

39

6.2

Testen van het discriminerend vermogen: covariantie-analyse

41

6.3

Aantal respondenten nodig voor het bepalen van verschillen

43

6.4

Indeling van de CIZ-units in drie groepen

44

7

Ervaringen van zorgaanvragers met de indicatiestelling voor de AWBZ

45

7.1

Ervaringsscores op schaalniveau

45

7.2

Algemene waardering door zorgaanvragers

46

7.3

Verbeterpunten en hun urgentie

46

8

De nieuwe CQI Indicatiestelling AWBZ

49

8.1

Argumenten voor het verwijderen of handhaven van items

49

8.2

Overzicht van de resultaten per onderdeel van de vragenlijst.

50

8.3

Conclusie

54

9

Conclusies en aanbevelingen

55

Bijlage 1 Begeleidingsgroep

59

Bijlage 2 Topiclijst

61

Bijlage 3

Kwaliteitsaspecten interviews

63

Bijlage 4

Ervaringenvragenlijst

69

Bijlage 5

Belangvragenlijst

79

Bijlage 6

Resultaten Belangvragenlijst

89

Bijlage 7

Aangepaste vragenlijst

91


4

Kiwa Prismant 2012

1 Inleiding In het najaar van 2011 heeft Kiwa Prismant voor het Centrum indicatiestelling zorg (CIZ) een cliëntervaringsonderzoek uitgevoerd. Doel van dit onderzoek was, om naast het opleveren van een onderzoeksrapport met verantwoordings-en verbeterinformatie, een CQindex te ontwikkelen voor het meten van de kwaliteit van de indicatiestelling voor de AWBZ, gezien vanuit het perspectief van de indicatie-aanvragers. Het CQI ontwikkeltraject is uitgevoerd vanaf juni 2011 tot juni 2012 en is uitgevoerd onder AWBZ-zorgvragers uit 2010 en 20111. Dit rapport gaat in op de verschillende stappen die hebben geleid tot de CQ-index. In dit inleidende hoofdstuk gaan we achtereenvolgens in op de indicatiestelling voor de AWBZ door het CIZ, op de onderzoeksvraagstellingen, de afbakening van het onderzoek.

1.1

Het CIZ, haar clienten en het indicatieproces

Het CIZ Het Centrum indicatiestelling zorg (CIZ) is een uitvoeringsorganisatie die beoordeelt of mensen recht hebben op AWBZ-zorg. AWBZ-zorg is gericht op mensen die hulp of zorg nodig hebben door ziekte, handicap of ouderdom. Er zijn zes soorten AWBZ-zorg: - Persoonlijke verzorging - Verpleging - Begeleiding - Behandeling - Verblijf - Kortdurend Verblijf De beoordeling of mensen recht hebben op deze zorg gebeurt op basis van objectieve criteria, die een vertaling zijn van ministeriële beleidsregels. De criteria zijn door het CIZ vastgelegd in een toelichting op de beleidsregels, de CIZ Indicatiewijzer. Naast het onderzoek of de cliënt aanspraak kan maken op AWBZ-zorg, stelt het CIZ ook vast welke hulp de cliënt nodig heeft, hoeveel en hoe lang. Het CIZ is opgedeeld in 10 regionale rayons en heeft in totaal 1423 fte medewerkers in dienst (peildatum 1 januari 2011). In 2010 werden in totaal 1.062.204 indicatieaanvragen in behandeling genomen, waarvan 83% leidde tot een positief besluit. In totaal hebben in 2010 ruim 550.000 cliënten één of meer aanvragen ingediend, gemiddeld dus bijna twee aanvragen per cliënt. De meeste indicaties voor AWBZ-zorg werden afgegeven aan 65-plussers (68%). Bijna twee derde van de indicaties werd toegekend aan cliënten op basis van hun lichamelijke aandoening. Daarnaast zijn de groepen cliënten die een indicatie kregen op basis van een verstandelijke handicap (10%), een psychogeriatrische aandoening of beperking (9%) of een psychiatrische aandoening (9%) relatief groot. De cliënten van het CIZ Het CIZ heeft te maken met verschillende klanten. In eerste instantie zijn dit de zorgvragers, die ten behoeve van zichzelf een aanvraag (laten) indienen. Daarnaast brengt de verschuiving van de rol van het CIZ van uitvoerder naar toezichthouder met zich mee dat 1

Over de cliëntwaardering van cliënten uit 2010 is inmiddels gerapporteerd naar het CIZ (Bloemendaal e.a., 2012) ten behoeve van kwaliteitsverbetering van de geleverde dienstverlening door het CIZ en verantwoording naar VWS


5

Kiwa Prismant 2012

ook zorgprofessionals en zorgorganisaties in toenemende mate kunnen worden beschouwd als klant van het CIZ. Het CQI ontwikkeltraject waar dit onderzoek deel van uitmaakt, is gericht op de eerste groep: de zorgvragers die ten behoeve van zichzelf zorg aan (laten) vragen. Zorgprofessionals en zorgaanbieders vallen daarmee buiten de scope van dit CQI ontwikkeltraject. Het CIZ voert afzonderlijk klanttevredenheidsonderzoek uit bij deze klanten. Het CIZ onderzoekt of de cliënt aanspraak kan maken op AWBZ-zorg, welke hulp deze nodig heeft, hoeveel en hoe lang. De AWBZ-grondslagen vormen de basis van de indeling in subdoelgroepen van het CIZ: somatische ziekte/aandoening (SOM) psychogeriatrische aandoening/stoornis (PG) psychiatrische aandoening/stoornis (PSY) lichamelijke handicap (LH) verstandelijke handicap (VG) zintuiglijke handicap (ZG) De grondslagen kunnen alleen of in combinatie met elkaar voorkomen. In 2010 werden in totaal 1.062.204 indicatieaanvragen in behandeling genomen, waarvan 83% leidde tot een positief besluit. De meeste indicaties voor AWBZ-zorg werden afgegeven aan 65-plussers (68%). Bijna twee derde van de indicaties werd toegekend aan cliënten op basis van een lichamelijke aandoening. Daarnaast zijn de groepen cliënten die een indicatie kregen op basis van een verstandelijke handicap (10%), een psychogeriatrische aandoening of beperking (9%) of een psychiatrische aandoening (9%) relatief groot. Het indicatieproces Het CIZ beoordeelt of mensen recht hebben op AWBZ-zorg. Dit gebeurt op basis van objectieve criteria die zijn afgeleid van richtlijnen van het Ministerie van VWS. AWBZ-zorg is uitsluitend gericht op cliënten die zorg nodig hebben vanwege een ziekte, beperking of ouderdom. De cliënt die AWBZ-zorg nodig heeft kan deze zorg zelf aanvragen door zich aan te melden bij een loket in zijn gemeente, telefonisch of via internet. Als de cliënt dit zelf niet kan, kan de vertegenwoordiger van de cliënt dit doen. In toenemende mate kan de aanvraag ook worden verzorgd door professionele zorgverleners (thuiszorginstelling, huisarts). In dat geval is een handtekening van de cliënt of diens wettelijk vertegenwoordiger verplicht. Bij de aanvraag voor AWBZ-zorg worden met behulp van enkele papieren of elektronisch aanvraagformulier gegevens van de cliënt in kaart gebracht die van belang zijn om de aanvraag te beoordelen. Het gaat dan bijvoorbeeld om gegevens over de woonsituatie en de gezondheid van de cliënt, maar ook over de hulp die de partner van de cliënt of mantelzorgers kunnen bieden. Hierbij is ook de duur van de hulp en zorg die nodig is van belang. In een deel van de gevallen kan het CIZ op basis van de gegevens op het aanvraagformulier komen tot een indicatiebesluit. In het indicatiebesluit staat of de cliënt een indicatie krijgt voor AWBZ-zorg en, zo ja, voor welke zorg en hoeveel. Het is ook mogelijk dat het CIZ meer informatie nodig heeft om een indicatiebesluit te kunnen nemen. Dan volgt een huisbezoek en wordt soms, in overleg met de aanvrager, informatie aan de huisarts of behandelend specialist gevraagd. In alle gevallen streeft het CIZ ernaar om binnen 6 weken te komen tot een indicatie-besluit. Het is mogelijk om tegen het indicatiebesluit in beroep te gaan door bezwaar aan te tekenen.


6

Kiwa Prismant 2012

1.2

Afbakening van het onderzoek

Het CQi- ontwikkeltraject is uitsluitend gericht op de zorgvragers die ten behoeve van zichzelf AWBZ-zorg aan (laten) vragen. Dat betekent dat in dit onderzoek alleen die cliënten zijn betrokken die deze zorg zelf aanvragen of waarvan de vertegenwoordiger de aanvraag heeft gedaan. De toenemende groep cliënten waarvan de indicatie-aanvraag is verzorgd door professionele zorgverleners (thuiszorginstelling, huisarts) vallen daarmee buiten de scope van dit CQi-ontwikkeltraject. Bij deze laatste vorm van indicatiestelling hebben cliënten en hun vertegenwoordigers erg weinig contact met het CIZ. Het CIZ voert afzonderlijk cliënttevredenheidsonderzoek uit bij de professionele indicatie-aanvragers.

1.3

Achtergrond van het meten van ervaren kwaliteit: de CQ-index

CQ-index staat voor Consumer Quality Index. Het is een gestandaardiseerde methodiek om klantervaringen in de zorg te meten, te analyseren en te rapporteren. Naast gestandaardiseerde vragenlijsten voor verschillende zorgsectoren, zorgaanbieders en patiëntengroepen omvat de CQ-index richtlijnen voor het ontwikkelen van vragenlijsten die voldoen aan de CQ-index standaarden. De vragenlijsten zijn in beheer bij het Centrum Klantervaring Zorg2. Deze organisatie draagt zorg voor het systematisch in kaart brengen van ervaringen van zorggebruikers en voor betrouwbare metingen van deze ervaringen. Openbaarmaking van de resultaten gebeurt onder meer via de website KiesBeter.nl. De CQ-index is gebaseerd op twee wetenschappelijk gefundeerde vragenlijsten, de Consumer Assessment of Healthcare Providers and System (CAHPS) en de QUality of Care Through the patients Eye (QUOTE), die beide zijn ontwikkeld vanuit het perspectief van de klant. De CQ-index voor Nederlandse gezondheidszorg is ontwikkeld door het NIVEL in samenwerking met de afdeling Sociale Geneeskunde van het AMC (Nispen e.a., 1998a en 1998b). Bij de ontwikkeling van de CQ-index voor de indicatiestelling voor de AWBZ is gewerkt volgens het Handboek CQI Meetinstrumenten (Sixma e.a., 2008). Daarbij zijn verschillende fasen doorlopen die aansluiten bij de richtlijnen die zijn beschreven in het genoemde Handboek. Dit zijn achtereenvolgens de constructiefase, de uitvoeringsfase, analysefase en de fase waarin de CQ-index wordt aangepast en (voorlopig) vastgesteld. In de constructiefase is een (test)versie van de CQ-index indicatiestelling AWBZ ontwikkeld. Hierbij is door middel van literatuuronderzoek en het bestuderen van bestaande vragenlijsten vastgesteld welke de relevante kwaliteitsaspecten zijn bij de indicatiestelling voor de AWBZ. Middels individuele en groepsinterviews zijn de kwaliteitsaspecten geconcretiseerd in vragenlijstitems, die cognitief zijn getest en zijn beoordeeld op hun belang. In deze fase is intensief samengewerkt met cliënten, hun vertegenwoordigers en verschillende stakeholders (vooral patiënten- en consumentenorganisaties). Vervolgens is de concept CQ-index in de uitvoeringsfase uitgezet bij een steekproef van 4545 cliënten van het CIZ die zelf een indicatie hebben aangevraagd of dit hebben laten doen door hun vertegenwoordiger. In verband met de beperkte contacten met het CIZ van cliënten bij wie de indicatiestelling heeft plaatsgevonden middels dossieronderzoek is deze groep ondervertegenwoordigd in de steekproef. Aanvullend zijn 800 vragenlijsten uitgezet waarin cliënten of hun vertegenwoordigers is gevraagd hoe belangrijk zij de verschillende kwaliteitsaspecten vinden. 2

www.centrumklantervaringzorg.nl


7

Kiwa Prismant 2012

De resultaten van het onderzoek met de concept CQI ervaringsvragenlijst en de CQI belangvragenlijst zijn geanalyseerd, waarbij verschillende tests zijn uitgevoerd die gericht zijn op het verbeteren van de validiteit en betrouwbaarheid van het meetinstrument. Daarbij is de kwaliteit van de afzonderlijke items beoordeeld en zijn schalen geconstrueerd en beoordeeld. De concept CQ-index is op basis van deze analyses bijgesteld, waarna is getest in welke mate met de ontwikkelde CQ-index verschillen tussen CIZ-units kunnen worden vastgesteld (discriminerend vermogen). Ten slotte is op basis van de bovengenoemde analyses en tests en in samenspraak met de verschillende stakeholders die zijn vertegenwoordigd in de begeleidingsgroep, de CQ-index aangepast en (voorlopig) vastgesteld.

1.4

Doelstellingen en betrokkenheid relevante stakeholders

Het CIZ beoogt met het ontwikkelen van een meetinstrument met het predicaat CQ-index dat zij voor het meten van cliëntervaringen bij de indicatiestelling voor de AWBZ gebruik kan maken van een instrument dat voldoet aan en aansluit op alle eisen die aan cliënt ervaringsonderzoek in de gezondheidszorg worden gesteld. Inzet van de nieuwe CQ-index indicatiestelling AWBZ moet leiden tot de volgende doelen: -

Bruikbare informatie voor kwaliteitsborging en -verbetering voor het CIZ en de daarvan deel uitmakende regionale units. Informatie waarmee het CIZ verantwoording kan afleggen aan het ministerie van VWS en andere stakeholders over haar dienstverlening. Informatie voor cliëntenorganisaties waarmee zij de belangen van hun cliënten kunnen behartigen.

Om de genoemde doelstellingen te kunnen behalen, wordt in de verschillende fasen van het ontwikkeltraject nauw aangesloten bij de eisen die worden gesteld ten aanzien van CQI meetinstrumenten, maar ook de eisen vanuit CIZ en stakeholders, die de resultaten moeten kunnen gebruiken voor verbetertrajecten en belangenbehartiging. In het ontwikkeltraject is daarom een brede begeleidingsgroep opgezet waarin deze partijen zijn vertegenwoordigd. Deelnemers aan deze begeleidingsgroep zijn inhoudelijke vertegenwoordigers van partijen die in de toekomst gebruik zullen maken van de resultaten van de CQ-index, cliëntenvertegenwoordigers en het CIZ zelf. Daarnaast is het CKZ (Centrum Klantervaring Zorg) vertegenwoordigd in de begeleidingsgroep (zie bijlage 1). In het ontwikkeltraject is daarom een begeleidingsgroep opgezet waarin deze partijen zijn vertegenwoordigd. Deelnemers aan deze begeleidingsgroep zijn inhoudelijke vertegenwoordigers van partijen die in de toekomst gebruik zullen maken van de resultaten van de CQ-index, zoals cliëntenorganisaties, maar ook het CIZ zelf. Daarnaast is het CKZ (Centrum Klantervaring Zorg) vertegenwoordigd in de begeleidingsgroep. Omdat deze CQIndex expliciet gericht is op de indicatieaanvragers die ten behoeve van zichzelf zorg (laten) aanvragen, en dus niet op zorgaanbieders, is gekozen voor een beperkte vertegenwoordiging vanuit de brancheorganisaties. AciZ heeft vanwege een wijziging in haar kwaliteitskoers afgezien van deelname aan de begeleidingsgroep. Wel hebben zij vanuit een adviserende rol feedback gegeven op de testversie van de CQI Indicatiestelling AWBZ. De LHV en NPCF zijn ook uitgenodigd deel te nemen aan de begeleidingsgroep maar hadden op dat moment geen mensen beschikbaar. De NPCF heeft wel input geleverd bij specifieke vragen. VWS heeft afgezien van deelname in verband met hun positionering (onafhankelijkheid).


8

Kiwa Prismant 2012

De begeleidingsgroep is in totaal vier keer bijeengekomen:  in de voorbereidende fase  ter beoordeling van de conceptvragenlijst  ter beoordeling van het validatierapport over de psychometrische testfase  ter beoordeling van de test op het discriminerend vermogen en het definitief vaststellen van de herziene CQI Indicatiestelling AWBZ.

1.5

Onderzoeksvragen

De gegevens die in dit CQI ontwikkeltraject zijn verzameld, moeten leiden tot de beantwoording van de volgende onderzoeksvragen. 1. Welke kwaliteitsaspecten van de indicatiestelling voor de AWBZ zijn belangrijk voor cliënten en hoe kunnen deze vertaald worden in kwalitatief goede vragenlijstitems voor een CQ-index indicatiestelling AWBZ? 2. Wat is de bruikbaarheid, validiteit en betrouwbaarheid van de ontwikkelde CQindex, afgemeten aan verschillende psychometrische tests? 3. Hoe ervaren cliënten de kwaliteit van de dienstverlening door het CIZ? 4. Hoe belangrijk vinden cliënten de verschillende aspecten van de dienstverlening door het CIZ? 5. In welke mate kunnen met de ontwikkelde CQ-index verschillen in kwaliteit van de dienstverlening worden aangetoond tussen verschillende CIZ-units? 6. Hoe kan de CQ-index indicatiestelling AWBZ worden geoptimaliseerd voor toekomstig gebruik.

1.6

Leeswijzer

Dit rapport beschrijft de verschillende fasen van het ontwikkeltraject van de CQ-index indicatiestelling AWBZ. Het sluit daarbij nauw aan bij de onderzoeksfasen zoals beschreven in paragraaf 1.3 en de onderzoeksvragen uit de vorige paragraaf. In onderstaand schema is de hoofdstukindeling in dit rapport verder toegelicht. Hoofdstuk 2: Ontwikkelen van een concept vragenlijst Hoofdstuk 3: Dataverzameling bij het pilotonderzoek Hoofdstuk 4: Opschoning van de data en respons Hoofdstuk 5: Analyse: testen van psychometrische eigenschappen Hoofdstuk 6: Analyse: testen van het discriminerend vermogen Hoofdstuk 7: Aanpassingen van de vragenlijst Hoofdstuk 8: Conclusies en aanbevelingen


9

Kiwa Prismant 2012


10

Kiwa Prismant 2012

2 Ontwikkeling van de concept vragenlijst 2.1

Inleiding

Voor het ontwikkelen van een eerste (test)versie van een CQ-index voor de indicatiestelling AWBZ zijn verschillende stappen doorlopen. Deze waren gericht op het bereiken van een zo optimaal mogelijke validiteit van de concept CQ-index. Eerst is onderzocht wat vanuit eerder onderzoek bekend is over de kwaliteit van de indicatiestelling AWBZ vanuit het perspectief van de cliënt. Op basis hiervan, en de aanvullingen vanuit de begeleidingsgroep, is een interviewchecklist gemaakt, die is gebruikt bij individuele interviews en focusgroepbijeenkomsten met cliënten en hun vertegenwoordigers. Deze interviews hebben geleid tot het vaststellen van de belangrijkste kwaliteitsaspecten bij de indicatiestelling voor de AWBZ, vanuit het perspectief van de indicatie- aanvragers (cliënten en vertegenwoordigers). Aanvullend is aan cliënten en hun vertegenwoordigers, en aan stakeholders gevraagd hoe belangrijk zij de verschillende kwaliteitsaspecten vinden en welke kwaliteitsindicatoren zij hierin herkennen. Vervolgens is de concept CQ-index ontwikkeld, die is voorgelegd aan de begeleidingsgroep en aan de WAR en is getest bij cliënten en hun vertegenwoordigers (cognitieve test). Deze laatste test was vooral gericht op begrijpelijkheid en volledigheid.

2.2

Onderzoek literatuur en bestaande meetinstrumenten

In het ontwikkeltraject op weg naar een eerste (test)versie van het nieuwe CQI meetinstrument is vooral gebruik gemaakt van twee bestaande vragenlijsten (Ros en Schrijvers (2008) en Nispen e.a. (2002b), en het Kwaliteitsdocument Indicatiestelling dat de gezamenlijke cliënten organisaties opstelden in 2009 (Gezamenlijke cliëntenorganisaties, 2009). Op basis van deze onderzoeken/vragenlijsten is een topiclijst opgesteld voor de interviews met cliënten en hun vertegenwoordigers. Meetinstrument voor de kwaliteit van indicatiestelling door RIO’s, 2002 In 2001 is door het NIVEL onderzoek gedaan naar de kwaliteit van de indicatiestelling door RIO’s (voorloper van CIZ) vanuit cliëntenperspectief (Nispen e.a, 2002a) en is op basis hiervan een meetinstrument ontwikkeld (Nispen e.a, 2002b). Deze onderzoeken beoogden om door middel van externe kwaliteitsbeoordeling vanuit cliëntenperspectief een bijdrage te leveren aan het goed functioneren van RIO’s. Het onderzoek is uitgevoerd voor de indicatiestelling voor verpleging en verzorging (extraen intramuraal) en voor voorzieningen in het kader van de Wet Voorzieningen Gehandicapten (WvG). In dit traject zijn kwaliteitsaspecten vanuit het perspectief van de cliënt geïdentificeerd, en is een vragenlijst opgesteld, getoetst en bijgesteld. De uiteindelijke vragenlijst bestaat, exclusief achtergrondvragen (7), uit 68 vragen, onderverdeeld in een aantal clusters die aansluiten bij het proces van indicatiestelling: - Aanvraag bij het RIO - Tussen aanvraag en indicatiegesprek - Het indicatiegesprek - organisatie van het indicatiegesprek - het contact met de indicatie-adviseur (bejegening) - informatievoorziening tijdens het gesprek - deskundigheid van de indicatie-adviseur - contact met familie of naasten - Indicatieadvies


11

Kiwa Prismant 2012

De validiteit van het instrument is geoptimaliseerd door cliënten en hun vertegenwoordigers te betrekken bij het opstellen van kwaliteitsaspecten. Het meetinstrument heeft op bijna alle schalen een voldoende tot goede betrouwbaarheid (α 0.72-0.88). In dit onderzoek is ook het belang dat cliënten hechten aan de verschillende kwaliteitsaspecten gemeten. De belangvragenlijst bestond uit 54 vragen. Deskundigheid van de indicatie-adviseur en bejegening bij het indicatiegesprek worden door cliënten als het meest belangrijk beoordeeld. Landelijk klanttevredenheidsonderzoek CIZ 2008 In 2006 en 2008 is landelijk klanttevredenheidsonderzoek uitgevoerd onder AWBZ- zorgvragers (Ros en Schrijvers (2010), Jedeloo en Schrijvers (2007)). De bij het meest recente onderzoek gebruikte vragenlijst is bestaat uit 68 vragen. Deze vragenlijst is gebaseerd op eerder onderzoek van Schrijvers e.a. (2001) waarin het Zorgindicatiebesluit van 1998 is geëvalueerd. Deze vragenlijst is vervolgens periodiek aangepast aan de ontwikkelingen in de indicatiestelling. De meest recente versie (Ros en Schrijvers, 2008) is gericht op feiten, ervaringen en oordelen van respondenten bij verschillende aspecten van de indicatiestelling door het CIZ. De vragen zijn als volgt geclusterd: de zorgaanvraag en het indicatiebesluit andere zorgaanvragen en indicatiebesluiten klachten en bezwaren contacten met het CIZ tevredenheid over verschillende aspecten van de indicatiestelling achtergrondvragen In totaal zijn in de vragenlijst 23 feitenvragen, 28 ervaringsvragen en 17 waarderingsvragen opgenomen. In de vragenlijst van 2008 worden geen schalen onderscheiden. Een deel van de vragen is gemodelleerd volgens de richtlijnen vanuit het Handboek CQI Meetinstrumenten (Sixma e.a., 2008), dit gold vooral de vragen over de contacten met het CIZ (bejegeningsvragen). Het CIZ hecht eraan dat, waar mogelijk, ten behoeve van de vergelijkbaarheid met deze voorgaande onderzoeken, wordt aangesloten bij de vragen uit dit onderzoek, binnen de voorwaarden vanuit CQI-criteria en algemene wetenschappelijke eisen. Dit onderzoek heeft geen informatie opgeleverd over het belang dat cliënten hechten aan de verschillende aspecten van de indicatiestelling. Kwaliteitsdocument Indicatiestelling, 2009 Daarnaast is gebruik gemaakt van het Kwaliteitsdocument Indicatiestelling (Gezamenlijke cliëntenorganisaties, 2009) waarin landelijke cliëntenorganisaties3 en Mezzo een kwaliteitsdocument hebben opgesteld waarin is vastgelegd aan welke kwaliteitseisen de indicatiestelling voor de AWBZ volgens hen moet voldoen. Kwaliteitsindicatoren die zijn benoemd: - Informatie en communicatie - bejegening - informatie en communicatie - bereikbaarheid - Deskundigheid - Integraliteit - levensbreed - maatwerk - Objectiviteit en onafhankelijkheid - Snelheid

3

CG-Raad, CSO, LOC, LPGGZ, NPCF, Per Saldo, Platform VG


12

Kiwa Prismant 2012

Hoewel uit de bovengenoemde publicaties de nodige kwaliteitsaspecten naar voren voor komen, geldt voor de beide vragenlijsten dat zij meer dan 10 jaar geleden zijn ontwikkeld. Zowel werkwijze van het CIZ bij de indicatiestelling, alsook de doelgroep heeft sindsdien de nodige veranderingen ondergaan. Het is daarom aan te bevelen om het onderzoek naar relevante kwaliteitsaspecten en hun belang opnieuw uit te voeren. De kwaliteitsaspecten die uit voorgaande onderzoeken naar voren zijn gekomen, zijn opgenomen in een topiclijst, die gebruikt wordt in de volgende stap in het ontwikkeltraject, interviews en groepsdiscussies over de indicatiestelling.

2.3

Interviews en groepsdiscussies over de indicatiestelling

Voorbereiding Op basis van literatuuronderzoek en eerder gebruikte vragenlijsten is een topiclijst samengesteld met onderwerpen die van belang lijken te zijn bij de kwaliteit van de indicatiestelling door het CIZ vanuit cliëntenperspectief. Deze topiclijst, die is voorgelegd aan en aangevuld door de begeleidingsgroep, is gebruikt als interviewchecklist bij de individuele interviews en focusgroepbijeenkomsten. In bijlage 2 is de uiteindelijke topiclijst opgenomen. Om cliënten en hun vertegenwoordigers te werven voor deelname aan de interviews en focusgroepbijeenkomsten hebben de cliëntenorganisaties, die vertegenwoordigd zijn in de begeleidingsgroep, een oproep uitgedaan naar hun leden. Op deze wijze is gestreefd naar een goede vertegenwoordiging van de verschillende doelgroepen. Vanwege het achterblijven van aanmeldingen vanuit de groep indicatie-aanvragers vanwege een somatische of psycho-geriatrische aandoening, zijn extra oproepen verzorgd door het NPCF, Mezzo en verschillende lidorganisaties van het CSO (o.m UnieKBO en PCOB). Uit voorgaand onderzoek zijn geen relevante verschillen naar voren gekomen op basis van de achtergrondkenmerken van deelnemers, die stratificatie noodzakelijk maken. Daarom is gekozen voor een heterogene samenstelling van de deelnemers aan de focusgroepsbijeenkomsten. Uitvoering In totaal zijn drie individuele interviews gehouden met (vertegenwoordigers van) cliënten en drie focusgroepbijeenkomsten. De individuele interviews zijn gehouden met drie cliëntvertegenwoordigers. De dominante indicatiegrondslag bij deze drie respondenten was een somatische aandoening, een psychogeriatrische aandoening en een combinatie van verstandelijke en lichamelijke beperkingen. Doel van deze interviews was om meer inzicht te krijgen in de specifieke problematiek van de doelgroep, ter voorbereiding op de focusgroepbijeenkomsten. De drie focusgroepbijeenkomsten zijn bijgewoond door 27 deelnemers (n=9, n=10 en n=8). De deelnemers vulden een korte vragenlijst in over hun achtergrondkenmerken. In tabel 2.1 staan de belangrijkste kenmerken samengevat. In totaal zijn 24 vragenlijsten ingevuld. Tabel 2.1 Kenmerken van de deelnemers aan de focusgroepbijeenkomsten Bijeenkomst 1 2 3 Totaal

n

Man/Vrouw

9 10 8 27

4/4 5/4 4/3 13/11

Client / Vertegenwoordiger 5/2 2/7 2/6 9/15

Indicatiegrondslag Psy(4), VG(2) Som(3), Psy(2), LH(2), VG(2), ZG(3) Psy(2), VG(2), LG(4), ZG(5) Som(3), PG(0), Psy(8), LH(2), VG(6), ZG(3)

Som=somatische aandoening, PG= psychogeriatrische aandoening, Psy=psychiatrische aandoening, LH= lichamelijke handicap, VG=verstandelijke handicap, ZG=zintuiglijke handicap.


13

Kiwa Prismant 2012

Cliënten (of hun vertegenwoordigers) met een psychiatrische aandoening of een verstandelijke handicap als eerste grondslag voor hun indicatie waren oververtegenwoordigd, vertegenwoordigers van cliënten met een psychogeriatrische aandoening zijn niet aanwezig geweest in de bijeenkomsten. De focusgroepbijeenkomsten duurden twee uur en werden geleid door twee onderzoekers. Er werd gestart met een kennismaking en een toelichting op het doel van de bijeenkomst. Daarna startte de discussie met een algemene vraag om de deelnemers op hun gemak te stellen en het gesprek op gang te brengen. De algemene vraag was: ‘Als u twee dingen zou mogen verbeteren in de indicatiestelling door het CIZ, wat zou u dan veranderen?’. Daarna is het gesprek over belangrijke kwaliteitsaspecten van de indicatiestelling verder gevoerd, gestructureerd aan de hand van de topiclijst. Resultaten De uitgetypte verslagen van de interviews zijn geanalyseerd en verwerkt tot concrete kwaliteitsaspecten. Dit is uitgevoerd door twee onderzoekers, die onafhankelijk van elkaar de kwaliteitsaspecten hebben benoemd en vervolgens hebben vergeleken, om zo te komen tot consensus over de kwaliteitsaspecten. De focusgroepbijeenkomsten waren bijzonder levendig. De aanwezige cliënten en vertegenwoordigers hebben daarbij veel ervaringen uitgewisseld. Men herkende veel in elkaars verhalen. De cliënten en vertegenwoordigers vonden de volgende onderwerpen zeer belangrijk: dat de indicatiestelling deskundig gebeurt, op basis van dossierkennis en kennis over de ziektebeelden en bijbehorende beperkingen, dat waar nodig de mantelzorger betrokken wordt en dat er transparantie is over hoe het indicatiebesluit tot stand is gekomen. Daarnaast objectieve indicatiestelling (los van geld en politieke overwegingen), begrijpelijke en passende informatie over de indicatieprocedure, en voldoende tijd en aandacht om tot goede keuzes te kunnen komen. Kader 2.1 Citaten uit de focusgroepbijeenkomsten met cliënten en vertegenwoordigers Informatie over de indicatiestelling Wat moet beter? Ten eerste de informatie vooraf, waar gaat het eigenlijk over. Ze hebben een mooie site, daar kun je wel over iets aan de weet komen, daar niet van. Maar de informatie vooraf, rechtstreeks gegeven was er niet. Welke zorg en informatie over werkwijze. Wat ze eigenlijk precies gaan beoordelen. Dat had ik wel willen hebben. De informatie staat in de indicatiewijzer, alleen ze moeten het toepassen. En ze moeten het wat leesbaarder maken zodat iedereen het kan lezen. Gewoon jeugdjournaalniveau. Gewoon simpel taalgebruik. Kijk het punt is een beetje dat de informatievoorziening gebaseerd zou moeten zijn op wat heb ik nodig. Het CIZ doet de AWBZ indicatie en daarna kunnen ze kiezen of ze dat als zorg in natura willen hebben of als PGB. Als mensen dan gaan kiezen, moeten ze voor die tijd informatie hebben waar tussen ze dan kunnen kiezen. De procedure van indicatiestelling Telefonisch worden er vragen gesteld, terwijl er in een groot aantal situaties gewoon thuisbezoek vereist is. Als ik kijk naar het aanvraagformulier, dan zijn het formulieren die dus geen inzicht geven in wat een cliënt nu echt nodig heeft. Het is ‘tick the box’ en voor je het weet rolt er iets uit. Die aanvraagformulieren geven onvoldoende diepte over de zorgzwaarte die een cliënt nodig heeft.


14

Kiwa Prismant 2012

-

Een snellere reactie zou wel goed zijn. Ik moest heel snel verhuizen, omdat we van plaats gingen veranderen. Ik heb gewoon drie maanden moeten wachten. Dat klinkt helemaal niet lang. Maar als je mee wilt verhuizen en er is al een plaats geregeld. Je moet wel dat papiertje hebben om binnen te komen. Ze zouden een indicatiebesluit moeten sturen naar zowel de zorginstelling als de cliënt. En dan is er helderheid. Rekening houden met mantelzorgers Het CIZ behoort te kijken naar wat voor zorg er nodig is, men hoort niet te kijken naar wat voor zorg er al geleverd wordt door mantelzorgers. Wat het CIZ nu doet is alle zorg die een mantelzorger geeft, aftrekken van de indicatie hoogte die afgegeven wordt. Het indicatiebesluit Dan kom ik terug op het punt van, er wordt niet aangegeven wat er gevraagd is en wat er gegeven is. Men moet in dat indicatiebesluit aangegeven wat er gevraagd is en wat er gegeven is. Nu kan daar een verschil in zitten, laat ze dan uitleggen waarom die dingen gebeuren. Deskundigheid van de CIZ-medewerker En daarvan vind ik dat het CIZ onvoldoende hulp, assistentie, deskundigheid bij biedt, om erachter te komen wat die gehandicapte nu precies mankeert. En welke zorg heeft hij nu werkelijk nodig. Daar ligt het probleem. En de eerste keer dat ik geïndiceerd werd, dat was in 2002, toen vroegen ze gewoon door zeg maar. Ze vroegen echt door. Dat was gewoon belangrijk. En toen bleek uiteindelijk dat ik toch wel hulp nodig had. Een ding dat ik graag zou willen verbeteren is de kennis bij de indicatiestelling van veel voorkomende ziektebeelden. Zodat ze ook meteen het inzicht hebben dat ze bepaalde vragen op een goede manier stellen. Mensen met een CVA kunnen bepaalde dingen helemaal niet meer zelf doorredeneren.

De volledige lijst met kwaliteitsaspecten die uit de focusgroepbijeenkomsten naar voren zijn gekomen is opgenomen in bijlage 3. Ten behoeve van de volgende fase, het verkrijgen van eerste indrukken van het belang en de samenhang van de kwaliteitsaspecten, is deze lijst omgevormd tot een 100-tal items. Een aantal kwaliteitsaspecten die slechts marginaal van elkaar verschilden zijn samengenomen. Daarnaast is steeds de voorkeur gegeven aan die kwaliteitsaspecten die in meerdere focusgroepbijeenkomsten naar voren zijn gebracht door de cliënten/ vertegenwoordigers en is ervoor gezorgd dat de verschillende kwaliteitsdimensies steeds door meerdere aspecten worden ‘afgedekt’.

2.4

Belang en samenhang van de kwaliteitsaspecten

In eerder onderzoek (van Nispen e.a., 2002) is de samenhang tussen verschillende kwaliteitsaspecten en het belang van deze kwaliteitsaspecten in kaart gebracht voor cliënten van het RIO (voorloper CIZ). Dit onderzoek is uitgevoerd in 2001/2002 bij de cliënten van het RIO en bij sleutelfiguren. Hoewel de hoofdonderdelen van het indicatieproces sindsdien niet zijn veranderd, is de specifieke invulling daarvan en de werkwijze door CIZ medewerkers wel veranderd. Ook indiceert het CIZ voor een beperkter pakket aan zorg- en ondersteuningsvormen dan het RIO. Het is daarom noodzakelijk om belang en samenhang van de vastgestelde kwaliteitsaspecten opnieuw vast te stellen in dit onderzoek. Dit wordt meegenomen in de psychometrische testfase (zie hoofdstuk 6).


15

Kiwa Prismant 2012

Om toch in deze fase al een eerste indruk te krijgen van belang en samenhang vanuit het perspectief van de cliënt, is aan de deelnemers van de focusgroepbijeenkomsten gevraagd of zij wilden meewerken aan het vaststellen hiervan. Daarnaast zijn stakeholders benaderd via de leden van de begeleidingsgroep. Aan deze fase hebben in totaal 26 deelnemers meegewerkt, waarvan 22 cliënten of hun vertegenwoordigers en vier stakeholders. Deze 26 deelnemers hebben thuis één of twee opdrachten uitgevoerd. Deze opdrachten waren gericht op beantwoording van de volgende vragen: 1. Hoe belangrijk de respondent de verschillende kwaliteitsaspecten vindt (door 17 deelnemers uitgevoerd); 2. Welke onderwerpen volgens de respondent bij elkaar horen (door 15 deelnemers uitgevoerd). Bij de eerste opdracht hebben de respondenten de kwaliteitsaspecten ingedeeld in vijf categorieën van ‘Minst belangrijk’ (1) tot ‘Meest belangrijk’ (5). Bij de tweede opdracht zijn de kaartjes door de respondenten samengevoegd die volgens hen inhoudelijk bij elkaar horen en hebben zij vervolgens aan elke groep kaartjes een naam gegeven. Daarbij zijn de volgende hoofdthema’s in de kwaliteitsaspecten naar voren gekomen: - bejegening - deskundigheid - aandacht voor mantelzorger - informatievoorziening - communicatie - procedure van de indicatiestelling - indicatiebesluit - bereikbaarheid - regie/autonomie De resultaten van deze fase vormden de input voor de volgende stap, het vaststellen van de concept CQ-index.

2.5

Verwerking van de resultaten in een concept CQ-index

Op basis van de resultaten uit de voorgaande stappen is een concept vragenlijst opgesteld. Daarbij zijn de kwaliteitsaspecten vertaald in concrete items. Belangrijke aanvullende uitgangspunten daarbij waren: Doel was te komen tot een beknopte vragenlijst, waarbij een richtgetal is benoemd van in totaal 50-60 vragen. De vragen moeten zo eenvoudig mogelijk worden gesteld: Taalnivo B1. De testversie van de CQI voor de indicatiestelling AWBZ is opgesteld op basis van de kwaliteitsdimensies die uit de focusgroepbijeenkomsten naar voren zijn gekomen (zie paragraaf 2.3). Bij de keuze van de items zijn de belangscores (paragraaf 2.4) en de clustering van deze aspecten tot bredere kwaliteitsdimensies (paragraaf 2.4) richtinggevend geweest. Op basis hiervan en de vereisten van een CQ-index (lay out, standaardvragen, vraagstelling, etc.) is een eerste versie van de vragenlijst ontworpen en voorgelegd aan verschillende deskundigen.


16

Kiwa Prismant 2012

2.6

Input van deskundigen

De concept CQ-index is voorgelegd aan een werkgroep van het CIZ, aan de begeleidingsgroep en ten slotte aan de Wetenschappelijke Advies Raad (WAR). Naar aanleiding van de suggesties die zijn gedaan zijn de vragenlijst, de instructie en de begeleidende brief aangepast. In een eerste ronde is de vragenlijst uitgebreid besproken met de werkgroep vanuit het CIZ, waarbij formuleringen zijn aangepast, items zijn geschrapt en antwoordcategorieën zijn toegevoegd. Items zijn verwijderd als het om een vraag ging die lastig door de zorgaanvrager te beantwoorden was, maar gemakkelijk via de barcode van het CIZ gekoppeld kon worden aan de gegevens (bijvoorbeeld een vraag over de gevolgde procedure). Ook vragen die niet aansloten bij het takenpakket en de werkwijze van het CIZ zijn geschrapt. Dat betrof bijvoorbeeld de vraag ‘Kreeg u voldoende informatie over de keuze tussen Zorg In Natura en een PGB? Dit gebeurt niet en wordt door het CIZ niet al taak gezien. Vervolgens is een aangepaste vragenlijst eveneens voorgelegd aan de werkgroep, de begeleidingsgroep en de WAR. Daarbij is nog eens kritische gekeken of de vragen heel expliciet gericht zijn op de ervaringen van cliënten/hun vertegenwoordigers met het CIZ, en niet zijn gericht op ervaringen met zorgaanbieders (die een indicatie hebben aangevraagd) of ervaringen met het zorgkantoor. In de begeleidende brief is daarom beschreven wat de taak van het CIZ is, waardoor deze afbakening van de dienstverlening door het CIZ wordt onderstreept. Ook is de doelgroep voor de vragenlijst duidelijker beschreven. Deze doelgroep bestaat uit de mensen die een indicatieaanvraag hebben ingediend, de zorgaanvragers. De zorgaanvrager kan de aanvraag voor zichzelf hebben gedaan of voor iemand anders. Ook is toegevoegd dat de cliënt bij het invullen van de vragenlijst hulp kan vragen aan anderen, zoals familie, mantelzorger of vertegenwoordiger. Daarnaast zijn enkele items geherformuleerd, is bij een aantal vragen de antwoordcategorie ‘Niet van toepassing’ geschrapt en is bij andere vragen soms een antwoordcategorie toegevoegd. Per hoofdonderwerp in de vragenlijst is aangegeven op welke gebeurtenis de vragen betrekking hebben: de laatste indicatieaanvraag, de laatste indicatiestelling, het laatste indicatiebesluit, of de periode van aanvraag tot besluit bij de laatste indicatiestelling. . Verder is bij een aantal vragen gekozen voor andere antwoordcategorieën. Bijvoorbeeld: Bij de Bejegeningsvragen zijn de gebruikelijke antwoordcategorieën ‘Nooit’, ‘Soms’, ‘Meestal’, Altijd’, vervangen door ’Nee, helemaal niet’, ‘Een beetje’, ‘Grotendeels’, ‘Ja, helemaal’. Achtergrond hierbij is dat meer dan twee derde van de zorgaanvragers maar één gesprek hebben gehad in de afgelopen 12 maanden. Ten slotte zijn de vragenlijst, instructie en begeleidende brief nog gescreend op eenvoudig taalgebruik (taalniveau B1).

2.7

Cognitieve test

De conceptvragenlijst is getest door hem voor te leggen aan een aantal cliënten en/of vertegenwoordigers die een indicatie hebben aangevraagd bij het CIZ. Doel hiervan is om de doelgroep zelf te laten beoordelen of de vragenlijst goed in te vullen is en of alle belangrijke onderwerpen aan bod komen. Algemene bevinding was dat de vragenlijst over het algemeen begrijpelijk en volledig was. Waar behoefte was aan uitbreiding ging het om toelichtingen te kunnen geven op de geko-


17

Kiwa Prismant 2012

zen antwoorden. Sommige respondenten vonden de vragenlijst te lang. De tijd die men nodig had om in te vullen varieerde van 10 tot 30 minuten. Naar aanleiding van de opmerkingen van de respondenten zijn verschillende wijzigingen doorgevoerd: - Bij de algemene informatie aan het begin van de vragenlijst is expliciet toegevoegd dat de cliënt bij het invullen van de vragen hulp kan vragen aan anderen, zoals familie, de mantelzorger of vertegenwoordiger. - Een aantal moeilijke woorden is geschrapt of vervangen, bijvoorbeeld het kopje ‘autonomie’. Dit is vervangen door ‘regie/keuzemogelijkheid’. - Een enkele vraag is verduidelijkt. ‘Kreeg u genoeg informatie, passend bij uw zorgvraag?’ werd: ‘Paste de informatie die u kreeg bij uw zorgvraag/ de zorgvraag van de cliënt?’. - Bij een aantal vragen zijn de antwoordcategorieën aangepast of is een antwoordcategorie toegevoegd. De uiteindelijk resulterende vragenlijst is gebruikt voor het pilotonderzoek.

2.8

Uiteindelijke testversie van de CQI Indicatiestelling AWBZ

De versie van de CQ-index Indicatiestelling AWBZ die gebruikt is in de psychometrische testfase bevat in totaal 52 vragen. Naast 32 ervaringsvragen en 1 vraag over de algemene waardering, zijn vragen over achtergrondgegevens van de respondent (8, volgens formulering van de CQ-index (Sixma e.a., 2008)) en 10 overige vragen opgenomen in de vragenlijst. De vragenlijst wordt afsloten met een open vraag over wat de respondent zou willen veranderen aan de indicatiestelling. De vragenlijst is opgebouwd uit een aantal blokken met vragen die betrekking hebben op verschillende thema’s. Daarbij wordt eerst het indicatieproces gevolgd (aanvraag, informatie en communicatie, procedure indicatiestelling en indicatiebesluit), waarna vragen worden gesteld over de ervaringen bij contacten met het CIZ (bejegening, deskundigheid, bereikbaarheid, regie/keuzemogelijkheid). De meeste ervaringsvragen zijn gemeten met een 4-puntsschaal met de antwoordcategorieën ‘Nee, helemaal niet’, ‘Een beetje’, ‘Grotendeels’ en ‘Ja, helemaal’. Daarnaast zijn enkele vragen, waar deze antwoordcategorieën niet passend waren, gemeten met ja/nee of met een 3-puntsschaal (‘Groot probleem’, ‘Klein probleem’, ‘Geen probleem’). De testversie van de CQ-index Indicatiestelling AWBZ is opgenomen in bijlage 4.

2.9

Belangvragenlijst

Wat mensen belangrijk vinden verandert niet zo snel in de tijd. Echter, omdat vorig belangonderzoek is uitgevoerd in 2001 (Nispen e.a. 2002), is het aan te bevelen opnieuw vast te stellen hoe belangrijk cliënten en hun vertegenwoordigers de verschillende kwaliteitsaspecten vinden. Daarom is een apart onderzoek uitgevoerd naar het ervaren belang. De vragenlijst hiervoor is opgesteld op basis van de ervaringsvragenlijst die is beschreven in de vorige paragraaf. Daarbij is elk van de kwaliteitsaspecten vertaald in een belangvraag. Deze hadden alle de vorm: ‘Hoe belangrijk vindt u het dat …..’. De antwoord categorieën hierbij waren ‘niet belangrijk’, ‘eigenlijk wel belangrijk’, ‘belangrijk’ en ‘van het allergrootste belang’, met scores van 1 tot 4..


18

Kiwa Prismant 2012

De belangscores die op deze wijze in kaart zijn gebracht ondersteunen het keuzeproces, waarin wordt bepaald welke items wel en welke juist geen onderdeel gaan uitmaken van een meer definitieve CQI Indicatiestelling AWBZ (zie hoofdstuk 5). Daarnaast biedt het bij het beschouwen van de resultaten van het onderzoek naar cliëntwaardering belangrijke achtergrondinformatie over de ernst van een knelpunt en de potentie van een verbetering op het betreffende kwaliteitsaspect.

De belangvragenlijst is opgenomen in bijlage 5.


19

Kiwa Prismant 2012


20

Kiwa Prismant 2012

3 Dataverzameling en analyses

3.1

Steekproeftrekking

Voor het cliëntervaringsonderzoek heeft CIZ zelf de steekproef getrokken en gecontroleerd op representativiteit. De steekproef is als volgt getrokken: 1. Het aantal cliënten over 2010 en 2011 is gelijk verdeeld, 50% cliënten van 2010 (november en december) en 50% cliënten van 2011 (mei tot en met juli). Op die manier kan er na afloop van het onderzoek over voldoende cliënten uit 2010 verantwoording worden afgelegd aan het Ministerie van VWS. 2. Vervolgens is er geselecteerd op proces: 18 procent volgt de directe procedure en 2% de standaardprocedure. In deze procedures wordt de indicatie meestal gesteld op basis van dossieronderzoek. 63 procent is volgens de verkorte procedure geïndiceerd (vooral telefonisch onderzoek) en 17 procent volgens de uitgebreide procedure (vooral zieken)huisbezoek). 3. De steekproef wordt gecontroleerd op representativiteit voor de volgende variabelen: leeftijd, geslacht, unit, grondslag, indicatie/herindicatie, ZIN/PGB en positief/negatief besluit.

3.2

Dataverzameling

De verzending van de pilotversie van de CQ-index CIZ is uitgevoerd op de mixed-mode methode (online en schriftelijk) en volgens CQ-richtlijnen (gebaseerd op de Dillmanmethode; Groves et al, 2002). Dat wil zeggen dat cliënten op drie momenten benaderd zijn:  Week 0: vragenlijst met begeleidende brief en antwoordenvelop. In de brief staat een website en persoonlijke inlogcodes vermeld voor diegenen die de vragenlijst online willen invullen.  Week 3: herinnering aan de non-respondenten: vragenlijst met begeleidende brief en antwoordenvelop, in de brief staat – net als in de eerste brief - de verwijzing de website en inlogcodes.  Week 6: bedankbrief voor deelname

Vooraf is vooraankondiging verstuurd naar de cliënten die in de steekproef vallen. De bescherming van de persoonsgegevens van cliënten (potentiële respondenten) is in Nederland via de Wet Bescherming Persoonsgegevens (Wbp) geregeld. De Wbp stelt dat organisaties personen, van wie zij persoonsgegevens gebruiken, informeren over hun identiteit en doel waarvoor zij de persoonsgegevens gebruiken. Ook kent de Wbp betrokkenen het recht op verzet toe en het blokkeren van persoonsgegevens voor onderzoeksdoeleinden. Dit betekent dat er een mogelijkheid moet zijn voor een (potentiele) respondent om bezwaar aan te tekenen tegen deelname aan kwaliteitsonderzoek en een mogelijkheid om bezwaar aan te tekenen tegen deelname aan een CQI onderzoek in het bijzonder.


21

Kiwa Prismant 2012

Degenen die bezwaar aangetekend hebben door middel van de vooraankondiging zijn uit het steekproefbestand verwijderd. Het NAW bestand wordt na afloop vernietigd zodat de anonimiteit van de respondenten gewaarborgd blijft. Met behulp van een uniek identificatienummer dat als barcode op de vragenlijst stond, werd bijgehouden welke personen de vragenlijst hadden teruggezonden. De vragenlijst in week 0 en de bedankbrief in week 6 zijn naar alle cliënten gestuurd. De herinneringsbrief in week 3 is verstuurd naar de mensen die op dat moment nog niet gereageerd hadden. De geretourneerde vragenlijsten werden gescand tot een databestand. Dit bestand werd na sluiting van de verzendtermijn samengevoegd met het databestand van de mensen die de vragenlijst online ingevuld hadden. Tot slot werd dit bestand samengevoegd met het bestand met achtergrondkenmerken van de steekproef. Dit was mogelijk door de unieke persoonscode die in beide bestanden voorkwam.

3.3

Statistische analyses

De statistische analyses worden beschreven in hoofdstuk 5 van dit rapport. Met deze analyses wordt onderzocht wat de psychometrische kwaliteiten zijn van de testversie van de CQI Indicatiesteling AWBZ. Doel hiervan is te komen tot een herziene vragenlijst die zo goed mogelijk de ervaringen van cliënten en hun vertegenwoordigers met de indicatiestelling voor de AWBZ door het CIZ in kaart kan brengen. Alvorens dit onderzoek kan plaatsvinden vindt controle en opschoning van het databestand plaats (hoofdstuk 4) en wordt een non-responsanalyse uitgevoerd. Ten behoeve van het testen van de psychometrische eigenschappen van de testversie van de vragenlijst worden itemanalyses en factoranalyses uitgevoerd. Op basis van verschillende statistische criteria zijn voorstellen gedaan om items al dan niet te behouden in een volgende versie van de vragenlijst. Om hierover te kunnen beslissen wordt in samenspraak met de begeleidingsgroep, ook op inhoudelijke gronden, gekeken welke items deel gaan uitmaken van die vragenlijst, welke aangepast moeten worden en welke eventueel verwijderd.

3.4

Testen van het discriminerend vermogen

Doel van het testen van het discriminerend vermogen is om vast te stellen of met de CQI verschillen in de kwaliteit van de Indicatiestelling AWBZ vanuit het perspectief van de indicatie-aanvrager aangetoond kunnen worden. Daarbij is het belangrijk om rekening te houden met verschillen in kenmerken van de onderzoeksgroep. Op inhoudelijke gronden zal worden vastgesteld of correctie nodig is op variabelen ‘algemene gezondheid’, ‘opleiding’ en ‘leeftijd’ (Zaslavsky, 1998). Daarnaast is de afloop van de indicatie-aanvraag mogelijk van invloed op de ervaringen van de indicatieaanvragers. De WAR stelt dan ook voor om deze, zo mogelijk mee te nemen in het onderzoek. Het was de bedoeling om het discriminerend vermogen te testen middels Multi-Level analyses. Vanuit statistisch oogpunt gelden hiervoor echter enkele voorwaarden. Voor het aantal analyse-eenheden wordt in het Handboek CQI Meetinstrumenten (Sixma, e.a., 2008) een wenselijk minimum gesteld van 20. Bij minder dan 20 analyse-eenheden zijn de resultaten met betrekking tot het discriminerend vermogen niet betrouwbaar, zo stellen zij.


22

Kiwa Prismant 2012

Bij de Indicatiestelling door het CIZ is het aantal analyse-eenheden 10, namelijk de 10 CIZregio’s. Deze worden niet verder onderverdeeld in kleinere afdelingen of units. Snijders en Bosker (2012) hanteren in hun boek over Multi-Levelanalyse als vuistregel een minimum van 10 analyse-eenheden. Bij minder dan 10 analyse-eenheden raden zij aan te kiezen voor covariantieanalyses. Ook bij 10-20 analyse-eenheden noemen zij de situatie twijfelachtig voor het gebruik van random effects modellen zoals Multi-Level. Ook de WAR heeft naar aanleiding van het onderzoeksplan voor de ontwikkeling van CQI Indicatiestelling AWBZ op dit aspect gewezen. Zij wijst er daarbij verder op dat de eenheden zelf heel groot zijn en er geen keuzemogelijkheid is voor cliënten. In afstemming met het CKZ is daarom gekozen voor het gebruik van covariantie-analyse (fixed effects modellen).


23

Kiwa Prismant 2012


24

Kiwa Prismant 2012

4 Opschoning en respons In dit hoofdstuk wordt de opschoning van het databestand beschreven, plus de respons en non-respons analyse. Tot slot worden enkele kenmerken van de respondenten beschreven. Ter voorbereiding van de statistische analyses zijn de dichotome variabelen omgecodeerd naar de waarden 1 (‘nee’) en 4 (‘ja’). De probleemvragen zijn omgecodeerd tot 1 (‘groot probleem’), 2,5 (‘klein probleem’) en 4 (‘geen probleem’).

4.1


4.1.1


De databestanden zijn geschoond volgens de stappen beschreven in het handboek CQI Meetinstrumenten (Sixma et al, 2008).  Verwijderen van respondenten die retour zijn verzonden wegens het overlijden van de respondent  Verwijderen van respondenten die retour zijn gezonden omdat ze niet bij de respondent bezorgd konden worden  Verwijderen van respondenten die niet tot de doelgroep behoren Databestand:  Verwijderen lege cases  Verwijderen van respondenten die de vragen niet zelf hebben beantwoord  Verwijderen van vragenlijsten waarin onvoldoende vragen beantwoord zijn  

  

Van het totaalbestand van 4545 achtergrondkenmerken van cliënten is een koppeling mogelijk met 1120 (schriftelijk of online) geretourneerde vragenlijsten. Op de vraag: ‘Heeft u voor uzelf of voor iemand anders in de afgelopen 12 maanden een indicatie aangevraagd bij het CIZ?’ gaven 617 respondenten een positief antwoord, 274 respondenten gaven een negatief antwoord, 95 respondenten antwoordden ‘weet ik niet’ en 134 respondenten hebben de vraag niet ingevuld. We hebben besloten om de respondenten te verwijderen die ‘nee’, ‘weet niet’ of blanco ingevuld hebben bij deze vraag en de vragenlijst niet ingevuld hebben. Dit resulteert in 735 ingevulde vragenlijsten. Het aantal niet-ingevulde (blanco) vragenlijsten betreft: 13. Onder blanco verstaat het CKZ minder dan 5 vragen zijn beantwoord (ongeacht het totaal aantal vragen). Dit resulteert in 722 ingevulde vragenlijsten. Verwijderen van respondenten die de vragen niet zelf hebben beantwoord is in dit geval niet van toepassing, respondenten kunnen voor iemand anders een aanvraag bij het CIZ gedaan hebben. Verwijderen van vragenlijsten waarin onvoldoende sleutelvragen beantwoord zijn. De sleutelvragen zijn vragen die alle respondenten moeten beantwoorden, inclusief de volgende demografische vragen: leeftijd, geslacht, opleiding, taal thuis gesproken, geboorteland vader, geboorteland moeder, geboorteland uzelf, algemene gezondheid. Hiervan dient 50% te zijn ingevuld. Dit bleek niet van toepassing, in alle vragenlijsten zijn deze vragen voor minimaal 50% gevuld.


25

Kiwa Prismant 2012

 

Verwijderen van onterecht gegeven antwoorden op vragen die volgen op screenervragen. Deze stap wordt niet uitgevoerd aangezien het aantal onterecht gegeven antwoorden belangrijke informatie geeft over de begrijpelijkheid van de vragen. Verwijderen van personen die vragen voor de case-mix adjustment niet hebben ingevuld. Dit wordt niet uitgevoerd, omdat binnen de psychometrische testfase niet wordt gecorrigeerd voor case-mix variabelen.

Het opgeschoonde bestand vormt het uitgangspunt voor de psychometrische analyses (n=722).

4.1.2 Belangvragenlijst Het onderzoek naar het belang dat indicatie-aanvragers hechten aan de verschillende kwaliteitsaspecten van de indicatiestelling is apart uitgevoerd. De CQ-index Indicatiestelling Belangenlijst is verstuurd naar 563 mensen die een indicatie hebben aangevraagd of hebben laten aanvragen. In totaal hadden 800 mensen een vooraankondiging ontvangen, waarna 237 mensen hebben afgezien van deelname. Van de 563 mensen die een vragenlijst hebben ontvangen, zijn 335 vragenlijst retour gekomen, dat is een bruto respons van 60%. Het gegevensbestand van de Belangvragenlijst is op dezelfde manier gecontroleerd en opgeschoond als de Ervaringenvragenlijst. In totaal hebben 55 respondenten de vragenlijst (niet volledig) ingevuld en waren 23 vragenlijsten dubbel ingevuld (bijvoorbeeld door cliënt en familie of tweemaal door familieleden of tweemaal door cliënten). De totale netto respons komt daarmee op 257 (46%).

4.2

Non-respons

Om de representativiteit van de respondenten te kunnen beoordelen zijn de kenmerken van de respondenten vergeleken met de kenmerken van het totaal aantal aangeschreven cliënten. Van belang is om hierbij op te merken dat het cliëntkenmerken betreft. De vragenlijst is ingevuld door de zorgvrager, degene die voor zichzelf of voor iemand anders de CIZindicatie heeft aangevraagd. De cliënt is degenen voor wie de indicatie is aangevraagd. Onderstaande cliëntkenmerken waren in het originele steekproefbestand bekend. In deze paragraaf verstaan we onder respondentkenmerken dus de kenmerken van de cliënten wier zorgaanvrager de vragenlijst heeft teruggestuurd. De analyses van de kenmerken van de respondenten versus de non-respondenten was mogelijk omdat er een persoonscode in de vragenlijsten verwerkt was. Hierdoor was het mogelijk dat de teruggekomen ingevulde vragenlijsten gekoppeld werden aan de personen in het oorspronkelijke steekproefbestand. Hieronder bekijken we het totale steekproefbestand (n=4545), de bruto respondenten (n=1120) en de niet-respondenten (n=3425) met elkaar op bepaalde kenmerken.


26

Kiwa Prismant 2012

Tabel 4.2.1 Kenmerken cliënten steekproef, respons en non-respons variabelen Geslacht Man Vrouw Missing values

Totale steekproef N %

Respondenten N

%

Non-respondenten N %

1782 2747 16

39,2 60,4 0,4

434 671 15

38,8 59,9 1,3

1348 2076 1

39,4 60,6 0

2185 557 749 250

48,1 12,3 16,5 5,5

616 107 123 86

55,0 9,6 11,0 7,7

1569 450 626 164

45,8 13,1 18,3 4,8

654

14,4

136

12,1

518

15,1

47

1,0

16

1,4

31

0,9

11

0,2

1

0,1

10

0,3

92

2,1

20

1,8

57

1,6

Jaar 2010 2011 Missing values

2178 2351 16

48,1 51,7 0,4

518 587 15

46,3 52,4 1,3

1660 1764 1

48,5 51,5 0

Intra/extramuraal Intramuraal Extramuraal Missing values

1638 2603 304

38,6 61,4 6,7

335 697 88

29,9 62,2 7,9

1303 1906 216

38,0 55,6 6,3

leeftijdscategorie 0-17 jaar 18-64 jaar 65-74 jaar 75-84 jaar 85 jaar en ouder Missing values

380 1506 543 1167 933 16

8,4 33,1 11,9 25,7 20,5 0,4

89 305 170 329 212 15

7,9 27,2 15,4 29,4 18,9 1,3

291 1201 373 838 721 1

8,5 35,1 10,9 24,5 21,1 0

Procedure Direct Verkort Standaard Uitgebreid Missing values

801 2870 87 771 16

17,6 63,1 1,9 17,0 0,4

230 685 21 169 15

20,5 61,2 1,9 15,1 1,3

571 2185 66 602 1

16,7 63,8 1,9 17,6 0

524 448 472 432

11,5 9,9 10,4 9,5

128 92 106 119

11,4 8,2 9,5 10,6

396 356 366 313

11,6 10,4 10,7 9,1

540 480

11,9 10,6

117 124

10,4 11,1

423 356

12,4 10,4

398 354 483

8,8 7,8 10,6

101 81 122

9,0 7,2 10,9

297 273 361

8,7 8,0 10,5

398 16

8,8 0,4

115 15

10,3 0,3

283 1

8,3 0

Grondslag Somatisch Psychogeriatrisch Psychisch Lichamelijke handicap Verstandelijke handicap Zintuigelijke handicap Psychosociaal welbevinden Missing values

Units CIZ Amsterdam CIZ Rijswijk CIZ Rotterdam CIZ Bergen op Zoom CIZ Utrecht CIZ Nijmegen Veldhoven CIZ Zwolle CIZ Assen CIZ Enschede – Velp CIZ Heerlen Missing values

De Chi-kwadraattoets laat zien dat er geen significante verschillen zijn tussen respondenten en non-respondenten op geslacht, jaar en unit, wel op de variabelen intramuraal/extramuraal, grondslag en procedure. Extramurale respondenten reageren significant


27

Kiwa Prismant 2012

vaker dan intramurale respondenten. Respondenten met een somatische of lichamelijke handicap reageren significant meer dan respondenten met een psychische achtergrond. Respondenten waarbij de indicatie is uitgevoerd met een directe procedure reageren significant meer. De Mann-Withney toets voor leeftijd in categorieën laat zien dat er verschillen zijn tussen de respondenten en non-respondenten: ouderen respondenten significant vaker dan jongeren.

4.3

Achtergrondkenmerken van de respondenten

In onderstaande tabel komen enkele achtergrondkenmerken van de respondenten aan de orde. De respondenten zijn in dit geval wel de zorgaanvragers bij het CIZ, degene die voor zichzelf of voor iemand anders de indicatieaanvraag bij het CIZ heeft ingediend. Twee derde van de zorgaanvragers is vrouw, en een derde is 75 jaar of ouder. Meer dan 55% heeft een matige of slechte gezondheid. Ruim 72 procent van de zorgaanvragers heeft een middelbare opleiding of lager. Tabel 4.3.1. Achtergrondkenmerken respondenten (n=722) Variabele Geslacht Man Vrouw Missing values

N

%

258 62,3 37

37,7 42,7 5,1

Leeftijd 18 t/m 24 jaar 25 t/m 34 jaar 35 t/m 44 jaar 45 t/m 54 jaar 55 t/m 64 jaar 65 t/m 74 jaar 75 jaar en ouder Missing values

24 53 84 93 104 92 229 43

3,3 7,3 11,6 12,9 14,4 12,7 31,7 6,0

Gezondheid Uitstekend Zeer goed Goed Matig Slecht Missing values

27 61 216 286 95 37

3,7 8,4 29,9 39,6 13,2 5,1

48 121 99

6,6 16,8 13,7

110

15,2

80 38

11,1 5,3

30 13 87

4,2 1,8 12,0

Opleiding Geen Lager onderwijs Lager of voorbereidend beroepsonderwijs Middelbaar algemeen voortgezet onderwijs Middelbaar beroepsonderwijs Hoger algemeen en voorbereidend wetenschappelijk onderwijs Wetenschappelijk onderwijs Anders Missing values

Het merendeel van de respondenten (90,3%) was in Nederland geboren en had ook een vader (88,8%) en/of moeder (89,3%) die in Nederland geboren was. De meeste mensen spraken thuis Nederlands (88,8%) of Nederlands dialect (4,8%).


28

Kiwa Prismant 2012

5 Resultaten psychometrische testfase Bij de psychometrische analyses wordt gekeken naar de afzonderlijke kwaliteitsaspecten/items (item analyses) en naar de onderlinge relaties tussen de kwaliteitsaspecten. Bij dit laatste kijken we naar de correlaties tussen de items (inter-item analyses) en naar de onderliggende structuur van het meetinstrument (factoren betrouwbaarheidsanalyses). Dit levert eventueel handvatten op voor herziening van het concept meetinstrument.

5.1

Itemanalyses

Eerst kijken we naar de resultaten op itemniveau. Hierbij kijken we naar:  De scheefheid van de verdeling van de antwoorden op de ervarings- en probleemvragen  De non-respons op ervarings- en probleemvragen  De antwoorden op de belangvragen 5.1.1 Scheefheid per item De scheefheid van de verdeling van de antwoorden op een item laat zien in hoeverre een item groepen kan onderscheiden. De scheefheid van de frequentieverdeling moet bekeken worden voor alle ervaringsvragen, probleemvragen, vragen naar de algemene waardering en screenervragen (vragen die volgen op ‘indien nee, ga door naar vraag X’). Gekeken wordt naar de valide frequentieverdeling per item. Dat betekent dat de missende waarden buiten beschouwing worden gelaten. Als op een item 90% of meer van de antwoorden in de meest positieve categorie (=altijd, ja, geen probleem) of in de meest negatieve categorie (=nooit, nee, groot probleem) valt, spreken we van een extreem scheve verdeling. De ervaringen zijn dan zo weinig verschillend dat deze niet meer discrimineren tussen verschillende groepen respondenten. Items met een extreem scheve verdeling komen in aanmerking om uit het CQI meetinstrument verwijderd te worden. Uit de analyses blijkt dat op 1 vraag meer dan 90 procent een positief antwoord geeft: ‘was uit het indicatiebesluit duidelijk op welke zorg u/de cliënt recht had?’ Deze vraag komt voor verwijdering in aanmerking. Wij hanteren deze vraag echter in de volgende versie, omdat het relevante informatie oplevert voor het CIZ. Wel zullen we de antwoordcategorieën uitbreiden. 5.1.2 Non-respons per item De non-respons, oftewel het aantal missende waarden, per item laat zien in hoeverre respondenten het item begrijpen en hoe relevant het voor hen is. Een groot aantal missende waarden op een item kan betekenen dat de vraag niet goed begrepen wordt door de respondenten of dat weinig mensen ervaring hebben met dit kwaliteitsaspect. De definitie van een missende waarde is dat een item onterecht niet is ingevuld. Hierbij wordt dus rekening gehouden met het antwoord op eventuele screenervragen. Bij vragen die op een screenervraag volgen moet apart gecontroleerd worden hoe vaak de respondenten de vervolgvragen onterecht niet hebben ingevuld (=non-respons) en hoe vaak de respondenten de vervolgvragen onterecht wel hebben ingevuld. De richtlijn is dat het percentage missende waarden op een item niet hoger mag zijn dan 5%.

De schaalbaarheid van het item is een ander belangrijk aspect. Met behulp van factoranalyse en betrouwbaarheidsanalyses is nagegaan welke items samenhingen om een bepaalde dimensie van zorg te beschrijven.


29

Kiwa Prismant 2012

5.2

Factoranalyse en betrouwbaarheid

Om de onderliggende structuur van het meetinstrument vast te stellen worden factoranalyses uitgevoerd. Vragen met verschillende antwoordcategorieën De factoranalyses worden bij voorkeur afzonderlijk uitgevoerd op de ervaringsvragen met de categorieën ‘nooit-altijd’ en de probleemvragen met de antwoordcategorieën ‘groot probleem-geen probleem’. Als items met verschillende antwoordcategorieën in een en dezelfde factoranalyse meegenomen worden geeft dit verstoring van de schatting van de onderliggende structuur. Het samennemen van items met verschillende antwoordcategorieën kan bij voldoende samenhang nog steeds resulteren in een betrouwbare schaal, maar deze betrouwbaarheid zal wel lager uitpakken en de oplossing van de factoranalyse zal minder stabiel zijn. Het samennemen van verschillende antwoordcategorieën mag alleen met goede onderbouwing. Bij het samennemen moeten alle antwoorden omgecodeerd worden naar een 4puntsschaal (zie boven). Op dichotome items kan geen factoranalyse uitgevoerd worden. Op basis van inhoudelijke argumenten kunnen vaak wel schalen beredeneerd worden. Voor dichotome items die op inhoudelijke gronden samengenomen kunnen worden, kan ook een Cronbach’s alpha berekend worden. In SPSS zal de Cronbach’s alpha dezelfde waarde aannemen als de Kuder-Richardson Formule (KR-20). Betrouwbaarheidsanalyses Om te kijken welke betrouwbare en goed interpreteerbare schalen gevormd kunnen worden moet de interne consistentie getest worden, met behulp van Cronbach’s alpha. Een schaal is voldoende betrouwbaar als Cronbach’s alpha hoger is dan 0,70. Als de alpha tussen 0,60 en 0,70 ligt, spreekt men van een schaal met een ‘geringe betrouwbaarheid’. Schalen met een geringe betrouwbaarheid worden voorlopig geaccepteerd. In een vervolgtraject moet gekeken worden of deze schalen betrouwbaar genoeg zijn. Om te zien of een item tot een schaal behoort kijken we naar de item-totaal correlatie (ITC) van het betreffende item. Dit is een maat die aangeeft in hoeverre items binnen een schaal correleren met de schaal in zijn geheel. De ITC moet groter zijn dan 0,40 (Nunnally, 1978). Ook moet gekeken worden naar de waarde van de Cronbach’s alpha als een item uit de schaal verwijderd wordt. Als de alpha toeneemt bij verwijdering van een item, dan kan het item uit de schaal gehouden worden.


30

Kiwa Prismant 2012

5.3

Eerste analyse van de items, factoranalyse en betrouwbaarheidsanalyse

Omdat de CIZ-vragenlijst bestaat uit diverse kwaliteitsaspecten, met daarbij behorende vragen en bestaat uit verschillende antwoordcategorieën, hebben we geen exploratieve factoranalyse gedaan op het gehele bestand. We hebben direct de kwaliteitsaspecten als schalen benaderd en op deze schalen een factoranalyse toegepast (indien mogelijk). Slecht ingevulde items, scheve items, items die niet in een schaal passen en vragen die weinig specifiek of onderscheidend zijn kunnen in principe uit de vragenlijst verwijderd worden. Redenen om items niet op te nemen in de definitievere vragenlijst zijn: 1. Scheefheid: zeer hoge ervaringsscore (>90% positief of negatief) 2. Een hoge item non-respons (>10%) 3. Een geringe samenhang met de achterliggende dimensie waar het item deel van uitmaakt (factorlading <0,40) 4. Geen betekenisvolle bijdrage aan de betrouwbaarheid (interne consistentie) van een schaal 5. Een hoge correlatie met een ander item: de items meten hetzelfde (inter-item correlatie >0,70) De volgende tabel geeft een overzicht van de resultaten voor de eerste analyses van de vragenlijst. Tabel 5.3.1. Eerste analyses per item Items

Criteria 1

Informatie en communicatie V6 Had u genoeg informatie over hoe u de aanvraag kon doen bij het CIZ? V7 Had u genoeg informatie over hoe lang het zou duren van aanvraag tot indicatiebesluit? V8 Paste de informatie die u kreeg bij uw zorgvraag of de zorgvraag van uw cliënt? V9 Was de schriftelijke informatie van het CIZ (folders, brieven, internet) begrijpelijk voor u? V10 Legde de CIZ medewerker u zaken op een begrijpelijke manier uit? V11 Gaf de CIZ medewerker u tegenstrijdige informatie? Procedure indicatiestelling V12 Bood het aanvraagformulier voldoende mogelijkheid om de zorgvraag goed aan te geven? V13 Dacht de CIZ medewerker met u mee om de vraag helder te krijgen? V14 Noemde de CIZ medewerker bij de (her)indicatie duidelijk het doel van het gesprek? V15 Was het voor u duidelijk dat familie/mantelzorgers een rol kunnen spelen in de aanvraagprocedure? V16 Hield de CIZ medewerker rekening met de mogelijkheden en grenzen van de mantelzorger? V17 Had u het idee dat de indicatie objectief is gesteld? V18 Was de wachttijd tussen de aanvraag en het indicatiebesluit een probleem voor u/de cliënt? V20 Vond u dat de indicatieprocedure (telefonisch gesprek, huisbezoek of geen van beide) bij de zorgvraag paste? V21 Moest u gegevens geven of invullen die al bekend zijn bij het CIZ? Indicatiebesluit V23 Was uit het indicatiebesluit duidelijk op welke zorg u/de


31

2

3

4

x

X

x

X

X

x

5

9,6%

5,8%

10,7% 6,4% 91,3%

12,5%

Kiwa Prismant 2012

cliënt recht op had? V24 Was voor u/de cliënt duidelijk hoe het CIZ tot dit besluit was gekomen? V25 Was voor u/die cliënt duidelijk wat er na de brief met het indicatiebesluit moest gebeuren om zorg te krijgen? V26Wist u dat u het CIZ kunt bellen voor uitleg over het indicatiebesluit? Bejegening V28 Was de CIZ medewerker beleefd tegen u? V29 Luisterde de CIZ medewerker aandachtig naar u? V30 Had de CIZ medewerker genoeg tijd voor u? V31 Nam de CIZ medewerker u serieus? V32 Leefde de CIZ medewerker zich in uw situatie/de situatie van de cliënt in? Deskundigheid V33 Had de CIZ medewerker voldoende kennis over de ziekte/aandoening van u/de cliënt? V34 Had de CIZ medewerker voldoende kennis over de beperkingen die horen bij de ziekte/aandoening van u/de cliënt? V35 Vroeg de CIZ medewerker door totdat de hulpvraag echt duidelijk was? V36Stond de CIZ medewerker voldoende open voor dingen die u belangrijk vindt in uw leven/de cliënt belangrijk vindt in zijn/haar leven? Bereikbaarheid V37 Was het een probleem om de adresgegevens van het CIZ te vinden? V38 Was het een probleem om het CIZ telefonisch te bereiken? V39 Reageerde het CIZ snel op uw vragen? Regie/keuzemogelijkheid V40 Plande het CIZ samen met u en/of cliënt de afspraken voor indicatiestelling? 1. scheefheid van antwoordcategorie (>90%) 2. hoge item-nonrespons (>10%) 3. lage factorlading (<0,40) 4. Cronbach’s alpha neemt toe als item verwijderd wordt 5. hoge inter-item correlatie (>0,70)

14% 14% 12,3% 36,6% 37% 37,3% 37,8%

X X X X X

37,8% X 37,5% X 37,4% X 38% X 38%

9,8% 7,5% 7,9% 11,6%

Op grond van deze analyses kunnen we de volgende conclusies trekken: 1. Item-non-respons: Een aantal zaken valt op: er zijn 21 vragen met meer dan 5% missing values (range 5,8-37,8%). Het blok vragen dat betrekking heeft op de CIZmedewerker heeft 37 of 38% missing values. Hieronder vallen de 9 vragen over de aandacht en deskundigheid van de CIZ-medewerker. Oorzaak voor dit hoge aantal missing values is dat hier een screenervraag mist: ‘heeft u een CIZ-medewerker gesproken? Ja/nee.’ In de vragenlijst is als tekstblok opgenomen: ‘Als u geen CIZmedewerker heeft gesproken ga dan door naar vraag 37’. Een flink aantal cliëntcliënten heeft vervolgens de vragen overgeslagen. Dit heeft geleid tot 37 en 38% missing values op de 9 CIZ-medewerker-vragen. Omdat dit consistent 37 of 38% is, en het betreft precies het blok vragen over de CIZ-medewerker, mogen we aannemen dat dit de mensen betreft die geen CIZ-medewerker gesproken hebben. In de nieuwe versie van de vragenlijst wordt in ieder geval een screenervraag opgenomen, zodat duidelijk is hoeveel missing values bij deze vragen hoort. Van de overige vragen, met missing values tussen 5, 8 en 14% zullen we de formulering aanpassen. Het lijkt erop dat in ieder geval de 6 vragen die meer dan 10% missing values (range 10,7-14%) hebben te moeilijk geformuleerd zijn/moeilijk te begrijpen zijn. Tot slot valt op dat er aan het begin van de vragenlijst nauwelijks missing values zijn, en dat er naar het einde toe steeds meer komen. Het kan zijn dat mensen ‘afhaken’ gedurende de vragenlijst, omdat deze te lang of te moeilijk is. Wij adviseren om een grens van 10% missing values te nemen, omdat 5% voor deze doelgroep wellicht wat aan de strenge kant is.


32

Kiwa Prismant 2012

2. Scheefheid: Alleen vraag 23 heeft een extreem scheve verdeling van de antwoordcategorieën. Deze vraag zullen we niet in de analyses meenemen. 3. Factorlading: Drie variabelen hebben een lagere factorlading (<0,40) op de factor waar het item deel van uitmaakt. 4. Interne consistentie: Vier items hebben een geringe bijdrage aan de betrouwbaarheid van de schaal (als item is deleted, de Cronbach’s alpha wordt hoger). Voor een betrouwbare schaal zijn deze items dus niet noodzakelijk. Gekeken zal worden welke andere argumenten er zijn om deze items te behouden dan wel te verwijderen. 5. Hoge inter-item correlatie: Binnen de schalen bejegening en deskundigheid zit veel overlap in de items, de inter-item correlatie is hoog. Hier zijn mogelijkheden om de schaal in te dikken. Op grond van deze analyses kunnen we het volgende stellen:  V11 is een zelfstandig item en wordt verwijderd uit de eerste schaal  En V18 en V21 vormen geen bijdrage aan de schaal ‘Procedure indicatiestelling’ en worden verwijderd uit de tweede schaal. Deze twee itemshouden we voorlopig samen als een subschaal (Procedure proces)  V35 blijft vooralsnog in de schaal Deskundigheid, omdat de factorlading op deze schaal wel hoog genoeg is.  V40 vormt op inhoudelijke gronden een ‘schaal’. Hierop kunnen geen analyses uitgevoerd worden, het betreft immers maar één variabele. Op basis van deze data voeren we een confirmatieve factoranalyse uit.

5.4

Confirmatieve factoranalyse

Eisen voorafgaand aan de tweede factoranalyse Voordat de volgende factoranalyses uitgevoerd worden moet eerst gekeken worden of er aan een aantal eisen voldaan is: 1. Het aantal respondenten moet voldoende groot zijn (vuistregel: liefst tenminste tien maal zoveel respondenten als variabelen). 2. Het aantal factoren kan maximaal het aantal variabelen gedeeld door 3 zijn. Dus bij 20 items kun je maximaal 6 factoren hebben. 3. De data voldoen aan de Kaiser-Meyer-Olkin (KMO) Measure of Sampling Adequacy. Hierbij wordt een KMO-waarde van 0,60 of hoger gehanteerd. Bij lagere KMOwaarden (lager dan 0,60) kan er geen factoranalyse uitgevoerd worden, omdat de variabelen dan weinig tot niets gemeenschappelijks hebben 4. Bartlett’s test of sphericity is significant (p<0,05). Deze test toetst de nulhypothese dat de onderliggende variabelen ongecorreleerd zijn. Als Barlett’s test of sphericity significant is, dan wil dit zeggen dat de correlaties tussen de variabelen voldoende hoog zijn om relaties tussen de variabelen te ontdekken.


33

Kiwa Prismant 2012

In onderstaande tabel staan deze eisen samengevat. Tabel 5.4.1. Eisen voor factoranalyse Schalen

N

KMO

Bartlett

Informatie en communicatie Procedure indicatiestelling Procedure proces Indicatiebesluit Bejegening Deskundigheid Bereikbaarheid

495

0,788

Sig

Soorten antwoordcategorieën 1

297

0,879

Sig

2

673 608 443 438 368

0,5 0,694 0,888 0,798 0,633

sig Sig Sig Sig Sig

2 1, maar dichotoom 1 1 2

Uitvoering tweede factoranalyse  We voeren een Principale Componenten Analyse uit met oblique rotatie (vanwege de veronderstelde samenhang tussen de factoren). Het aantal factoren kan gebaseerd worden op 2 gegevens: (1) de Kaiser normalisation (zie Kaiser, 1960) waarbij gekeken wordt voor hoeveel factoren de eigenwaarde 1,0 of groter is. De eigenwaarde staat voor de totale hoeveelheid door de factor verklaarde variantie. Deze methode geeft vaak een overschatting van het aantal gemaakte factoren; (2) de scree test (zie Cattell, 1966), waarbij een grafiek wordt gemaakt van de eigenwaarden van de factoren. Het knikpunt geeft het aantal factoren weer. Deze methode geeft mogelijk een onderschatting van het aantal factoren.  Bekijken van de hoogte van de factorladingen, waarbij de vuistregel geldt dat de factorlading van een item op een factor groter moet zijn dan 0,3 wil een kwaliteitsaspect gaan behoren tot die betreffende factor (Floyd, 1995). Indien een item op meerdere factoren een factorlading heeft van 0,3 of hoger dan behoort het item tot de factor waarop het item de hoogste lading heeft. Bij voorkeur is het verschil tussen de hoogste lading en de op een na hoogste lading van een item minimaal 0,10  De inter-factor correlaties moeten kleiner zijn dan 0,70 (Carey, 1993).


34

Kiwa Prismant 2012

Tabel 5.4.2. Resultaten tweede factoranalyse Items

factorlading

ITC (>0,40)

Alpha if item deleted

Informatie en communicatie V6 Had u genoeg informatie over hoe u de aanvraag kon doen bij het CIZ? V7 Had u genoeg informatie over hoe lang het zou duren van aanvraag tot indicatiebesluit? V8 Paste de informatie die u kreeg bij uw zorgvraag of de zorgvraag van uw cliënt? V9 Was de schriftelijke informatie van het CIZ (folders, brieven, internet) begrijpelijk voor u? V10 Legde de CIZ medewerker u zaken op een begrijpelijke manier uit? Procedure indicatiestelling V12 Bood het aanvraagformulier voldoende mogelijkheid om de zorgvraag goed aan te geven? V13 Dacht de CIZ medewerker met u mee om de vraag helder te krijgen? V14 Noemde de CIZ medewerker bij de (her)indicatie duidelijk het doel van het gesprek? V15 Was het voor u duidelijk dat familie/mantelzorgers een rol kunnen spelen in de aanvraagprocedure? V16 Hield de CIZ medewerker rekening met de mogelijkheden en grenzen van de mantelzorger? V17 Had u het idee dat de indicatie objectief is gesteld? V20 Vond u dat de indicatieprocedure (telefonisch gesprek, huisbezoek of geen van beide) bij de zorgvraag paste? Procedure proces V18 Was de wachttijd tussen de aanvraag en het indicatiebesluit een probleem voor u/de cliënt? V21 Moest u gegevens geven of invullen die al bekend zijn bij het CIZ? Indicatiebesluit V24 Was voor u/de cliënt duidelijk hoe het CIZ tot dit besluit was gekomen? V25 Was voor u/die cliënt duidelijk wat er na de brief met het indicatiebesluit moest gebeuren om zorg te krijgen? V26Wist u dat u het CIZ kunt bellen voor uitleg over het indicatiebesluit? Bejegening V28 Was de CIZ medewerker beleefd tegen u? V29 Luisterde de CIZ medewerker aandachtig naar u? V30 Had de CIZ medewerker genoeg tijd voor u? V31 Nam de CIZ medewerker u serieus? V32 Leefde de CIZ medewerker zich in uw situatie/de situatie van de cliënt in? Deskundigheid V33 Had de CIZ medewerker voldoende kennis over de ziekte/aandoening van u/de cliënt? V34 Had de CIZ medewerker voldoende kennis over de beperkingen die horen bij de ziekte/aandoening van u/de cliënt? V35 Vroeg de CIZ medewerker door totdat de hulpvraag echt duidelijk was? V36Stond de CIZ medewerker voldoende open voor dingen die u belangrijk vindt in uw leven/de cliënt belangrijk vindt in zijn/haar leven? Bereikbaarheid V37 Was het een probleem om de adresgegevens van het CIZ te vinden? V38 Was het een probleem om het CIZ telefonisch te bereiken? V39 Reageerde het CIZ snel op uw vragen?

α = 0,801 0,786

0,655

0,740

0,662

0,502

0,797

0,78

0,615

0,757

0,767 0,765 α = 0,839

0,594 0,589

0,760 0,763

0,697 0,804

0,569 0,691

0,820 0,801

0,764

0,641

0,812

0,521

0,409

0,845

0,769 0,64

0,651 0,525

0,807 0,827

0,797 α = 0,201

0,678

0,802

0,746 0,746 α = 0,623 0,801

0,113 0,113 0,485

0,444

0,748 0,717 α = 0,920 0,803 0,927 0,875 0,919

0,422 0,396

0,542 0,577

0,703 0,874 0,797 0,864

0,919 0,886 0,902 0,888

0,852 α = 0,910

0,768

0,914

0,917

0,839

0,869

0,918 0,823

0,839 0,703

0,868 0,917

0,895 α = 0,688 0,794 0,843 0,713

0,809

0,88

0,516 0,583 0,425

0,578 0,484 0,687

-

Op grond van deze analyses kunnen we het volgende zeggen: 1. Schaal 1 informatie en communicatie, schaal 2 procedure indicatiestelling, schaal 5 bejegening en schaal 6 deskundigheid hebben een hoge Cronbach’s alpha (range 0,801 – 0,920) en vormen daarmee betrouwbare schalen. 2. Schaal 3 procedure proces vormt geen schaal. De Cronbach’s alpha is veel te laag (0,201) en de factorladingen van de items zijn ook veel te laag (0,113). Deze items kunnen evenwel ‘los’ meegenomen worden in de toekomstige vragenlijst, omdat zij inhoudelijk wel informatie toevoegen.


35

Kiwa Prismant 2012

3. Schaal 4 indicatiebesluit en schaal 7 bereikbaarheid hebben ieder een Cronbach’s alpha van tussen de 0,6 en 0,7. Dit betekent een geringe betrouwbaarheid. In een vervolgtraject moet bekeken worden of deze schalen betrouwbaar genoeg zijn. 4. V26 laadt minder dan 0,4 op de schaal indicatiebesluit. Omdat verwijdering van dit item de Cronbach’s alpha van de schaal niet verhoogt, pleiten we ervoor dit item in de schaal te houden. Toekomstige analyses moeten hierover meer duidelijkheid geven. 5. Wanneer V15 en V35 verwijderd worden uit de betreffende schalen wordt de Cronbach’s alpha van de schalen (iets) hoger. Ter overweging of deze items ‘los’ van de schalen meegenomen moeten worden omdat zij inhoudelijk wel wat toevoegen, of dat zij in zijn geheel verwijderd kunnen worden.

5.5

Samenhang tussen de schalen

In de onderstaande tabel staan de correlaties tussen de gevormde schalen. Dit wordt ook wel de interfactor correlaties genoemd. De correlaties zijn berekend met behulp van Pearsons correlatie. Er is geen vaste regel over de hoogte van de intercorrelaties van de schalen, het geniet de voorkeur dat ze kleiner zijn dan 0,70, en lager dan de Cronbach’s alpha van de schaal. Zodoende kunnen de schalen als onafhankelijk beschouwd worden, ofwel elke schaal meet een unieke dimensie (zie ook Carey en Seibert, 1993). De meeste schalen zijn matig gecorreleerd (Pearsons’ correlatie tussen de 0,00 en 0,646). Schaal 2 correleert hoger dan 0,70 met schaal 1, 5 en 6 en schaal 5 en 6 correleren ook hoger dan 0,70 met elkaar. Dat is op zich wel verklaarbaar omdat deze schalen alle de CIZ-medewerker betreffen. Deze interfactor correlaties zijn alle wel lager dan de Cronbach’s alpha van de betreffende schalen.

Tabel 5.5.1. Samenhang tussen de schalen schaal 1 2 4 5 6 7 8

1 -

2 0,725 -

4 0,511 0,646 -

5 0,514 0,724 0,514 -

6 0,509 0,764 0,543 0,739 -

7 0,581 0,613 0,459 0,621 0,523 -

8 0,296 0,309 0,237 0,340 0,377 0,310 -

Schaal 1 informatie en communicatie Schaal 2 procedure indicatiestelling Schaal 4 indicatiebesluit Schaal 5 bejegening Schaal 6 deskundigheid Schaal 7 bereikbaarheid Schaal 8 regie


36

Kiwa Prismant 2012

5.6

Belangscores

Aan de hand van de belangscores werd duidelijk aan welke items respondenten veel belang hechten en welke items minder belangrijk zijn. Dit is gedaan door het rekenkundig gemiddelde vast te stellen op de vierpuntsschaal (1=niet belangrijk; 2= eigenlijk wel belangrijk; 3=belangrijk; 4=van het allergrootste belang). De volgende tabel geeft de top 10 weer van de items waar respondenten het meest belang aan hechten. Tabel 5.6.1. Top 10 belangrijkste items (hoogste gemiddelde belangscores) Item

23 34 31 32 35 36 33 11 29 25

Vraag

Schaal

Het uit het indicatiebesluit duidelijk is op welke zorg u / de cliënt recht heeft? De CIZ medewerker voldoende kennis heeft over de beperkingen die horen bij de ziekte / aandoening van u / de cliënt? De CIZ medewerker u serieus neemt? De CIZ medewerker zich in uw situatie / de situatie van de cliënt inleeft? De CIZ medewerker doorvraagt totdat de hulpvraag echt duidelijk is? De CIZ medewerker voldoende open staat voor dingen die u belangrijk vindt in uw leven / de cliënt belangrijk vindt in zijn / haar leven? De CIZ medewerker voldoende kennis heeft over de ziekte / aandoening van u / de cliënt? De CIZ medewerker u geen tegenstrijdige informatie geeft? De CIZ medewerker aandachtig naar u luistert? Het voor u duidelijk is wat u moet doen om zorg te krijgen, nadat u de brief met het indicatiebesluit heeft gekregen?

Indicatiebesluit

Belanglangscore 3,52

Deskundigheid

3,48

Bejegening Bejegening

3,45 3,44

Deskundigheid Deskundigheid

3,44 3,43

Deskundigheid

3,41

Informatie en Communicatie Bejegening Indicatiebesluit

3,40 3,40 3,38

Items die te maken hebben met bejegening en deskundigheid worden het belangrijkst gezien. Ook twee items die te maken hebben met het indicatiebesluit en een item met betrekking tot informatie en communicatie krijgen relatief hoge belangscores. Het streven is om items die als meest belangrijk ervaren worden ook in de schalen op te nemen. De hoge score op de belangenlijst is een argument om deze items als item te behouden in de definitieve vragenlijst. Tabel 5.6.2 Top 10 minst belangrijkste items (laagste gemiddelde belangscores) Item

21 15 9 6 37 7 40 28 26 20

Vraag

Schaal

U geen gegevens moet geven of invullen die al bekend zijn bij het CIZ? Het duidelijk is dat familie/mantelzorgers een rol kunnen spelen in de aanvraagprocedure? De schriftelijke informatie van het CIZ (folders, brieven, internet, begrijpelijk is voor u? U voldoende informatie heeft over hoe u de aanvraag kunt doen? De adresgegevens van het CIZ gemakkelijk te vinden zijn? Informatie heeft over hoe lang het duurt van aanvraag tot indicatiebesluit? Het CIZ samen met u en/of de cliënt de afspraken voor indicatiestelling plant? De CIZ medewerker beleefd tegen u is U weet dat het CIZ kunt bellen voor uitleg over het indicatiebesluit? De indicatieprocedure (telefonisch gesprek, huisbezoek of geen van beide) past bij de zorgvraag?

Procedure

Belanglangscore 3,03

Procedure

3,03

Informatie en Communicatie

3,04

Informatie en Communicatie Bereikbaarheid Informatie en Communicatie

3,09 3,09 3,10

Regie

3,17

Bejegening Indicatiebesluit Procedure

3,18 3,18 3,20

Items met betrekking tot de procedure, communicatie en informatie, bereikbaarheid en regie worden het minst belangrijk gevonden. Items met een relatief lage score kunnen eventueel in de nieuwe versie van de vragenlijst niet opgenomen worden. De volledige lijst met belangscores is opgenomen in bijlage 6.


37

Kiwa Prismant 2012


38

Kiwa Prismant 2012

6 Resultaten van de test op het discriminerend vermogen In dit hoofdstuk beschrijven we de test op het discriminerend vermogen van de CQI Indicatiestelling AWBZ. Met de analyses die we hiervoor uitvoeren kunnen we vaststellen of de ontwikkelde vragenlijst verschillen kan aantonen tussen de CIZ-units (regio’s). Achtereenvolgens beschrijven we: - of er verschillen zijn in de ervaringen van zorgaanvragers met het CIZ die te maken hebben met specifieke kenmerken van die zorgaanvragers. Bijvoorbeeld: antwoorden mannen anders dan vrouwen, jongeren anders dan ouderen, etc. - op basis van de gevonden verschillen stellen we vast op welke specifieke kenmerken we moeten corrigeren om een zuivere vergelijking tussen CIZ-units (regio’s) mogelijk te maken; - vervolgens bepalen we welke significante verschillen er bestaan tussen de CIZunits, voor en na correctie op de vastgestelde kenmerken; - ten slotte stellen we vast hoeveel respondenten per unit nodig zijn om verschillen tussen de units aan te tonen (poweranalyse). Alvorens we de genoemde thema’s bespreken is het volgende van belang. Het CIZ bestaat uit 10 units, die alle werken vanuit vaste richtlijnen en procedures. Het streven is om in alle units te komen tot een objectieve indicatiestelling volgens landelijke uniforme richtlijnen. Elke CIZ-unit streeft ernaar de indicatiestelling zo goed mogelijk te doen binnen de gestelde kaders. Dit betekent dat zij meer gericht zijn op het benutten van de mogelijkheden binnen de gestelde kaders dan op het zich onderscheiden van andere CIZ-units. Daarnaast is belangrijk om vast te stellen dat gemeten verschillen tussen CIZ-units anders gebruikt zullen worden dan bijvoorbeeld bij ziekenhuizen, zorgverzekeraars, etc. Zorgaanvragers hebben namelijk geen vrije keuze om bij een willekeurige CIZ-unit zorg aan te vragen. Het simpele feit waar iemand woont bepaalt waar hij of zij de indicatie moet aanvragen. De resultaten van de CQI leiden dus niet tot keuze-informatie voor zorgaanvragers. De hier geschetste achtergrondinformatie is van belang bij de keuzes die we in deze fase van het ontwikkeltraject maken.

6.1

Verschillen tussen respondenten

Om te bepalen of er verschillen zijn tussen de respondenten, en om hierop eventueel te kunnen corrigeren, voeren we analyses uit op de schaalscores en op algemene waardering (cijfer). Doel van de analyses is om te komen tot een eerlijke vergelijking van de resultaten van de CIZ-units waarbij factoren die eerder te maken hebben met kenmerken van de specifieke respondentengroepen worden uitgesloten. We voeren OneWay ANOVA’s uit op de schaalscores. Dit is niet mogelijk voor de ‘schaal’ Regie, die bestaat uit een enkel dichotoom item. Omdat we enkel toetsen op de samenhang met de specifieke achtergrondkenmerken en er geen informatie nodig is over mate van en richting van het verband, volstaan we hier met een C2 toets. Uit de literatuur is bekend dat persoonskenmerken zoals leeftijd, ervaren gezondheid en opleiding van invloed zijn op de ervaringen van zorggebruikers. Lager opleiden, ouderen en gezonde mensen zijn positiever over hun ervaringen met zorg (oa. Hekkert, 2009). De invloed van geslacht en etniciteit is niet uniform. De genoemde kenmerken zijn getoetst op hun invloed op de ervaring van zorgaanvragers bij de indicatiestelling door het CIZ. De resultaten daarvan zijn opgenomen in tabel 6.1.


39

Kiwa Prismant 2012

Daarnaast is ook beoordeeld of nog andere kenmerken in aanmerking komen als casemixadjusters. Factoren die van invloed lijken te zijn op de ervaringen van zorgaanvragers, zoals het indicatiebesluit (positief of negatief) of de gevolgde procedure (direct, verkort, standaard en uitgebreid) komen niet in aanmerking om als casemix-adjusters op te nemen, aangezien het CIZ hierop zelf invloed kan uitoefenen (Zaslavsky, 1998). De grondslag, op basis waarvan zorgaanvragers een indicatie krijgen, blijkt eveneens van invloed op de ervaringen van de zorgaanvragers, en dit kenmerk is relatief onafhankelijk van de indicatiestellers. In onderstaande tabellen 6.1 en 6.2 staan de resultaten van de analyses samengevat. Hierbij is steeds getoetst op het enkelvoudige effect van het betreffende kenmerk. Tabel 6.1 Resultaten van de toets op het enkelvoudig effect van respondentkenmerken: F (df) 2 of C en p-waarde Geslacht F (df=1)

info/comm N=660

procedure N=474

indbesluit N=602

bejegening N=444

desk N=441

bereik N=500

regie N=632

cijfer N=670

0,04

0,00

0,03

0,92

1,46

0,53

C2=0,61

0,97

P waarde

0,848

0,973

0,875

0,337

0,228

0,468

0,460

0,326

Leeftijd

N=657 2,30

N=472 2,29

N=594

N=439 3,15

N=498

N=627

2,05

N=442 2,31

0,90

C =31,54

N=663 3,19

0,03* N= 604 2,44

0,04* N=436 0,38

0,06 N=548 0,64

0,03* N=407 5,34

0,01* N=405 3,70

0,49 N=454 1,90

<0,001** N=570

0,088 N=661 3,48

0,688 N=475 1,77

0,528 N=600 1,08

0,005* N=445 1,34

0,026* N=442 0,50

0,151 N=500 0,44

F (df=1)

0,008* N=636 0,09

0,135 N= 455 1,13

0,367 N=579 0,06

0,253 N=415 0,44

0,735 N=413 1,89

0,780 N=468 0,09

C =3,65

0,149 N=629 0,89

P waarde

0,774

0,287

0,809

0,506

0,170

0,767

0,060

0,345

F (df=6) P waarde Opleiding F (df=2) P waarde Gezondheid F (df=4) P waarde Etniciteit

2

2

C =4,86 0,008* N=633 2

C 4,79 0,309 N=596 2

0,004* N=602 3,17 0,043* N=670 1,70

* sig< 0,05; ** sig< 0,001

In tabel 6.1 staat samengevat of de persoonskenmerken ‘geslacht’, ‘leeftijd’, ‘opleiding’, ‘gezondheid’ en ‘etniciteit’ van invloed zijn op de ervaringen van zorgaanvragers. Een pwaarde < 0,05 of < 0,001 (vetgedrukt) betekent dat het betreffende persoonskenmerk van invloed is op de betreffende schaal. In de eerste kolom waarin de resultaten staan beschreven voor de schaal Informatie en Communicatie, is te zien dat leeftijd (p=0,03) en gezondheid (p=0,008) een (significant) effect hebben op de ervaringen van zorgaanvragers. Geslacht, opleiding en etniciteit zijn niet van invloed op de ervaringen van zorgvragers op het terrein van Informatie en Communicatie. Over alle schalen bekeken blijkt dat het persoonskenmerk geslacht geen invloed heeft op de ervaringen met het CIZ, evenals etniciteit. Leeftijdsgroep heeft invloed op vijf van de zeven schalen, opleiding op drie van de zeven. Ervaren gezondheid heeft uitsluitend invloed op de schaal Informatie en Communicatie. In tabel 6.2 staan de groepsverschillen en statistische parameters gepresenteerd voor de grondslag, op basis waarvan cliënten een indicatie toegewezen krijgen.


40

Kiwa Prismant 2012

2

Tabel 6.2 Resultaten van de toets op het enkelvoudig effect van grondslag: F (df) of C en pwaarde F (df=5)

2,19

procedure N=476 2,44

P waarde

0,054

0,034*

Grondslag

Info/comm N=668

indbesluit N=607

desk N=431 4,55

bereik N=487

regie N=616

0,94

bejegening N=435 2,52

0,36

C =28,73

1,91

0,456

0,029*

<0,001**

0,879

<0,001**

0,091

2

cijfer N=652

* sig <0,05; ** sig< 0,001

Uit de blijkt dat grondslag van invloed is op de schalen Procedure, Bejegening, Deskundigheid en Regie. De variabelen opleiding, leeftijd, gezondheid en grondslag zullen als casemix-adjusters meegenomen worden.

6.2

Testen van het discriminerend vermogen: covariantie-analyse

Met behulp van een (co)variantie-analyse is nagegaan of het meetinstrument verschillen kan aantonen tussen de ervaringen van zorgaanvragers die een indicatie hebben aangevraagd bij verschillende CIZ-units en of de ervaringen van de zorgaanvragers na correctie van bovenstaande achtergrondkenmerken ook nog verschillen laten zien. Gebruikelijk binnen CQI ontwikkeltrajecten is om het discriminerend vermogen te testen door middel van multilevel-analyses. Achtergrond hiervan is dat waarnemingen vanuit een zelfde analyse-eenheid niet onafhankelijk van elkaar zijn. Er is een hiërarchische datastructuur met twee niveaus. In het geval van de CQI Indicatiestelling AWBZ zijn dit de respondenten (zorgaanvragers) en de CIZ-units. Voor het uitvoeren van multilevel-analyses gelden echter enkele voorwaarden. Zo wordt in het Handboek CQI Meetinstrumenten een wenselijk minimum aantal analyse-eenheden gesteld van 20 (Sixma, e.a., 2008)). Snijders en Bosker (2012) hanteren in hun boek over multilevel-analyse als vuistregel een minimum van 10 analyse-eenheden. Bij minder dan 10 analyse-eenheden raden zij aan te kiezen voor covariantieanalyses. Bij minder dan 20 analyse-eenheden zijn de resultaten met Multilevel analyse niet betrouwbaar, zo stellen zij. Ook bij 10-20 analyse-eenheden noemen zij de situatie twijfelachtig voor het gebruik van random effects-modellen zoals multilevel-analyses. Bij de Indicatiestelling door het CIZ is het aantal analyse-eenheden tien, namelijk de 10 CIZ-units. Deze worden niet verder onderverdeeld in kleinere afdelingen of eenheden. In overleg met het CKZ, naar aanleiding van opmerkingen van de WAR over dit geringe aantal analyse-eenheden, is besloten tot het gebruik van covariantie-analyses (fixed effects- modellen) voor het vaststellen van het discriminerend vermogen. De resultaten van deze analyses worden hieronder toegelicht. Bij de (co)variantieanalyses zijn twee modellen met elkaar vergeleken:  Model 0: het ongecorrigeerde model, waarbij gekeken is naar verschillen tussen de verschillende CIZ-units, zonder te corrigeren voor de casemix-adjusters. In dit model wordt dus geen rekening gehouden met de eerder genoemde kenmerken van zorgaanvragers.  Model A: hierbij is gecorrigeerd voor de respondentkenmerken: leeftijd, opleiding, ervaren gezondheid en grondslag.


41

Kiwa Prismant 2012

4

Tabel 6.3 Resultaten van de covariantieanalyses en hierop gebaseerde ICC’s (n=388-681), gebaseerd op de ervaringen van zorgvragers met de indicatiestelling AWBZ bij 10 CIZ-units Model 0 F

p

Model A F

ICC

Informatie&communicatie procedure indicatiestelling indicatiebesluit

1,336 1,903 1,094

0,215 0,050*

bejegening

0,908

deskundigheid bereikbaarheid regie rapportcijfer

1,327 0,515 2,148 1,382

p

ICC

0,365

0,49% 1,84% 0,15%

1,012 1,792 1,084

0,429 0,068 0,373

0,02% 1,90% 0,16%

0,518

0%

0,904

0,522

0%

0,220 0,864 0,024* 0,192

0,74% 0% 1,80% 0,57%

1,699 0,560 1,689 1,440

0,088 0,830 0,089 0,168

1,78% 0% 1,25% 0,76%

* sig <0,05; ** sig< 0,001

In de kolommen met de ICC’s is te zien dat de grootste verschillen tussen de CIZ-units zijn te vinden op de schalen regie, procedure indicatiestelling en deskundigheid. Ongecorrigeerd is 1,84% van de variantie in de scores op procedure indicatiestelling toe te schrijven aan verschillen tussen de CIZ-units. Voor de schaal regie is dat 1,8%. Bij indicatiebesluit, bejegening en bereikbaarheid verschillen de CIZ-units nauwelijks van elkaar. Dat blijft ook zo na correctie. De verschillen tussen de CIZ-units zijn niet significant behalve bij de procedure indicatiestelling en regie in het ongecorrigeerde model. Het geringe aantal significante verschillen kan betekenen dat er daadwerkelijk weinig verschillen zijn tussen de CIZ-units, maar kan ook wijzen op te weinig power, een te gering aantal respondenten per unit. De invloed van de casemix-adjusters is te zien door het ongecorrigeerde model 0 te vergelijken met model A, waar is gecorrigeerd voor leeftijd, opleiding, gezondheid en grondslag. Te zien is dat de ICC’s door de correctie bij een deel van de schalen zijn veranderd. Na correctie verschillen de CIZ-units niet meer ten aanzien van de ervaringen van zorgvragers met informatie en communicatie en regie. Samenvattend kunnen we stellen dat de CIZ-units slechts weinig van elkaar verschillen in de scores van zorgvragers op de gemeten onderwerpen. Ook worden de verschillen slechts voor een klein deel bepaald door verschillen in de respondentenkenmerken per CIZ-unit. Echter, omdat de ICC’s op een deel van de schalen wel degelijk veranderen na correctie, blijft het belangrijk om te corrigeren voor de respondentkenmerken leeftijd, opleiding, gezondheid en grondslag, om zo een zo zuiver mogelijke vergelijking tussen CIZ-units mogelijk te maken.

4

De ICC’s zijn berekend volgens de formule ‘ICC= (F-1)/(F+ň-1)’ volgens Snijders en Bosker (2012).


42

Kiwa Prismant 2012

6.3

Aantal respondenten nodig voor het bepalen van verschillen

Om te bepalen hoeveel respondenten per CIZ-regio de vragenlijst moeten invullen om de CIZ-regio’s met elkaar te kunnen vergelijken en significante verschillen van een bepaalde omvang te kunnen aantonen, zijn poweranalyses uitgevoerd. In de onderzoeksliteratuur wordt een power van minimaal tachtig procent als wenselijk gezien. Een power van tachtig procent betekent een kans van tachtig procent om bij de vergelijking van twee CIZ-units een significant verschil te krijgen (2-zijdig getoetst met een Ttoets (α = .05)), uitgaande van een kleinste, nog relevant geacht verschil dat men zou willen aantonen en varianties in de units zoals in dit onderzoek is aangetroffen. Onderstaande tabel laat zien hoeveel vragenlijsten nodig zijn om een verschil van 0,2 punten of 0,3 punten op de gemiddelde schaalscores (4-puntsschaal, voor regie 2 puntsschaal) aan te kunnen tonen5. Omdat bij een volgende meting de situatie nooit honderd procent vergelijkbaar is, en bijvoorbeeld ook de varianties van de verschillende groepen niet exact hetzelfde zullen zijn, zijn de gevonden waarden voor N indicatief. Tabel 6.4 Indicatie van het benodigde aantal respondenten per CIZ-unit om een power van tachtig procent te bereiken.

Informatie en communicatie Procedure Indicatiestelling Indicatiebesluit Bejegening Deskundigheid Bereikbaarheid Regie Waardering (cijfer)

gepoolde variantie 0,50 0,46 0,55 0,40 0,66 0,46 0,24 2,49

Schaalverschil 0,2 en algemene waardering 0,5 197 180 214 158 258 178 94 156

Schaalverschil 0,3 en algemene waardering 1 87 80 95 70 115 79 42 39

In tabel 6.4 zien we een indicatie voor het aantal respondenten dat nodig is om een bepaald verschil in schaalscore aan te kunnen tonen. In de verschillende aantallen zien we de omvang van de gepoolde binnengroepsvariantie terug. Als we uitgaan van de kolom die aangeeft welke aantallen nodig zijn om een schaalverschil van 0,3 aan te tonen, dan lijkt een aantal van minstens 120 vragenlijsten per CIZ-unit aan te bevelen om de ervaringen van de zorgaanvragers goed te kunnen evalueren en eventuele verschillen tussen CIZ-units te kunnen aantonen. Als we dit relateren aan de respons van de verschillende CIZ-units in dit onderzoek dan kunnen we vaststellen dat het aantal respondenten per unit te klein is om de genoemde verschillen te kunnen aantonen. Voor toekomstig onderzoek betekent het, dat bij een gelijkblijvende procedure rond steekproeftrekking en verzending, minstens duizend mensen per CIZ-unit een vooraankondiging zullen moeten ontvangen voor deelname. Dit aantal geldt op basis van de minimum respons bij de units (twaalf procent), op basis van het oorspronkelijke aantal verzonden vooraankondigingen). Mogelijkheden om de respons te verhogen door veranderingen in de procedure van steekproeftrekking en verzending zijn aan te bevelen. Hierbij kan gedacht worden aan een kortere tijdspanne tussen indicatiebesluit en ontvangst van de vragenlijst, en een andere procedure rond de vooraankondiging voor het onderzoek. 5

Voor de berekening is gebruik gemaakt van de formule N=variantie*2*(kleinste nog relevant geachte -2 verschil/2,8) . Voor de variantie is gebruik gemaakt van de gepoolde variantie na casemixcorrectie. De formule is afkomstig uit het handboek CQI maar is aangepast voor een power van 80%.


43

Kiwa Prismant 2012

6.4

Indeling van de CIZ-units in drie groepen

Op basis van de hiervoor beschreven resultaten is het niet mogelijk de CIZ-units in te delen in groepen op basis van hun gemiddelden en eventuele significante verschillen. Deze verschillen zijn immers niet of nauwelijks aangetoond in dit onderzoek. Voor het ontbreken van significante verschillen kunnen verschillende verklaringen zijn. Ten eerste kan het zo zijn dat er daadwerkelijk weinig verschillen zijn tussen de CIZ-units. De CIZ-units werken immers alle volgens dezelfde richtlijnen en beleidsregels. Het streven is hierbij gericht op objectiviteit en uniformiteit. Daarnaast kan een gebrek aan power (zie paragraaf 6.3) een verklaring vormen voor het ontbreken van significante verschillen. In onderstaande tabel is te zien dat wel degelijk relevante verschillen bestaan tussen CIZ-units. Bij een grotere n zijn deze verschillen mogelijk wel significant. Tabel 6.5 Overzicht schaalgemiddelden

Unit a Unit b Unit c Unit d Unit e Unit f Unit g Unit h Unit i Unit j

infocomm 3,04 2,95 2,90 3,02 3,16 3,08 2,97 2,99 3,16 3,22

procedure 3,27 3,22 3,14 3,23 3,45 3,48 3,19 3,12 3,27 3,47

besluit


3,50 3,45 3,39 3,38 3,68 3,56 3,45 3,44 3,54 3,68

bejegening 3,71 3,55 3,52 3,52 3,58 3,75 3,60 3,44 3,60 3,64

deskundigheid 3,25 3,06 3,03 3,22 3,11 3,38 3,11 2,88 3,26 3,33

44

bereikbaarheid 3,39 3,36 3,39 3,46 3,35 3,42 3,49 3,41 3,56 3,55

regie (proportie) 0,31 0,41 0,59 0,49 0,44 0,59 0,46 0,42 0,56 0,40

rapportcijfer 7,23 7,09 6,95 7,09 7,39 7,27 7,40 7,53 7,43 7,71

Kiwa Prismant 2012

7 Ervaringen van zorgaanvragers met de indicatiestelling voor de AWBZ In dit hoofdstuk beschrijven we in het kort de ervaringen van zorgaanvragers met de indicatiestelling voor de AWBZ, zoals die uit dit onderzoek naar voren zijn gekomen. We doen dit voor het CIZ als geheel. Voor de resultaten naar unitniveau verwijzen we naar de CIZpublicatie over de resultaten6. Eerst wordt ingegaan op de ervaringen van zorgaanvragers met verschillende aspecten van de indicatiestelling (paragraaf 7.1) en de waardering die zij daaraan geven (7.2). Daarna gaan we kort in op de verbeterscores die inzicht geven in de aspecten van de indicatiestelling die het meest urgent lijken om te verbeteren.

7.1

Ervaringsscores op schaalniveau

De scores op de schalen die als resultaat van het vorige hoofdstuk zijn geconstrueerd geven een beeld van de positieve en negatieve ervaringen van de zorgaanvragers met de verschillende aspecten van de indicatiestelling. In onderstaande figuur is dit gepresenteerd. Figuur 7.1 Samenvattende resultaten op schaalniveau voor het CIZ als totaal 60

40

20

0

20

40

60

80

100

74

Informatie en communicatie 26 83

Procedure indcatiestelling 17 83

Indicatiebesluit 17 90

Bejegening 10 78

Deskundigheid CIZ-medewerker 22 80

Bereikbaarheid 20 48

Regie/keuzemogelijkheid 52

% positieve antwoorden CIZ totaal % negatieve antwoorden CIZ totaal

6

Bloemendaal, I. e.a. Ervaringen van zorgvragers met de indicatiestelling door het CIZ, CIZ, Driebergen, 2012.


45

Kiwa Prismant 2012

Uit de figuur blijkt dat clienten van het CIZ de meeste positieve ervaringen hebben met de bejegening door de CIZ-medewerker. De laagste score is gehaald bij regie/keuzemogelijkheid. Dit is een ‘schaal’ die bestaat uit één item:52% van alle afspraken voor indicatiestelling werd niet in overleg met de client gemaakt.

7.2

Algemene waardering door zorgaanvragers

In de vragenlijst werd aan de zorgaanvragers de vraag gesteld ‘Welk cijfer geeft u het CIZ? Een 0 betekent heel erg slecht en een 10 betekent uitstekend’. Respondenten gaven gemiddeld een 7,3 waarbij er verschillen waren in waardering tussen verschillende subgroepen. De waarderingscjfers voor de 10 CIZ-units variëren tussen 6,9 en 7,7. De verschillen in tevredenheid tussen verschillende subgroepen zijn op significantie getoetst met behulp van een ANOVA-variantieanalyse. De gemiddelde rapportcijfers van de subgroepen binnen het oordeel over het indicatiebesluit (positief, meer positief dan negatief, meer negatief dan positief, negatief) blijken significant van elkaar te verschillen (p= 0.05). Daarbij worden de hoogste rapportcijfers gegeven door respondenten die een positief oordeel over het indicatiebesluit hadden (7,8). Ook is een significant verschil gevonden bij de gevolgde procedure (direct, verkort, standaard, uitgebreid). Hierbij zien we dat zorgvragers die de directe of standaard procedure volgden het hoogste cijfer gaven, respectievelijk 7,7 en 8,0. Vrouwen en mannen verschilden niet significant in hun rapportcijfers. We zien ook geen significante verschillen tussen de groepen op leeftijd, gezondheidstoestand en opleiding. Ook bij andere subgroepen zijn geen significante verschillen gevonden.

7.3

Verbeterpunten en hun urgentie

In tabel 7.1 staat een overzicht van de 10 vragen uit de vragenlijst, waar de urgentie om te komen tot verbeteringen het hoogst is. Deze urgentie is berekend door het aandeel van de respondenten dat minder positieve ervaringen had te vermenigvuldigen met het belang dat respondenten hechten aan dit aspect. In de eerste kolom staat de kwaliteitsdimensie waar het betreffende item deel van uitmaakt.

Wat opvalt is dat de minder positieve ervaringen vooral gaan over proces en verwachtingen van het proces. Vragen met de meeste positieve antwoorden, zogenaamde ‘trotspunten’ (% positieve antwoorden) waren de volgende.:  Had de CIZ-medewerker genoeg tijd voor u? (92%)  Was de CIZ-medewerker beleefd tegen u? (92%)  Nam de CIZ-medewerker u serieus? (91%)  Was uit het indicatiebesluit duidelijk op welke zorg u / de cliënt recht had? (91%)  Luisterde de CIZ-medewerker aandachtig naar u? (91%)  Gaf de CIZ-medewerker u tegenstrijdige informatie? (91%) Deze positieve ervaringen gaan vooral over de bejegening door de CIZ-medewerker en de inhoud van het indicatiebesluit.


46

Kiwa Prismant 2012

Tabel 7.1 Verbeterurgentie van de verschillende onderwerpen uit de vragenlijst.

Kwaliteits dimensie Regie Informatie en Communicatie Procedure Informatie en Communicatie

Procedure

Procedure Bereikbaarheid

Deskundigheid Deskundigheid

Procedure

item V40 Plande het CIZ samen met u en/of cliënt de afspraken voor indicatiestelling? V7 Had u genoeg informatie over hoe lang het zou duren van aanvraag tot indicatiebesluit? V21 Moest u gegevens geven of invullen die al bekend zijn bij het CIZ? V6 Had u genoeg informatie over hoe u de aanvraag kon doen bij het CIZ? V18 Was de wachttijd tussen de aanvraag en het indicatiebesluit een probleem voor u/de client? V16 Hield de CIZ medewerker rekening met de mogelijkheden en grenzen van de mantelzorger? V38 Was het een probleem om het CIZ telefonisch te bereiken? V34 Had de CIZ medewerker voldoende kennis over de beperkingen die horen bij de ziekte/aandoening van u/de cliënt? V33 Had de CIZ medewerker voldoende kennis over de ziekte/aandoening van u/de cliënt? V20 Vond u dat de indicatieprocedure (telefonisch gesprek, huisbezoek of geen van beide) bij de zorgvraag paste?


47

%minder positief

belang

urgentie

52%

3,17

1,65

41%

3,1

1,26

37%

3,03

1,12

32%

3,09

1,00

29%

3,28

0,95

29%

3,26

0,93

26%

3,21

0,82

24%

3,48

0,82

23%

3,41

0,78

24%

3,2

0,75

Kiwa Prismant 2012


48

Kiwa Prismant 2012

8 De nieuwe CQI Indicatiestelling AWBZ In dit hoofdstuk komen de overwegingen aan de orde ter optimalisering van de CQ CIZ. De pilotfase heeft onder andere geresulteerd in een overzicht van de items die gehandhaafd moeten worden en de items die eventueel kunnen komen te vervallen, op basis van de statistische analyses. Het ging er om de items te selecteren die zinvolle informatie opleveren over de dienstverlening van het CIZ vanuit het perspectief van de cliënt. In paragraaf 8.1 benoemen we eerst de verschillende soorten argumenten voor het handhaven, laten vervallen of aanpassen van items. Vervolgens wordt in paragraaf 8.2 per onderdeel van de vragenlijst een overzicht gegeven van de overwegingen die hierbij een rol hebben gespeeld. Dit hoofdstuk wordt in de definitieve versie van het rapport nog aangepast naar aanleiding van de opmerkingen van de werkgroep CIZ. De overwegingen en afspraken over de aanpassing van de vragenlijst zijn al besproken met de begeleidingsgroep en zijn opgenomen in de tabellen in paragraaf 8.2.

8.1

Argumenten voor het verwijderen of handhaven van items

Hier komen de overwegingen aan de orde die een rol hebben gespeeld bij de keuzes die zijn gemaakt om te komen tot een nieuwe verbeterde CQI indicatiestelling AWBZ. Bij die keuzes kan het gaan om het handhaven dan wel laten vervallen van een item, maar ook om het herformuleren van een vraag of wijzigen van de antwoordcategorieën. De basis voor deze overwegingen vormt de analyses in de voorgaande hoofdstukken en de inhoudelijke discussies die zijn gevoerd in twee bijeenkomsten van de begeleidingsgroep. De volgende overwegingen komen aan de orde: 1. De respons/non-respons en scheefheid: een hoge non-respons (>10% missende waarden op het item) en extreem scheef verdeelde items (>90% van de antwoorden in één categorie) kunnen redenen zijn om het item niet op te nemen in de nieuwe versie van de vragenlijst. 2. De factoranalyses en betrouwbaarheidsanalyses: een te lage factorlading (<0,40), items die niet bijdragen aan een betrouwbare schaal (ITC<0,40), items die een sterke onderlinge correlatie hebben (inter-itemcorrelatie >0,70). Verder is de schaalbaarheid van de items van belang. Dat betekent dat een item dat tot een schaal behoort volgens de factoranalyse en betrouwbaarheidsanalyse in de vragenlijst blijft, tenzij de betrouwbaarheid van de schaal verhoogd wordt of niet substantieel afneemt als het item verwijderd wordt uit de schaal. 3. De uitkomsten van de ervaringen en de belangenvragenlijst: De ervaringenlijst leert dat wanneer respondenten allemaal dezelfde ervaringen hebben (blijkt uit een hele kleine standaarddeviatie), dan is het maar de vraag of de vraag interessant genoeg is om te handhaven in de vragenlijst. De resultaten van de belangscores leveren ook belangrijke informatie of een item al dan niet in de vragenlijst opgenomen blijft. Overigens moet hierbij opgemerkt worden dat alle belangscores boven de 3 uitkomen, dat wil zeggen dat cliënten dit een belangrijk item vinden. 4. De uitkomsten uit de covariantie-analyses, waarbij gekeken is naar het discriminerend vermogen van de vragenlijst bij de vergelijking van de verschillende CIZ-units. 5. Kwalitatieve informatie die voortkwam uit de discussies in de begeleidingsgroep en inhoudelijk deskundigen. Geraadpleegde experts en inhoudsdeskundigen hebben een belangrijke stem om een item te handhaven, herformuleren of te laten vervallen.


49

Kiwa Prismant 2012

8.2

Overzicht van de resultaten per onderdeel van de vragenlijst.

In dit overzicht wordt per onderdeel van de originele CIZ-vragenlijst aangegeven of en wat er met de items van dat onderdeel zou kunnen gebeuren in een volgende, aangepaste versie. We geven aan of een item gehandhaafd moet worden, of de formulering aangepast moet worden of dat er verdere bijzonderheden zijn. Waar de belangscores staan vermeld kan deze extra input leveren voor de discussie. Bij de belangscores is het overigens goed om vast te stellen dat de belangscores varieerden tussen de 3,03 en de 3,52 (op een vier puntsschaal ‘niet belangrijk’, ‘eigenlijk wel belangrijk’, ‘belangrijk’ en ‘van het allergrootste belang’). Mogelijke verklaring voor deze relatief kleine bandbreedte is het feit dat al in een eerdere fase items met een minder belang zijn uitgesloten van opname in de testvragenlijst. In de begeleidingsgroep is daarom besloten om geen items te schrappen uitsluitend omdat zij relatief het minst belangrijk worden geacht door de zorgaanvragers. Tabel 8.2.1. ‘vraag vooraf’ Item V1. Heeft u voor uzelf of voor iemand anders in de afgelopen 12 maanden een indicatie aangevraagd bij het CIZ?

bijzonderheden Veel negatieve antwoorden en mv/weet niet.

Handhaven? Nee, verwijderen vraag (voorwaarde: geen fouten in databestand), stellende inleiding (‘bij ons is bekend dat voor u / de client een indicatie is aangevraagd in de afgelopen 12 maanden”) dan V2

Aanpassen formulering?

item V2. Wie bent u?

bijzonderheden Relevante achtergrondinfo

Handhaven? Ja

Aanpassen formulering? Nee

V3. Hoe heeft u de laatste indicatieaanvraag bij het CIZ gedaan? V4. Was het de eerste aanvraag voor u bij het CIZ? V5. Waardoor bent u op het idee gekomen een aanvraag te doen bij het CIZ?

Relevante achtergrondinfo

Ja

Nee

Relevante achtergrondinfo

Ja

Nee

Geen

Ja

Ja, antwoordcategorie toevoegen

Tabel 8.2.2. ‘Aanvraag’

abel 8.2.3. ‘Informatie en Communicatie’ item V6. Had u genoeg info over hoe u de aanvraag bij het CIZ kon doen?

bijzonderheden Schaal info en comm Belangscore 3,09, top 10 minst belangrijk

Handhaven? Ja Maakt deel uit van schaal ‘Informatie en Communicatie’


V7. Had u genoeg informatie over hoe lang het zou duren van aanvraag tot indicatiebesluit? V8. Paste de informatie die u kreeg bij uw zorgvraag of de zorgvraag van uw client?

Schaal info en comm Belangscore 3,10 top 10 minst belangrijk

Ja Maakt deel uit van schaal ‘Informatie en Communicatie’ Ja Maakt deel uit van schaal ‘Informatie en Communicatie’

Nee

V9. Was de schriftelijke

Schaal info en comm

Ja

Nee

Schaal info en comm


50

Nee

Kiwa Prismant 2012

informatie van het CIZ (folders, brieven, internet) begrijpelijk voor u? V10. Legde de CIZ medewerker u zaken op een begrijpelijke manier uit?

Belangscore 3,04 top 10 minst belangrijk

V11. Gaf de CIZ medewerker u tegenstrijdige informatie?

Schaal info en comm, maar lage factorlading (<0,40) en alpha hoger als item deleted; top 10 meest belangrijk

Maakt deel uit van schaal ‘Informatie en Communicatie’ Ja Maakt deel uit van schaal ‘Informatie en Communicatie’ Ja Handhaven ivm belang als los item op advies begeleidingsgroep

Schaal info en comm

Nee

Nee

Tabel 8.2.4. ‘Procedure indicatiestelling’ item V12. Bood het aanvraagformulier voldoende mogelijkheid om de zorgvraag goed aan te geven? V13. Dacht de CIZ medewerker met u mee om de vraag helder te krijgen? V14. Noemde de CIZ medewerker bij de (her)indicatie duidelijk het doel van het gesprek? V15. Was het voor u duidelijk dat familie/mantelzorgers een rol kunnen spelen in de aanvraagprocedure? V16. Hield de CIZ medewerker rekening met de mogelijkheden en grenzen van de mantelzorger? V17. Had u het idee dat de indicatie objectief is gesteld?

V18. Was de wachttijd tussen de aanvraag en het indicatiebesluit een probleem voor u/de cliënt? V19. Hoe is het indicatiegesprek gevoerd? V20. Vond u dat de indicatieprocedure (telefonisch gesprek, huisbezoek of geen van beide) bij de zorgvraag paste?

V21. Moest u gegevens geven of invullen die al bekend zijn bij het CIZ?

bijzonderheden Schaal proc indic

Handhaven? Ja Maakt deel uit van schaal ‘Procedure indicatiestelling’


Schaal proc indic

Ja Maakt deel uit van schaal ‘Procedure indicatiestelling’ Ja Maakt deel uit van schaal ‘Procedure indicatiestelling’

Nee

Schaal proc indic, maar alpha (iets) hoger als item deleted Belangscore 3,04 top 10 minst belangrijk Schaal proc indic

Ja, Maakt deel uit van schaal ‘Procedure indicatiestelling’

Ja, herformuleren ’helpen/meedoen’

Ja, Maakt deel uit van schaal ‘Procedure indicatiestelling’

Nee

Schaal proc indic

Ja, Twijfel blijft over begrijpelijkheid, maar dat blijkt niet uit aantal MV. Voorlopig handhaven. Ja, op verzoek van begeleidingscommissie handhaven als los item, Doortesten

Nee

Ja

Nee

Ja

Ja, vereenvoudigen: Vond u dit passend bij uw zorgvraag? Plus: eigen (extra) vraag toevoegen eind vragenlijst* Ja, toevoegen antwoordcategorie

Schaal proc indic

Zelfstandig item, past niet in een schaal: lage factorlading (<0,40) en alpha hoger als item deleted Belangscore 3,28 Relevante achtergrondinformatie Schaal proc indic, 10,7% mv, Belangscore 3,20 top 10 minst belangrijk lage factorlading (<0,40) en alpha hoger als item deleted: los item, past niet in een schaal top 10 minst belangrijk

Ja, doortesten

Nee

Nee

*om meer informatie uit de vraag te halen: als aanvulling bij V20 op het eind van de vragenlijst: Vond u de vorm van contact met het CIZ passen bij de zorgvraag?    

Nee, ik had liever telefonisch contact willen hebben Nee, ik had liever huisbezoek willen hebben Nee, ik had liever geen contact willen hebben Ja, ik vond de vorm van contact passend


51

Kiwa Prismant 2012

Tabel 8.2.5. ‘Indicatiebesluit’ item V22. Heeft u/de cliënt het indicatiebesluit ontvangen? V23. Was uit het indicatiebesluit duidelijk op welke zorg u/de cliënt recht op had? V24. Was voor u/de cliënt duidelijk hoe het CIZ tot dit besluit was gekomen? V25. Was voor u/die cliënt duidelijk wat er na de brief met het indicatiebesluit moest gebeuren om zorg te krijgen? V26. Wist u dat u het CIZ kunt bellen voor uitleg over het indicatiebesluit? V27. Hoe beoordeelt u/de cliënt het indicatiebesluit?

bijzonderheden Noodzakelijke screenervraag >90% positief; 12,5% mv top 10 meest belangrijk

Handhaven? Ja


Ja Maakt deel uit van schaal ‘Indicatiebesluit’

Ja, meer antwoord categorieën

Schaal indicatiebesluit; 14% mv

Ja Maakt deel uit van schaal ‘Indicatiebesluit’ Ja Maakt deel uit van schaal ‘Indicatiebesluit’


Ja Maakt deel uit van schaal ‘Indicatiebesluit’

Nee

Ja

Nee

Schaal indicatiebesluit; 14% mv top 10 meest belangrijk

Schaal indicatiebesluit; 12,3% mv Belangscore 3,18 top 10 minst belangrijk Relevante achtergrondvraag


Schaal doortesten: α=0,623 Tabel 8.2.6. ‘Bejegening’ item Heeft u een CIZmedewerker gesproken? V28. Was de CIZ medewerker beleefd tegen u?

bijzonderheden NIEUW; deze screenervraag mist Schaal bejegening; 36,6% mv; inter-item corr >0,70 Niet meer verplicht volgend Handboek CQI top 10 minst belangrijk overlap met de andere bejegening-items

Handhaven?

Aanpassen formulering? Screenervraag toevoegen

Ja Maakt deel uit van schaal ‘Bejegening’, op advies van de begeleidingscommissie handhaven

Nee

V29. Luisterde de CIZ medewerker aandachtig naar u? V30. Had de CIZ medewerker genoeg tijd voor u?

Schaal bejegening; 37% mv; inter-item corr >0,70 top 10 meest belangrijk Schaal bejegening; 37,3% mv; inter-item corr >0,70 Belangscore 3,34 Eruit wegens overlap met andere bejegenings-items of behouden ivm belang Schaal bejegening; 37,8% mv; inter-item corr >0,70; top 10 meest belangrijk Schaal bejegening; 37,8% mv; inter-item corr >0,70 top 10 meest belangrijk

Ja Maakt deel uit van schaal ‘Bejegening’ Ja Maakt deel uit van schaal ‘Bejegening’, op advies van de begeleidingscommissie handhaven

Nee

Ja Maakt deel uit van schaal ‘Bejegening’

Nee

Ja Maakt deel uit van schaal ‘Bejegening’

Nee

Handhaven? Ja Maakt deel uit van schaal ‘Deskundigheid’


Ja Maakt deel uit van schaal ‘Deskundigheid’

Nee

V31. Nam de CIZ medewerker u serieus?

V32. Leefde de CIZ medewerker zich in uw situatie/de situatie van de cliënt in?

Nee

Tabel 8.2.7. ‘Deskundigheid’ item V33. Had de CIZ medewerker voldoende kennis over de ziekte/aandoening van u/de cliënt? V34. Had de CIZ medewerker voldoende kennis over de beperkingen die horen bij de ziekte/aandoening van u/de cliënt?

bijzonderheden Schaal deskundigheid; 37,5% mv; inter-item corr >0,70 top 10 meest belangrijk Schaal deskundigheid; 37,4% mv; inter-item corr >0,70 top 10 meest belangrijk


52

Kiwa Prismant 2012

V35. Vroeg de CIZ medewerker door totdat de hulpvraag echt duidelijk was? V36. Stond de CIZ medewerker voldoende open voor dingen die u belangrijk vindt in uw leven/de cliënt belangrijk vindt in zijn/haar leven?

Schaal deskundigheid; 38% mv; en alpha (iets) hoger als item deleted top 10 meest belangrijk Schaal deskundigheid; 38% mv; inter-item corr >0,70 top 10 meest belangrijk


Nee


Nee

Handhaven? Ja Maakt deel uit van schaal ‘Bereikbaarheid’

Aanpassen formulering? Ja

Ja Maakt deel uit van schaal ‘Bereikbaarheid’ Ja Maakt deel uit van schaal ‘Bereikbaarheid’

Nee

bijzonderheden

Handhaven?

Aanpassen formulering?

‘schaal’ regie; 11,6% mv

Ja, als los item handhaven: . Inhoudelijk relevant . Samenhang met andere schalen relatief laag . Screenervraag invoegen: “heeft het CIZ een afspraak gemaakt?” . Andere plaats in de vragenlijst

Ja, naam ‘schaal’ aanpassen in ‘maken van afspraken’

Handhaven? Ja


Tabel 8.2.8.‘Bereikbaarheid’ item V37. Was het een probleem om de adresgegevens van het CIZ te vinden? V38. Was het een probleem om het CIZ telefonisch te bereiken? V39. Reageerde het CIZ snel op uw vragen?

bijzonderheden Schaal bereikbaarheid top 10 minst belangrijk Schaal bereikbaarheid

Schaal bereikbaarheid

Ja, gelijke antwoordcategorieën als beide andere items in deze schaal

Schaal doortesten: α=0,688 Tabel 8.2.9. ‘Regie/keuzemogelijkheid’ item V40. Plande het CIZ samen met u en/of cliënt de afspraken voor indicatiestelling?

Tabel 8.2.10 ‘Algemene waardering’ item V41. rapportcijfer

bijzonderheden evaluatievraag

Tabel 8.2.11 Achtergrondkenmerken zorgaanvrager item V42. Gezondheid V43. Leeftijd V44. Geslacht V45. Opleiding

bijzonderheden Standaard CQ-vraag Standaard CQ-vraag Standaard CQ-vraag Standaard CQ-vraag

Handhaven? Ja Ja Ja Ja

Aanpassen formulering? Nee Nee Nee Nee

V46. Geboorteland resp V47. Geboorteland vader V48. Geboorteland moeder V49. welke taal spreekt u thuis het meest? V50. Heeft iemand geholpen met invullen van de vragenlijst? V51. Hoe bent u geholpen? V52. Wat zou u willen veranderen aan de indicatiestelling?

Standaard CQ-vraag Standaard CQ-vraag Standaard CQ-vraag Standaard CQ-vraag

Ja Ja Ja Ja

Nee Nee Nee Nee

Standaard CQ-vraag

Ja

Nee

Standaard CQ-vraag Open vraag

Ja Ja

Nee Nee


53

Kiwa Prismant 2012

8.3

Conclusie

De eerste versie van de CQ-CIZ bestond uit 52 vragen. In samenspraak met de begeleidingsgroep is besloten geen vragen uit de nieuwe versie te verwijderen. Afgesproken wijzigingen die zijn doorgevoerd: - twee nieuwe (screener)vragen zijn toegevoegd (onder de koppen ‘bejegening’ en ‘maken van afspraken’, voorheen ‘regie/keuzemogelijkheid’); - zoveel mogelijk ja/nee (dichotome) variabelen zijn veranderd in meerdere antwoordcategorieën; - enkele vragen zijn geherformuleerd; - enkele antwoordcategorieën zijn toegevoegd. Twee schalen (Bereikbaarheid en Indicatiebesluit) dienen verder getest te worden, omdat de α van deze schalen aan de zwakke kant is en dus een geringe betrouwbaarheid heeft. Misschien dat verandering van antwoordcategorieën de betrouwbaarheid verhoogt. De aangepaste vragenlijst is opgenomen in bijlage 7.


54

Kiwa Prismant 2012

9 Conclusies en aanbevelingen Hieronder worden enkele conclusies en aanbevelingen beschreven. Daarin zijn de adviezen van de begeleidingsgroep, de CIZ-werkgroep en de WAR verwerkt. De CQI Indicatiestelling AWBZ is een valide instrument om de ervaringen van cliënten van het CIZ te meten. De vragenlijst heeft goede psychometrische eigenschappen en bestaat uit een aantal betrouwbare schalen. Hiermee kunnen de ervaringen van zorgaanvragers op betrouwbare wijze in kaart worden gebracht. Ook het discriminerend vermogen van de vragenlijst is onderzocht, dit bleek onvoldoende. De verschillen tussen de units zijn relatief klein en zijn slechts voor een klein deel toe te schrijven aan verschillen tussen de units. Het grootste deel is toe te schrijven aan verschillen tussen de individuele zorgaanvragers. Nader onderzoek, op basis van een grotere groep respondenten, is nodig om het discriminerend vermogen verder te toetsen. Vooralsnog kan de CQI derhalve niet worden gebruikt om CIZ-units met elkaar te vergelijken. Vanwege bovenstaande is de CQI Indicatiestelling AWBZ vooral geschikt voor kwaliteitsverbetering en monitoringsinformatie voor afzonderlijke CIZ units en voor het CIZ als geheel. Voor het CIZ als geheel kunnen daarbij ook de ervaringen van verschillende groepen zorgaanvragers worden vergeleken, mits de groepen groot genoeg zijn. Ook is het mogelijk de vragenlijst te gebruiken voor algemene externe verantwoording. De vragenlijst omvat alle onderwerpen die in 2011 van belang waren voor cliënten die bij het CIZ een indicatie hebben aangevraagd. Dit is het resultaat van het ontwikkeltraject van de vragenlijst, waarbij in de kwalitatieve fase verschillende inhoudsdeskundigen betrokken zijn. Individuele en groepsinterviews met zorgaanvragers en vertegenwoordigers vanuit cliëntenorganisaties vormen de basis. Aan hen is zowel gevraagd wat zij belangrijk vinden bij de indicatiestelling, als welk belang zij hechten aan de verschillende kwaliteitsaspecten. Gedurende de verdere ontwikkelfase heeft zowel een begeleidingsgroep als een werkgroep vanuit het CIZ het proces kritisch gevolgd en input geleverd. Wij adviseren, op basis van het t ontwikkeltraject, de vragenlijst niet verder in te korten. Wel is het aan te bevelen om de vragenlijst voorafgaand aan nieuwe metingen te actualiseren. Veranderingen in de AWBZ en in bijbehorende weten regelgeving kunnen van invloed zijn op de vergelijkbaarheid bij vervolgmetingen. Denk daarbij aan de verschuiving van cliënten van AWBZ naar WMO of aan de verlenging van indicaties voor de AWBZ. Een kritische beschouwing van de steekproefsamenstelling is daarom essentieel. Bij het vaststellen van de gewenste omvang en samenstelling van de steekproef is verder van belang om nauw aan te sluiten bij de verbeterinformatie die gewenst is, op CIZtotaalniveau en op het niveau van de units. In dit onderzoek zijn verschillen (al dan niet significant) gevonden in de ervaringen van te onderscheiden groepen indicatieaanvragers. Het gaat dan bijvoorbeeld om zorgaanvragers vanuit verschillende grondslagen, verschillende procedures die het CIZ volgt bij de indicatiestelling, en om verschillen in de ervaringen van aanvragers die een positief dan wel een negatief indicatiebesluit hebben ontvangen. Afhankelijk van de gewenste informatie over verschillende ervaringen in deze groepen, zal een evenredige verdeling in de steekproef van deze (of andere) groepen moeten plaatsvinden. Ook kan het onderzoek gericht worden op specifieke doelgroepen. In dit onderzoek kwamen groepen naar voren die, in vergelijking met andere groepen, minder goede ervaringen hadden bij de indicatiestelling. Dergelijk meer specifiek gericht onderzoek biedt de beste mogelijkheden om verbeterpunten te achterhalen en gericht beleid te voeren.


55

Kiwa Prismant 2012

Ook is van belang om periodiek te checken of de kwaliteitsaspecten, die onderdeel uitmaken van de CQI Indicatiestelling AWBZ nog steeds van belang zijn voor cliënten en/of dat er vanuit het cliëntperspectief wellicht nieuwe kwaliteitsaspecten toegevoegd moeten worden. Omdat de prioriteiten van mensen relatief stabiel zijn in de tijd hoeft dit niet bij elke jaarlijkse of tweejaarlijkse meting te gebeuren. Op een aantal punten zijn verdere verbeteringen mogelijk van de CQI Indicatiestelling AWBZ en de procedure die wordt gevolgd bij de afname van de vragenlijst. Ten eerste geldt dat de psychometrische eigenschappen van de nu aangepaste vragenlijst (bijlage 7) bij een volgende meting opnieuw onderzocht moeten worden. Dit doortesten kan dan vooral worden gericht op de items en schalen die nu het predicaat ‘doortesten’ hebben gekregen. Speciale aandacht daarbij verdienen ook de afzonderlijke items die zijn aangepast qua formulering en/of antwoordcategorieën. Daarnaast is het belangrijk dat bij vervolgmetingen van de ervaringen van zorgvragers met de indicatiestelling AWBZ de resultaten kunnen worden gebaseerd op meer respondenten. De respons in dit onderzoek was niet hoog. Hij was voldoende om statistische bewerkingen uit te voeren, maar te laag om verschillen tussen CIZ-units aan te tonen. Het aantal respondenten kan worden verhoogd door meer vragenlijsten (per unit) te versturen (zie ook paragraaf 6.3), maar ook veranderingen in de procedure van de vragenlijstafname kunnen mogelijk een bijdrage leveren aan een hogere respons. Meer specifiek: -

-

Het verkorten van de tijdsspanne tussen indicatieaanvraag en het ontvangen van een vragenlijst. In dit onderzoek besloeg dit een lange(re) periode. Dit is waarschijnlijk de reden voor een hoge non-respons geweest. De verzending van de vragenlijst en begeleidende brief is in dit onderzoek vooraf gegaan door een vooraankondiging van het onderzoek per brief aan de 4545 mensen uit de steekproef. Aan hen is gevraagd een strook terug te sturen als zij niet wilden deelnemen aan het onderzoek. In het onderzoek ontstond een grote nonrespons na deze vooraankondiging. Na overleg met het CKZ is besloten dat deze vooraankondiging in de toekomst kan vervallen. Voorwaarde is dan wel dat de algemene informatievoorziening op orde is: het lijkt voldoende om tekst over klantwaarderingsonderzoek op te nemen op de website, in nieuwsbrieven of informatiefolders. In principe kunnen mensen dus weten dat het CIZ hen de vraag kan stellen mee te doen aan een klantervaringsonderzoek. Ook kan mogelijk de tekst van de begeleidende brief nog wervender worden gemaakt. Bij onderzoek dat specifieker gericht is op bepaalde doelgroepen biedt dit extra mogelijkheden.

Tenslotte is in dit onderzoek een verwaarloosbaar aantal vragenlijsten via internet ingevuld. Wij pleiten er desondanks voor om bij toekomstige metingen de vragenlijst mixed-mode (dus schriftelijk en online) aan te bieden, daar de behoefte hieraan zal groeien, omdat steeds meer onderzoeken online plaatsvinden en dit kostenbesparend is.


56

Kiwa Prismant 2012

LITERATUUR Bloemendaal, I., Kleefstra, S., Strikwerda, D. Ervaringen van zorgvragers met de indicatiestelling door het CIZ. Cliëntwaarderingsonderzoek 2010. Kiwa Prismant, Utrecht, 2012.

Carey en Seibert, A. Patient survey system to measure quality improvement: questionnaire reliability and validity, Medical Care, volume 31, no 9 (1993) Cattell, R.B. The scree test for the number of factors(1966) Centrum indicatiestelling zorg (CIZ) -CIZ-Indicatiewijzer, -AWBZ-zorg aanvragen, hoe regelt u dat? CIZ, april 2011. -Het indicatiebesluit. CIZ, april 2011. -Beleidsmonitor Eerste halfjaar 2010. CIZ, februari, 2011. -AWBZ in beweging. Het CIZ beweegt mee. Jaarverslag 2010. CIZ, mei 2011 -Vernieuwing indicatiestelling AWBZ. CIZ, van uitvoerder naar toezichthouder. www.ciz.nl. Dillman D.A. Mail and internet surveys: the tailored design method. New York: John Wiley & Sons, 2000

Floyd F.J., Widaman K.F. Factor analysis in the development and refinement of clinical assessment instruments. Psychol assess, 7:286-299 (1995) Gezamenlijke cliëntenorganisaties: CG-Raad, LOC, CSO, PlatformVG, Mezzo, Landelijk platform GGz, Per Saldo, NPCF. Kwaliteitsdocument Indicatiestelling. Oktober 2009. Hekkert K.D., S. Cihangir, S.M. Kleefstra, B. van den Berg, R.B. Kool. Patient satisfaction revisited: A multilevel approach. In: Social Science & Medicine 69 (2009), p. 68-75 Jedeloo, S. en Schrijvers, G. Landelijk Klanttevredenheidsonderzoek CIZ onder AWBZzorgaanvragers.Julius Centrum/UMC Utrecht, Utrecht 2007.

Nunnally, J.C. en Bernstein I.H. Psychometric Theory, New York: McGraw-Hill(1978). Kaiser, H.F.The application of electronic computers to factor analysis(1960) Nispen, R.M.A. van, Sixma, H.J., Kerkstra, A. Kwaliteit van de indicatiestelling door RIO’s vanuit cliënten perspectief. Ontwikkeling van een meetinstrument. Nivel, 2002. Nispen, R.M.A. van, Sixma, H.J., Kerkstra, A. Kwaliteit van de indicatiestelling door RIO’s vanuit cliënten perspectief. Ontwikkeling van kwaliteitscriteria. Nivel, 2002. NOOM, Netwerk van Organisaties van Oudere Migranten. Samen uit, samen thuis. Cliënten monitor Langdurige Zorg. Onderzoek naar de gevolgen van de pakketmaatregelen AWBZ voor oudere migranten die gebruik maken van dagactiviteiten. Bureau Brom, Capelle aan den IJssel, 2009. Noordhuizen, B., Vijfwinkel, D., Hollander, M.L., Berdowski, Z., Beleidsdoorlichting indicatiestelling AWBZ, Periode 2003-2008. Research voor Beleid, Zoetermeer, 2010.


57

Kiwa Prismant 2012

Ros, W. en Schrijvers, G. Landelijk klanttevredenheidsonderzoek CIZ onder AWBZzorgvragers 2008. Julius Centrum/UMC Utrecht, 2010. Schrijvers, A. J. P., Jedeloo, S., Jorg, F., Hoogerduijn, J.G. Rio, het jongste kind groeit op. Eindrapport van de evaluatie van het Zorgindicatiebesluit 1998. Julius Centrum/UMC Utrecht, Utrecht, 2001. Sixma, H. J., Campen, C. van, Kerssens, J. J., Peters L. Onderzoekprogramma kwaliteit van zorg: de QUOTE vragenlijsten: kwaliteit van zorg vanuit patiënten perspectief: vier nieuwe meetinstrumenten. Utrecht/Den Haag: NIVEL/Ministerie VWS, 1998a. Sixma, H.J. Hendriks, M., Boer, D. de, Delnoij, D.M.J. Handboek CQI Ontwikkeling: richtlijnen en voorschriften voor de ontwikkeling van een CQI meetinstrument. Utrecht: NIVEL, 2008. Sixma, H.J., Kerssens, J.J., Campe, C. van, Peters, L. Quality of care from the patients' perspective: from theoretical concept to a new measuring instrument. Health Expect, 1998b; 1(2):82-95. Snijders, A.B., and Bosker, J. 2nd Edition MULTILEVEL ANALYSIS: An Introduction to Basic and Advanced Multilevel Modeling. Sage, London, 2012. VWS. Beleidsregels AWBZ en Zorgindicatiebesluiten2010, 2011 en 2012. htttp://wetten.overheid.nl/BWBR0030849/geldigheidsdatum_30-07-2012 Zaslavsky, A.M. Issues in case-mix adjustment of measures of the quality of health plans. Proceedings, Government and Social Statistics Sections. American Statistical Association. Alexandria, VA, 56-64. 1998.


58

Kiwa Prismant 2012

Bijlage 1 Begeleidingsgroep Deelnemers aan de begeleidingsgroep ‘CQI voor Indicatiestelling AWBZ’

Dhr. M. (Marthijn) Laterveer

plaatsvervangend directeur LOC

LOC, Zeggenschap in zorg

Mevr. D. (Dorien) Kloosterman

beleidsmedewerker

Platform VG

Dhr. M.G.A. (Marcel) de Krosse

manager Beleid & Juridische Zaken

Centrum Indicatiestelling Zorg (CIZ)

Dhr. drs. A. (Alfons) Nederkoorn

beleidsmedewerker klantenperspectief

Centrum Klantervaring Zorg (CKZ)

Mevr. W. (Wietske) Oegema

beleidsmedewerker

Mezzo, Landelijke Vereniging voor Mantelzorgers en Vrijwilligerszorg

Dhr. F. (Frans) van der Pas

medewerker collectieve belangenbehartiging en voorlichting

Per Saldo, vereniging van mensen met een persoonsgebonden budget

Mevr. S. (Siska) de Rijke (tot 1.1.2012) Mevr. H.W.A. (Henny) Vermolen-van Gerwen

beleidsmedewerker Zorg

CG-Raad

vicevoorzitter LPGGz

Landelijk Platform GGz (LPGGz)

Mevr. A. (Anneke) van der Vlist

senior beleidsmedewerker Zorg, Welzijn, Wonen

Centrale Samenwerkende Ouderenorganisaties (CSO)

Mevr. S. (Sjenny) Winters (tot 1/1/2012)

projectleider tot 1/1/2012

Kiwa Prismant

Mevr. S. (Sorien) Kleefstra (vanaf 1/1/2012) Mevr. A. (Ineke) Bloemendaal

senior onderzoeker

Kiwa Prismant

senior onderzoeker/adviseur projectleider vanaf 1/1/ 2012

Kiwa Prismant


59

Kiwa Prismant 2012


60

Kiwa Prismant 2012

Bijlage 2 Topiclijst Topiclijst voor de focusgroepbijeenkomsten Topiclijst: Interviews over kwaliteit van de Indicatiestelling (AWBZ) Informatie en voorlichting over: Bejegening/relationeel - de indicatieprocedure (aanvraag, indicatie- vriendelijkheid stelling, vervolg) - beleefd/respectvol - procedure rond herindicaties - aandachtig luisteren - zelfindicatie - open staan (vragen, kritiek) - PGB/ZiN - betrokkenheid/interesse in cliënt - andere zorgvormen dan aangevraagd - geduldig / voldoende tijd nemen - klachtenprocedure - gelijkwaardigheid - bezwaarprocedure - ruimte voor gevoelens - wat te doen na het besluit - rekening houden met wensen - mogelijke rol familie/mantelzorgers - ruimte om mee te beslissen - mogelijkheden mantelzorgondersteuning - afspraken nakomen inhoud en achtergrond van het indicatiebe- wijze waarop familie/verwanten/ sluit mantelzorgers gehoord worden - wie heeft de aanvraag gedaan (aanbieder, CIZ) Communicatie/Kwaliteit informatieoverDeskundigheid dracht - medewerker kan vragen beantwoorden - begrijpelijkheid van de informatie (monde- geeft de hulp of raad die u nodig had ling, schriftelijk, website) - heeft kennis van doelgroepen (aandoenin- formulieren zijn begrijpelijk en goed in te gen) en hulpvraag vullen - heeft kennis van mogelijkheden en grenzen - geen tegenstrijdige informatie voor mantelzorgers - telefonisch indiceren ipv persoonlijk gesprek - kan situatie van de cliënt goed inschatten - betrekken sociale omgeving van de cliënt Toegankelijkheid/bereikbaarheid - houdt rekening met beperkingen/ mogelijk- aanwezigheid 1 loket heden van de cliënt - toegankelijkheid loket - toegankelijkheid website – ook voor mensen - cliënt ervaart een oplossing voor zijn probleem met een beperking? - telefonische bereikbaarheid Snelheid/wachttijd Zelfbeschikking/autonomie - snelheid beantwoording telefonische vragen - bij aanvraag wensen naar voren kunnen brengen - aantal keren doorverbinden - er wordt rekening gehouden met persoonlij- snelheid reageren op emails ke situatie - wachttijd aanvraag-beslissing gewone aan- familie/mantelzorgers worden betrokken als vraag cliënt dat wenst - wachttijd bij spoedaanvraag - inzien eigen indicatiedossier - doorlooptijd van aanvraag tot indicatiebesluit Integraal Onafhankelijkheid - cliënt verstrekt één keer gegevens - objectief informeren over PGB/ZiN - onafhankelijk van het budget indiceren


61

Kiwa Prismant 2012


62

Kiwa Prismant 2012

Bijlage 3

Kwaliteitsaspecten interviews

Kwaliteitsaspecten genoemd door deelnemers aan de focusgroepbijeenkomsten FG1

FG2

FG3

a. telefonisch contact na de indicatiestelling over besluit

X

X

X

b. conceptbeslissing is anders dan is afgesproken

X

c. informatie staat in de indicatiewijzer

X

d. de informatie is toegankelijk (ook in gesproken taal en braille)

X

e. informatie over ‘waar heb ik recht op’ heb

X

f. informatie/transparantie over hoe men tot het besluit is gekomen,

X

g. voorlichting over hoe de toekomst in z’n werk gaat

X

h. duidelijkheid over verlengen van indicatie na een jaar/ de duur van de indicatie

X

X

i. informatie over wat het CIZ doet, praktische werkwijze van CIZ

X

X

j. informatie sluit aan bij zorgvraag cliënt

X

X

k. keuze-informatie komt bij cliënt terecht

X

l. indicatiewijzer is een te dik boekwerk, brieven te lang,

X

X

m. informatie over gebruikelijke zorg/minuten aftrek voor gebruikelijke zorg

X

X

n. aanvraagformulieren geven voldoende diepte over zorgvraag, gedetailleerder aanvraagformulier

X

o. informatie over wat er gevraagd is en wat er gegeven is en de redenen daarvoor

X

1. Informatie en voorlichting over:

X

X

X

X

X X

p. de informatie is begrijpelijk

X

q. bevestigingen van ontvangst en wijzigingen ook naar cliënten en mantelzorgers

X

r. wat er allemaal vergoed kan worden (ook respijtzorg)

X

X

X

s. info over keuze ZiN /PGB

X

t. duidelijker aangeven waar je kunt aangeven wat je aanvaagt/nodig hebt

X

u. info over beleidswijzigingen tov vorige indicatie

X

2. Communicatie/Kwaliteit van de informatieoverdracht a. telefonisch worden er vragen gesteld, terwijl huisbezoek vereist is


63

X

X

Kiwa Prismant 2012

b. transparantie over criteria

X

X

X

c. indicatiewijzer leesbaarder maken

X

X

X

d. overleg over de indicatiestelling met cliënt

X

X

e. bellen met een 0900 nummer kost veel geld

X

f. jeugdjournaalniveau: leesbaar, simpel taalgebruik informatie

X

g. bellen op tijdstip dat het niet uitkomt, telefonische afspraak plannen

X

X

h. bij (her) indicatie door instelling controleren of cliënt/ouders/voogd op de hoogte zijn

X

X

X

i. toegankelijke informatie, geen jargon in besluit

X

X

X

j. niet telefonisch indiceren

X

X

k. informatie ongelijkheid tussen cliënt en CIZ

X

l. de ‘black box’ van indicatiestelling openbreken

X

X

m. overal een medisch bewijs voor een aandoening nodig

X

X

n. bij wijziging van de indicatie cliënt op de hoogte stellen

X

o. wel telefonisch herindiceren als de situatie gelijk is gebleven

X

p. website moeilijk om alles te vinden

X

q. mogelijkheid bieden om te bellen voor verdere uitleg/commentaar

X

r. voorlichting is te algemeen, moet specifieker

X

3. Toegankelijkheid/bereikbaarheid a. door gebrek aan mankracht of tijdgebrek geen huisbezoek

X

b. afspraak wordt eenzijdig door CIZ gepland, kan je niet ‘dreiging’ dat indicatie vertraagd wordt

X

c. bereikbaarheid is goed

X

d. geen mogelijkheid tot gebruik van email

X

X

e. wordt u teruggebeld door de juiste persoon

X

X

X

f. aangetekende brieven komen niet op juiste afdeling

X

g. taxatieschaal geeft transparantie in zorgvraag voor cliënt en CIZ

X

h. waar moet je voor welke informatie zijn/bij wie moet ik zijn voor wat

X

i. moeilijk om formulieren juist in te vullen (ook met juiste woorden)

X

X

X

j. website biedt voldoende informatie

X

k. website niet voor alle doelgroepen

X

X

l. fysieke toegankelijkheid CIZ-kantoor

X

m. adequate info over wanneer juiste persoon wel bereikbaar is

X


64

Kiwa Prismant 2012

4. Snelheid/wachttijd a. lange bezwaarprocedure

X

b. steeds doorverbinden/ snel contact met juiste persoon

X

c. afspraken samen plannen voorkomt verzetten en vertragen

X

d. wachttijd tot indicatiebeslissing duurt te lang

X

X

e. herindicaties kunnen sneller (bv blind=blind, dat verandert niet)

X

X

X

X

f. onduidelijkheid over hoe lang de besluitvorming duurt

X

X

g. spoedindicatie snel geregeld

X

X

h. lang wachten op reactie op mails, telefonische vragen en brieven/ helderheid over de wachttijd

X

X

i. snellere beslissing bij sommige wijzigingen (verhuizing)

X

5. Integraal a. steeds opnieuw het verhaal moeten vertellen of opnieuw gegevens aanleveren

X

X

X

b. nadere info door specialisten/andere deskundigen raadplegen

X

X

X

c. CIZ moet onderzoek doen bij de zorgaanbieder

X

d. bij CIZ alle aanvragen kunnen doen, samenhang CIZ-WMO

X

X

e. bij CIZ informatie krijgen over waar je met andere ondersteuningsvragen terecht kunt

X

6. Bejegening/relationeel a. vast contactpersoon bij het CIZ

X

X

X

b. inlevingsvermogen in de persoon, empathie, begrip situatie cliënt

X

X

X

c. hulp bieden door het CIZ bij indicatiestellen, bij hulpvraagverduidelijking, bij gebruik juiste woorden

X

X

X

d. afstand voelen

X

e. aanvragen uit naam van de cliënt zonder dat ze het weten

X

f. schaamte voor de zorgvraag

X

X

g. doorvragen, niet invullen

X

X

h. afhankelijkheidsrelatie

X

X

i. respectvol omgaan met cliënt

X

X

X

j. gevoel van een ongelijke strijd

X

k. indicatie vertraagt als een telefonische afspraak niet uitkomt/represaille als het niet uitkomt

X

l. mogelijkheid om te wisselen van een vast contactpersoon

X

m. niet voor vol aangezien worden als cliënt /serieus nemen

X

X

X

n. de menselijkheid is zoek

X


65

X

Kiwa Prismant 2012

o. niet steeds opnieuw moeten bewijzen dat aandoeningen nog aanwezig zijn (vertrouwen)

X

X

p. luisteren naar de cliënt , niet invullen

X

X

q. ‘letten op’ de cliënt/zorgdragen voor de cliënt

X

r. machtspositie van het CIZ ten opzichte van de cliënt

X

s. gelijkwaardigheid

X

t. de nadruk wordt gelegd op wat men niet meer kan en niet op wat men nog wel kan, negatief

X

X

u. aanwezigheid van mantelzorger bij indicatiegesprek

X

X

v. voldoende tijd voor de cliënt/mantelzorger

X

w. maatwerk: rekening houden met specifieke wensen/behoeften van cliënt

X

x. interesse in de cliënt, meedenken

X

X

y. aansluiten bij taalgebruik cliënt

X

z. bij telefoongesprekken duidelijke doelstelling noemen (herindicatie)

X

7. Deskundigheid a. op de juiste manier de zorgvraag in kaart brengen/wat heeft iemand nodig aan zorg/ indiceren op hulpvraag/deskundigheid over wat de cliënt mankeert

X

X

X

b. samenwerken met behandelaars bepalen wat de cliënt wel/niet kan, ook gebruikmaken van expertise zorgverleners

X

X

X

c. samen met de mantelzorger afstemmen wat de cliënt wel/niet kan, ook kijken wat heeft mantelzorger nodig

X

X

d. doorvragen bij cliënten die minder taalvaardig zijn

X

X

e. consequenties voor de mantelzorger in kaart brengen/rekening houden met grenzen van mantelzorg

X

X

f. informatieverstrekking/deskundigheid verschilt per CIZ-medewerker, niet uniform

X

X

X

g. kennis van specifieke ziekten met bijbehorende zorgbehoefte

X

X

X

h. de indicatie aanpassen wanneer de situatie wijzigt

X

i. indiceren welke zorg nodig is, niet welke zorg er al geleverd wordt

X

X

j. het aanvraagformulier geeft geen inzicht in wat een cliënt nu echt nodig heeft

X

X

k. indicatiestellers moeten weten welke informatie je wel/niet aan cliënten met een bepaald ziektebeeld (dementie of GGZ) moet stellen

X

l. de CIZ medewerker moet loskomen van het vaste vragenlijstje van activiteiten. Als de zorg niet in het lijstje staat, wordt het niet geïndiceerd.

X

m. CIZ-medewerker moet gevoel hebben voor onderscheid tussen ‘aandikkers’ en ‘onderaanvragers’

X

n. indicatieprocedure kiezen die past bij de complexiteit van de problematiek

X

X

X

o. uitgaan van beperkingen ipv diagnose


X

66

Kiwa Prismant 2012

p. kennis hebben van dossier cliënt (ziekte- en indicatiegeschiedenis)

X

q. gespecialiseerde CIZ medewerkers

X

8. Zelfbeschikking/autonomie a. invloed hebben op de aanvraag

X

X

b. invloed hebben op de afspraak voor (her)indicatiestelling

X

X

X

c. zelf bellen om een afspraak te maken in plaats van een afspraak opgelegd krijgen

X X

X

d. keuze hebben tussen telefonische indicatie of huisbezoek e. keuze mondelinge – schriftelijke aanvraag

X

f. recht om aanvraag te komen toelichten

X

9. Onafhankelijkheid a. onafhankelijk indiceren

X

X

b. los van geld indiceren

X

c. objectief indiceren /transparantie in indicatie

X

X

d. indiceren onafhankelijk van mantelzorg

X

X

e. houdt rekening met het feit dat de relatie tussen CIZ en cliënt een afhankelijkheidsrelatie is

X

X

X X

X

f. uniformiteit over regio’s 10. Overig a. als cliënt moet je de juiste terminologie kennen (essentiële woorden) om snel en de juiste indicatie te krijgen/woordenspel

X

b. door de privacywet mag niet iedereen in de gegevens kijken

X

X

c. voorafgaand aan de aanvraag: waar kun je waarvoor terecht: door CIZ of niet

X

d. hulpvraagverduidelijking door CIZ of niet?

X

e. verschil in bejegening, afhankelijk van de hoedanigheid van waaruit je belt


67

X X

Kiwa Prismant 2012


68

Kiwa Prismant 2012

Bijlage 4



69

Kiwa Prismant 2012


70

Kiwa Prismant 2012


71

Kiwa Prismant 2012


72

Kiwa Prismant 2012


73

Kiwa Prismant 2012


74

Kiwa Prismant 2012


75

Kiwa Prismant 2012


76

Kiwa Prismant 2012


77

Kiwa Prismant 2012


78

Kiwa Prismant 2012

Bijlage 5

Belangvragenlijst

Vragenlijst Belang van kwaliteitsaspecten bij de indicatiestelling door het CIZ

CQ-Index Indicatiestelling AWBZ Centrum Indicatiestelling Zorg (CIZ)

versie 0.3

Deze specifieke vragenlijst is gebaseerd op de internationaal gebruikte CAHPS® vragenlijsten. De vragenlijst is ontwikkeld door Kiwa Prismant.


79

Kiwa Prismant 2012


80

Kiwa Prismant 2012


81

Kiwa Prismant 2012


82

Kiwa Prismant 2012


83

Kiwa Prismant 2012


84

Kiwa Prismant 2012


85

Kiwa Prismant 2012


86

Kiwa Prismant 2012


87

Kiwa Prismant 2012


88

Kiwa Prismant 2012

Bijlage 6

Resultaten Belangvragenlijst

Nr Vraag Informatie en Communicatie 6 U voldoende informatie heeft over hoe u de aanvraag kunt doen? 7 Informatie heeft over hoe lang het duurt van aanvraag tot indicatiebesluit? 8 De informatie die u krijgt past bij uw zorgvraag / de zorgvraag van de cliënt? 9 De schriftelijke informatie van het CIZ (folders, brieven, internet) begrijpelijk is voor u? 10 De CIZ medewerker u zaken op een begrijpelijke manier uitlegt? 11 De CIZ medewerker u geen tegenstrijdige informatie geeft? Procedure Indicatiestelling 12 Het aanvraagformulier voldoende mogelijkheid biedt om de zorgvraag goed aan te geven? 13 De CIZ medewerker met u meedenkt om de vraag helder te krijgen? 14 De CIZ medewerker bij de (her)indicatie duidelijk het doel van het gesprek noemt? 15 Het duidelijk is dat familie/mantelzorgers een rol kunnen spelen in de aanvraagprocedure? 16 De CIZ medewerker rekening houdt met de mogelijkheden en grenzen van de mantelzorger? 17 De indicatie objectief ingesteld is? 18 De wachttijd tussen aanvraag en indicatiebesluit acceptabel is? 20 De indicatieprocedure (telefonisch gesprek, huisbezoek of geen van beide) past bij de zorgvraag? 21 U geen gegevens moet geven of invullen die al bekend zijn bij het CIZ? Indicatiebesluit 23 Het uit het indicatiebesluit duidelijk is op welke zorg u / de cliënt recht heeft? 24 Het voor u duidelijk is hoe het CIZ tot dit besluit gekomen is? 25 Het voor u duidelijk is wat u moet doen om zorg te krijgen, nadat u de brief met het indicatiebesluit heeft gekregen? 26 U weet dat het CIZ kunt bellen voor uitleg over het indicatiebesluit? Bejegening 28 De CIZ medewerker beleefd is tegen u? 29 De CIZ medewerker aandachtig naar u luistert? 30 De CIZ medewerker genoeg tijd voor u heeft? 31 De CIZ medewerker u serieus neemt? 32 De CIZ medewerker zich in uw situatie / de situatie van de cliënt inleeft? Deskundigheid van de CIZ medewerker 33 De CIZ medewerker voldoende kennis heeft over de ziekte / aandoening van u / de cliënt? 34 De CIZ medewerker voldoende kennis heeft over de beperkingen die horen bij de ziekte / aandoening van u / de cliënt? 35 De CIZ medewerker doorvraagt totdat de hulpvraag echt duidelijk is? 36 De CIZ medewerker voldoende open staat voor dingen die u belangrijk vindt in uw leven / de cliënt belangrijk vindt in zijn / haar leven? Bereikbaarheid 37 De adresgegevens van het CIZ gemakkelijk te vinden zijn? 38 Het CIZ gemakkelijk telefonisch bereikbaar is? 39 Het CIZ snel reageert op uw vragen? Regie 40 Het CIZ samen met u en/of de cliënt de afspraken voor indicatiestelling plant?


89

Score 3,09 3,10 3,24 3,04 3,28 3,40 3,30 3,23 3,23 3,03 3,26 3,34 3,28 3,20 3,03 3,52 3,26 3,38 3,18 3,18 3,40 3,34 3,45 3,44 3,41 3,48 3,44 3,43

3,09 3,21 3,32 3,17

Kiwa Prismant 2012


90

Kiwa Prismant 2012

Bijlage 7

Aangepaste vragenlijst


91

Kiwa Prismant 2012


92

Kiwa Prismant 2012


93

Kiwa Prismant 2012


94

Kiwa Prismant 2012


95

Kiwa Prismant 2012


96

Kiwa Prismant 2012


97

Kiwa Prismant 2012


98

Kiwa Prismant 2012


99

Kiwa Prismant 2012

CQ-index Indicatiestelling AWBZ. Meetinstrumentontwikkeling

Recommend Documents