Werkinstructies voor de CQI Jeugdgezondheidszorg Consultatiebureau
versie: 3.3 d.d. : november 2013
Werkinstructies voor de CQI Jeugdgezondheidszorg Consultatiebureau 1. De vragenlijst Waarvoor is de CQI JGZ Consultatiebureau bedoeld? De CQI Jeugdgezondheidzorg (CQI JGZ) is bedoeld om de kwaliteit van zorg rond de jeugdgezondheidzorg te meten vanuit het perspectief van de cliënten. De CQI JGZ bestaat uit vier vragenlijsten: een consultatiebureau vragenlijst (CQI JGZ Consultatiebureau) en drie vragenlijsten voor de drie verschillende Preventieve GezondheidsOnderzoeken (CQI JGZ PGO 1, CQI JGZ PGO 2 en CQI JGZ PGO 3). Deze werkinstructie hoort bij de CQI JGZ Consultatiebureau die de kwaliteit van zorg geleverd door consultatiebureaus meet vanuit het perspectief van de primaire cliënten, namelijk ouders van de kinderen. Deze vragenlijst kan worden gebruikt om binnen een consultatiebureau in kaart te brengen op welke punten cliënten goede ervaringen hebben en waar nog verbetering mogelijk is. Daarnaast is de vragenlijst bedoeld om vergelijkend onderzoek te doen naar de prestaties van verschillende consultatiebureaus. Hoe ziet de CQI JGZ Consultatiebureau eruit? De CQI JGZ Consultatiebureau bestaat uit twee vragenlijsten. De eerste vragenlijst “CQI JGZ Consultatiebureau” bestaat uit 99 items. Deze vragenlijst meet de ervaringen van cliënten met het consultatiebureau. De tweede vragenlijst “CQI JGZ Consultatiebureau met vragen over zorguitkomsten” is een uitgebreidere versie en bestaat uit 107 items. In deze vragenlijst worden ook vragen gesteld over zorguitkomsten met betrekking tot ‘huilbaby’s’ en ‘lichte opvoedingsproblemen’. Deze vragen over zorguitkomsten zijn opgesteld door TNO. Beide vragenlijsten beginnen met een vraag of de cliënt wel of niet in een bepaalde periode op het consultatiebureau is geweest. Vervolgens komen de verschillende thema’s met betrekking tot de ervaringen met de zorg aan bod en de totaaloordelen van cliënten in de vorm van het geven van een cijfer. De lijst eindigt met achtergrondvragen en vragen over de gezondheid van de cliënt. Zie de CQI JGZ Consultatiebureau op onze website, bij CQ-index > CQI Vragenlijsten. Zie de CQI JGZ Consultatiebureau met vragen over zorguitkomsten op onze website, bij CQindex > CQI Vragenlijsten. Welke verschillen tussen instellingen kan ik met de CQI JGZ Consultatiebureau in kaart brengen? In het NIVEL-onderzoek met de CQI JGZ Consultatiebureau zijn statistisch significante verschillen tussen consultatiebureaus gevonden op de thema´s bejegening verpleegkundige en deskundigheid verpleegkundige, en op de volgende losse items: algemeen oordeel verpleegkundige. De CQI JGZ Consultatiebureau kan gebruikt worden om inzicht te krijgen in de verschillen op deze aspecten.
1
Werkinstructies voor de CQI Jeugdgezondheidszorg Consultatiebureau
versie: 3.3 d.d. : november 2013
Welke schalen bevat de CQI JGZ Consultatiebureau? De CQI JGZ Consultatiebureau bestaat uit de volgende schalen: Vraagnummers 2, 11, 12, 13, 14, 15 30, 31, 50, 51 18, 30, 31, 50, 51 60, 61, 62, 63, 64 20, 21, 22, 23, 24, 25, 27, 34 40, 41, 42, 43, 44, 45, 47, 54 37, 38, 57, 58 26, 28, 29, 32, 33 46, 48, 49, 52, 53 66, 683 76, 79, 804 24, 44 3, 5, 10, 16
Schaal Accommodatie consultatiebureauruimte Afstemming adviezen zorgverleners (1) Afstemming adviezen zorgverleners (2) Bejegening en deskundigheid assistente Bejegening Consultatiebureau-arts1 Bejegening verpleegkundige2 Continuïteit van zorgproces (vervanging zorgverleners) Deskundigheid Consultatiebureau-arts Deskundigheid verpleegkundige Informatievoorziening Ketenzorg en samenwerking met hulpverleners Kind voelt zich op gemak Toegankelijkheid
Over deze schalen kunnen schaalscores worden berekend zoals omschreven in het Handboek Eisen en Werkwijzen CQI-metingen PRO 07 en WIS 07.01. De schalen over de ‘bejegening Consultatiebureau-arts’ en ‘deskundigheid Consultatiebureau-arts’ kunnen eventueel samengenomen worden. Hetzelfde geldt voor de schalen ‘bejegening verpleegkundige’ en ‘deskundigheid verpleegkundige’. Let op: de vragen 18, 30, 31, 50, 51 en 79 zijn negatief geformuleerd en moeten daarom eerst omgecodeerd worden voordat ze meegenomen kunnen worden in de schaalscores. De volgende hercodering moet plaatsvinden: 4=1, 3=2, 2=3 en 1=4.
1
Deze schaal bevatte oorspronkelijk nog twee andere items (‘Hoe vaak hield de CB-arts rekening met uw wensen en voorkeuren voor de opvoeding van uw kind?’ en ‘Hoe vaak kreeg u van de CB-arts de ruimte om vragen te stellen?’). Aangezien de betrouwbaarheid van de schaal hoog is en het thema met minder items ook betrouwbaar kan worden gemeten, zijn deze twee items op advies van de begeleidingscommissie verwijderd uit de vragenlijst. Op basis hiervan kan de Cronbach’s alfa niet zonder meer vergeleken worden met de Cronbach’s alfa in het NIVEL-rapport. 2 Ook deze schaal bevatte oorspronkelijk nog twee andere items (‘Hoe vaak hield de verpleegkundige rekening met uw wensen en voorkeuren voor de opvoeding van uw kind?’ en ‘Hoe vaak kreeg u van de verpleegkundige de ruimte om vragen te stellen?’). Aangezien de betrouwbaarheid van de schaal hoog is en het thema met minder items ook betrouwbaar kan worden gemeten, zijn deze twee items op advies van de begeleidingscommissie verwijderd uit de vragenlijst. Op basis hiervan kan de Cronbach’s alfa niet zonder meer vergeleken worden met de Cronbach’s alfa in het NIVEL-rapport. 3 Oorspronkelijk hoorde het item ‘Was u voordat u het consultatiebureau voor het eerst bezocht door het consultatiebureau goed geïnformeerd over de gang van zaken op het consultatiebureau?’ ook bij deze schaal. Dit item is verwijderd uit de vragenlijst omdat het niet goed schaalbaar en minder belangrijk was volgens cliënten. Op basis hiervan kan de Cronbach’s alfa niet zonder meer vergeleken worden met de Cronbach’s alfa in het NIVEL-rapport. 4 Het item ‘Is de zorg die u kreeg afgestemd op de zorg van andere hulpverleners’ is toegevoegd aan de vragenlijst. Psychometrische analyses moeten uitwijzen of dit item aan deze schaal kan worden toegevoegd. Op basis hiervan kan de Cronbach’s alfa niet zonder meer vergeleken worden met de Cronbach’s alfa in het NIVEL-rapport.
2
Werkinstructies voor de CQI Jeugdgezondheidszorg Consultatiebureau
versie: 3.3 d.d. : november 2013
Vraag 18, 20 t/m 34, 37, 40 t/m 54, 57, 60 t/m64 en 76 hebben een antwoordcategorie ‘niet van toepassing’. De volgende hercodering moet bij deze vragen plaatsvinden: 1=1, 2=2, 3=3, 4=4 en 5=missing. Tenslotte, vraag 5 is een probleemvraag met een antwoordcategorie ‘niet van toepassing’. Deze vraag moet op de volgende manier omgecodeerd worden voordat zij kan worden meegenomen in de schaalscore: 1=1, 2=2, 3=3 en 4=missing. Waar kan ik informatie vinden over de ontwikkeling van de CQI JGZ Consultatiebureau? De CQI JGZ Consultatiebureau is ontwikkeld door het NIVEL. Door het NIVEL is over de ontwikkeling van de vragenlijst een rapport geschreven. Hieronder vindt u de link naar dit rapport. Zie het rapport over de psychometrische testfase en het discriminerend vermogen van de CQI JGZ Consultatiebureau op onze website, bij CQ-index > CQI Vragenlijsten.
3
Werkinstructies voor de CQI Jeugdgezondheidszorg Consultatiebureau
versie: 3.3 d.d. : november 2013
2. Algemene informatie Moet een meting met de CQI JGZ Consultatiebureau aangemeld worden bij het Kwaliteitsinstituut? Een meting die landelijk verplicht moet worden uitgevoerd, moet aangemeld worden bij het Kwaliteitsinstituut. Meer informatie over het aanmelden van een CQI meting en het aanmeldingsformulier is te vinden op onze website, bij CQ-index > meten met de CQ-index. Moet bij een meting met de CQI JGZ Consultatiebureau een meetverantwoording bijgehouden worden? Ook het bijhouden van een meetverantwoording is alleen vereist als er sprake is van een landelijke verplichte meting. Meer informatie over de meetverantwoording en de toepassing ervan is te vinden op onze website, bij CQ-index > meten met de CQ-index.
Wanneer mag van de CQI richtlijnen afgeweken worden? De richtlijnen zijn bedoeld om zoveel mogelijk tot standaardisatie te komen. Als in de praktijk blijkt dat het om welke reden dan ook niet mogelijk is om bepaalde onderdelen van de richtlijnen te volgen, of bij onduidelijkheden in de richtlijnen kan het Kwaliteitsinstituut om advies worden gevraagd. Dat kan door uw vragen te stellen via onze website. Bij een landelijke meting moeten afwijkingen van de richtlijnen gemeld worden bij de TTP. In overleg met de TTP kunnen de te nemen stappen worden bepaald.
4
Werkinstructies voor de CQI Jeugdgezondheidszorg Consultatiebureau
versie: 3.3 d.d. : november 2013
3. Het uitvoeren van een meting met de CQI JGZ Consultatiebureau Hoe groot moet de steekproef zijn bij een meting met de CQI JGZ Consultatiebureau?5 Het onderzoek met de CQI JGZ Consultatiebureau heeft laten zien dat er minimaal 75 respondenten per consultatiebureau nodig zijn om verschillen tussen consultatiebureaus aan te kunnen tonen. Als het doel van de meting is om de prestaties van verschillende consultatiebureaus te vergelijken, dan zijn er dus minimaal 75 respondenten per consultatiebureau nodig. Dit aantal is ook voldoende voor betrouwbare analyses als er sprake is van een meting bij één enkel consultatiebureau. Bij een verwachte respons van 32% betekent dit dat er 235 cliënten per consultatiebureau moeten worden aangeschreven. Hoeveel instellingen moeten deelnemen bij een vergelijkend onderzoek met de CQI JGZ Consultatiebureau? Als het doel van de meting is om de prestaties van verschillende instellingen te vergelijken, dan is het wenselijk om 20 of meer consultatiebureaus mee te laten werken aan het onderzoek (zie het Handboek Eisen en Werkwijzen CQI-metingen WIS 07.02). Hoe trek ik een steekproef bij een meting met de CQI JGZ Consultatiebureau? Bij het trekken van een steekproef dienen de richtlijnen beschreven in het Handboek Eisen en Werkwijzen CQI-metingen PRO 02 gevolgd te worden. Instellingen die met de CQI JGZ Consultatiebureau willen gaan werken, kunnen een steekproef trekken uit cliënten die in een bepaalde periode het consultatiebureau met hun kind hebben bezocht. De exclusiecriteria voor de steekproef zijn als volgt. Cliënten worden uitgesloten: - Die vooraf hebben aangegeven niet mee te willen doen aan onderzoek; - Waarvan het kind ten tijde van het bezoek aan het consultatiebureau ouder is dan 3 jaar en 9 maanden; - Waarbij het bezoek niet in de afgelopen drie maanden is afgelegd (reken vanaf de verzenddatum van de vragenlijst). - In de voorgaande 12 maanden al zijn aangeschreven voor een andere CQI meting. Indien er in het onderzoek een vergelijking tussen zuigelingen (kind tussen de 0 en 14 maanden) en peuters (kind tussen 14 maanden en 4 jaar) gaat plaatsvinden, is het belangrijk dat in de steekproef evenveel zuigelingen als peuters vertegenwoordigd zijn. Het bestand waaruit de steekproef wordt getrokken dient in dit geval te worden gesplitst in twee bestanden: een bestand met zuigelingen en een bestand met peuters. De helft van de steekproef dient uit het zuigelingenbestand te worden getrokken, de andere helft uit het peuterbestand. Hoe gaat de dataverzameling met de CQI JGZ Consultatiebureau in zijn werk? De CQI JGZ Consultatiebureau kan worden gebruikt als schriftelijke vragenlijst. Ook is het toegestaan om een mixed mode dataverzameling uit te voeren, of de data geheel online te verzamelen. Volg hierbij de instructies in het Handboek Eisen en Werkwijzen CQI-metingen PRO 03.
5
Indien een instelling voor eigen doeleinden (continu) aan het meten is binnen de instelling, maar ook verplicht is tot deelname aan een landelijke meting kan er ‘achteraf’ een steekproef worden getrokken, d.w.z. een steekproef trekken van respondenten die dit jaar al hebben deelgenomen aan een meting. Als een steekproef achteraf wordt getrokken, moeten 75 respondenten worden geselecteerd. Zie ook het Handboek Eisen en Werkwijzen CQI-metingen WIS 02.03.
5
Werkinstructies voor de CQI Jeugdgezondheidszorg Consultatiebureau
versie: 3.3 d.d. : november 2013
Hoe gaat de data-invoer bij de CQI JGZ Consultatiebureau in zijn werk?
Bij schriftelijke dataverzameling vindt de data-invoer bij voorkeur plaats door middel van scannen. Gegevens die online worden verzameld dienen direct opgeslagen te worden in een databestand. Zie het Handboek Eisen en Werkwijzen CQI-metingen PRO 05 voor de richtlijnen voor het verwerken van de gegevens. In het Handboek Eisen en Werkwijzen CQImetingen WIS 05.01 staat beschreven welke stappen uitgevoerd moeten worden om de kwaliteit van de data-invoer te controleren en in het Handboek Eisen en Werkwijzen CQImetingen WIS 05.03 staat beschreven hoe databestanden op te leveren. Hoe gaat de opschoning van de gegevens bij de CQI JGZ Consultatiebureau in zijn werk? De stappen die uitgevoerd moeten worden voor het opschonen van het databestand staan beschreven in het Handboek Eisen en Werkwijzen CQI-metingen PRO 06, WIS 06.01 en BIJ 06.01. Hieronder worden de stappen genoemd waarbij enkele stappen voor de CQI JGZ Consultatiebureau nader gespecificeerd zijn. NB. Het kan zijn dat sommige opschoningstappen bij het online afnemen van de vragenlijst niet van toepassing zijn (bijv. het opschonen van screenervragen, omdat dit automatisch is ingebouwd). Voor de volledigheid worden hieronder wel alle opschoningstappen genoemd. 1 Controle 1.1 Check op kwaliteit van de data-invoer 1.2 Controle op dubbel ingevoerde respondenten/vragenlijsten 2 Mensen verwijderen die ten onrechte zijn aangeschreven 2.1 Verwijderen van lijsten retour wegens ‘overleden’ 2.2 Verwijderen van lijsten ‘onbestelbaar retour’ 2.3 Verwijderen van respondenten die niet tot de doelgroep behoren De volgende respondenten behoren niet tot de doelgroep en dienen verwijderd te worden: - Respondenten die bij vraag 1 ‘Nee’ hebben beantwoord óf respondenten die vraag 1 niet hebben ingevuld én de vragen 19, 39 en 59 niet hebben ingevuld/hebben beantwoord met ‘nee’. - Respondenten die vraag 86 (CQI JGZ Consultatiebureau) of vraag 94 (CQI JGZ Consultatiebureau met vragen over zorguitkomsten) ‘jonger dan 16’ hebben ingevuld. 3 Mensen verwijderen die wel behoren tot de doelgroep, maar die de vragenlijst onvoldoende of niet op de juiste manier hebben ingevuld 3.1 Verwijderen lege cases 3.2 Verwijderen van respondenten die de vragen niet zelf hebben beantwoord Respondenten die de vragen niet zelf hebben beantwoord moeten verwijderd worden. Het gaat om respondenten waarbij de optie ‘heeft de vragen in mijn plaats beantwoord’ op de vraag ‘Hoe heeft die persoon u geholpen’ (vr. 99 van de CQI JGZ Consultatiebureau of vr. 107 van de CQI JGZ Consultatiebureau met vragen over zorguitkomsten) is aangevinkt. Ook respondenten die aangeven dat ze hulp bij het invullen van de vragenlijst hebben gehad (ja op vr. 98 van de CQI JGZ Consultatiebureau of ja op vr. 106 van de CQI JGZ 6
Werkinstructies voor de CQI Jeugdgezondheidszorg Consultatiebureau
versie: 3.3 d.d. : november 2013
Consultatiebureau met vragen over zorguitkomsten) en bij de vervolgvraag niet aangeven waaruit deze hulp bestond dienen verwijderd te worden. 3.3 Controle screenervragen 3.4 Verwijderen van respondenten die onvoldoende vragen hebben beantwoord Respondenten die onvoldoende vragen hebben beantwoord moeten verwijderd worden. CQI JGZ Consultatiebureau: Het gaat om respondenten die 21 of meer van de sleutelvragen niet hebben ingevuld. De CQI JGZ Consultatiebureau bestaat uit de volgende 40 sleutelvragen: 1 t/m 16, 19, 39, 59, 66 t/m 69, 71, 73 t/m77, 82 t/m 84, 86 t/m 93. CQI JGZ Consultatiebureau met vragen over zorguitkomsten: Het gaat om respondenten die 23 of meer van de sleutelvragen niet heeft ingevuld. De CQI JGZ Consultatiebureau met vragen over zorguitkomsten bestaat uit de volgende 42 sleutelvragen: 1 t/m 16, 19, 39, 59, 66 t/m 69, 71, 73 t/m77, 82 t/m 84, 89, 92, 94 t/m 101. 3.5 Verwijderen van respondenten van wie één of meer van de case-mix adjusters onbekend zijn Als consultatiebureaus met elkaar vergeleken worden, dan moeten van de respondenten alle case-mix variabelen bekend zijn. In de CQI JGZ CB wordt gevraagd naar de volgende casemix variabelen: leeftijd (vr. 86 korte versie; vr. 94 lange versie), geslacht (vr. 87 korte versie; vr. 95 lange versie), opleiding (vr. 89 korte versie; vr. 97 lange versie) en ervaren gezondheid (vr. 84 korte versie; vr. 92 lange versie). Respondenten die één of meer van de bijbehorende vragen niet ingevuld hebben dienen verwijderd te worden. Ook respondenten die bij de vraag naar opleiding ‘anders, namelijk’ hebben aangevinkt moeten verwijderd worden. Hoe zien de analyses bij een meting met de CQI JGZ Consultatiebureau eruit? Het analyseren van gegevens verzameld met de CQI JGZ Consultatiebureau bestaat uit een aantal stappen. De richtlijnen voor het uitvoeren van de responsanalyses staan beschreven in het Handboek Eisen en Werkwijzen CQI-metingen WIS 06.03. Het Handboek Eisen en Werkwijzen CQI-metingen PRO 07 en WIS 07.01 beschrijven hoe vervolgens per vraag en per schaal/kwaliteitsdimensie CQI scores berekend kunnen worden. Bij het vergelijken van consultatiebureaus moeten de richtlijnen beschreven in het Handboek Eisen en Werkwijzen CQI-metingen WIS 07.02 gevolgd worden. Hoe ziet de case-mix adjustment eruit bij de CQI JGZ Consultatiebureau? In de vergelijkende analyses dient bij de CQI JGZ Consultatiebureau gecorrigeerd te worden voor de variabelen leeftijd (vr. 86 korte versie; vr. 94 lange versie), geslacht (vr. 87 korte versie; vr. 95 lange versie), opleiding (vr. 89 korte versie; vr. 97 lange versie) en ervaren gezondheid (vr. 84 korte versie; vr. 92 lange versie). van de respondenten (de zogenaamde case-mix adjusters). Hieronder staat aangegeven welke vragen van de CQI JGZ Consultatiebureau gecorrigeerd dienen te worden. Let op: bij sommige vragen staan extra antwoordcategorieën zoals ‘weet niet’ en ‘niet van toepassing’. Deze antwoordcategorieën moeten eerst omgecodeerd worden in missende waarden voordat de case-mix adjustment toegepast kan worden. Bij zowel de CQI JGZ Consultatiebureau en de CQI JGZ Consultatiebureau met vragen over zorguitkomsten moet bij de volgende vragen case-mix adjustment toegepast worden: 2 t/m 5,
7
Werkinstructies voor de CQI Jeugdgezondheidszorg Consultatiebureau
versie: 3.3 d.d. : november 2013
9 t/m 18, 20 t/m 23, 25 t/m 31, 33 t/m 35, 37, 38, 40 t/m 43, 45 t/m 51, 53 t/m 55, 57, 58, 60 t/m 62, 64 t/m 68, 74 t/m 76, 79 t/m 83. Bij de vragen 5, 9, 16 t/m 18, 20 t/m 23, 25 t/m 31, 33, 34, 37, 40 t/m 43, 45 t/m 51, 53, 54, 57, 60 t/m 62, 64, 76 dienen de laatste antwoordcategorieën eerst omgecodeerd te worden in missende waarden. De overige vragen dienen niet gecorrigeerd te worden. Hoe zien de rapportages over een meting met de CQI JGZ Consultatiebureau eruit? De vorm van de rapportage wordt in belangrijke mate bepaald door de achterliggende doelstelling bij de meting met de CQI JGZ Consultatiebureau. In het Handboek Eisen en Werkwijzen CQI-metingen WIS 08.01 & WIS 08.02 worden de richtlijnen en aanbevelingen voor drie soorten rapportages besproken: zorginkooprapportage voor verzekeraars, kwaliteitsrapportage voor zorgaanbieders en keuze-informatie voor (toekomstige) zorggebruikers. Het Handboek Eisen en Werkwijzen CQI-metingen WIS 08.03 geeft meer informatie over de verschillende typen metingen en de bijbehorende vorm van rapporteren. Om bij een rapportage de anonimiteit van de respondenten te waarborgen moet per consultatiebureau van minimaal 10 respondenten een ingevulde CQI JGZ Consultatiebureau beschikbaar en bruikbaar zijn.
8