De validiteit van kwaliteitssystemen in zorginstellingen.
Drs. K.M.M. Lemmens Dr. P.P.M. Harteloh Prof.Dr. J.A.Walburg
Een onderzoek uitgevoerd door het Instituut Beleid en Management Gezondheidszorg Onderdeel van het Erasmus MC te Rotterdam In opdracht van de Stichting Harmonisatie Kwaliteitsbeoordeling in de Zorgsector Augustus 2003
Inhoudsopgave INHOUDSOPGAVE
1
SAMENVATTING
4
1.
9
INLEIDING
1.1. 1.2. 1.3. 1.4. 1.5. 1.6. 2.
INLEIDING AANLEIDING DOELSTELLING PROBLEEMSTELLING METHODE DE INHOUD VAN HET RAPPORT MATERIAAL EN METHODE
2.1. 2.2. 2.3. 2.4. 2.4.1. 2.4.2. 2.4.3. 2.5. 2.5.1. 2.5.2. 2.5.3. 2.5.4. 2.6. 2.6.1. 2.6.2. 2.7. 3.
INLEIDING LITERATUURONDERZOEK INTERVIEWS CONCEPT MAPPING BRAINSTORM ORDENING EN WAARDERING INTERPRETATIE ENQUÊTE ONTWIKKELING VAN DE VRAGENLIJST RESPONS DATA-ANALYSE VALIDITEIT EN BETROUWBAARHEID ONDERZOEKSPOPULATIE HKZ GECERTIFICEERDE KWALITEITSSYSTEMEN ANDERE KWALITEITSSYSTEMEN SAMENVATTING
LITERATUURONDERZOEK
3.1. 3.2. 3.2.1. 3.2.2. 3.2.3. 3.2.4. 3.3. 3.3.1. 3.3.2. 3.3.3. 3.3.4. 3.3.5. 3.3.6. 3.4.
INLEIDING DE EFFECTEN VAN KWALITEITSSYSTEMEN KWALITEITSSYSTEMEN IN DE ZORG DE WAARDE VAN HKZ-CERTIFICATIE (NATIONAAL) ACCREDITATIE (INTERNATIONAAL) CERTIFICATIE IN HET BEDRIJFSLEVEN HET GEBRUIK VAN UITKOMSTINDICATOREN IN DE ZORG HET GEBRUIK VAN UITKOMSTINDICATOREN IN NEDERLAND GEESTELIJKE GEZONDHEIDSZORG THUISZORG APOTHEEK AMBULANCEDIENSTEN CPA SAMENVATTING
Lemmens et al. 2003. De validiteit van kwaliteitssystemen in zorginstellingen.
9 9 9 10 10 10 11 11 11 11 11 12 12 12 13 13 13 14 15 15 16 17 19 20 20 20 20 21 21 25 27 28 29 30 31 33 33 34
1
4.
UITKOMSTGEBIEDEN IN DE ZORG
4.1. 4.2. 4.3. 4.4. 4.5. 4.6. 4.7. 5.
INLEIDING DE GEESTELIJKE GEZONDHEIDSZORG DE THUISZORG DE APOTHEEK DE AMBULANCEDIENST DE CENTRALE POSTEN AMBULANCEVERVOER SAMENVATTING DE RELATIE TUSSEN CERTIFICATIE EN UITKOMSTEN VAN ZORG
5.1. 5.2. 5.2.1. 5.2.2. 5.2.3. 5.2.4. 5.3. 5.3.1. 5.3.2. 5.3.3. 5.3.4. 5.4. 5.4.1. 5.5.
INLEIDING METEN VAN UITKOMSTEN HET METEN VAN KLINISCHE UITKOMSTEN HET METEN VAN KWALITEIT VAN LEVEN, CONTINUÏTEIT EN ‘ADVERSE EVENTS’ HET METEN VAN CLIËNTTEVREDENHEID HET METEN VAN KOSTEN RELATIE KWALITEITSSYSTEEM EN HET METEN VAN UITKOMSTEN DE KLINISCHE UITKOMSTEN KWALITEIT VAN LEVEN, CONTINUÏTEIT EN ‘ADVERSE EVENTS’ CLIËNTTEVREDENHEID KOSTEN ONDERZOEK BESTAANDE DATABANKEN DE BENCHMARK THUISZORG SAMENVATTING
35 35 35 36 38 39 40 41 42 42 42 42 45 47 49 54 54 55 55 56 56 57 59
6. DE INVLOED VAN DE VERKLARENDE FACTOREN OP DE UITKOMSTEN VAN ZORG
60
6.1. 6.2. 6.2.1. 6.2.2. 6.2.3. 6.2.4. 6.2.5. 6.2.6. 6.3. 6.3.1. 6.3.2. 6.4.
60 60 60 61 61 61 62 62 63 63 63 65
7. 7.1. 7.2. 7.3.
INLEIDING OVERZICHT VAN DE VERKLARENDE FACTOREN ORGANISATIESTRUCTUUR WERKDRUK CULTUUR INTERNE FACTOREN VOLUME RELATIE VERKLARENDE FACTOREN EN CERTIFICATIE DE INVLOED VAN DE VERKLARENDE FACTOREN DE RELATIE TUSSEN CERTIFICAAT EN METING VAN UITKOMSTEN VERKLARING VAN DE RELATIE TUSSEN CERTIFICAAT EN METING VAN UITKOMSTEN SAMENVATTING
DISCUSSIE INLEIDING VALIDITEIT EN BETROUWBAARHEID ONDERZOEK NAAR EVIDENTIE VAN CERTIFICATIE
Lemmens et al. 2003. De validiteit van kwaliteitssystemen in zorginstellingen.
66 66 66 67
2
8.
CONCLUSIES
71
8.1. CONCLUSIES 8.2. AANBEVELINGEN 8.3. SECTORSPECIFIEKE AANBEVELINGEN 8.3.1. GGZ 8.3.2. THUISZORG 8.3.3. APOTHEEK 8.3.4. AMBULANCEDIENSTEN/ CPA
71 72 73 73 73 73 74
LITERATUURLIJST
75
BIJLAGE 1
HKZ CERTIFICATIESCHEMA
82
BIJLAGE II
CLUSTERS VAN UITKOMSTINDICATOREN GGZ
83
BIJLAGE III
CLUSTERS VAN UITKOMSTINDICATOREN THUISZORG
85
BIJLAGE IV
CLUSTERS VAN UITKOMSTINDICATOREN APOTHEEK
87
BIJLAGE V
CLUSTERS VAN UITKOMSTINDICATOREN AMBULANCEDIENST
89
BIJLAGE VI
CLUSTERS VAN UITKOMSTINDICATOREN CPA
91
Lemmens et al. 2003. De validiteit van kwaliteitssystemen in zorginstellingen.
3
Samenvatting In opdracht van de Stichting Harmonisatie Kwaliteitsbeoordeling in de Zorgsector (HKZ) is door het instituut Beleid en Mangement Gezondheidszorg (BMG) een verkennend onderzoek uitgevoerd naar de vraag naar de effecten van certificatie op de zorguitkomsten. De aanleiding voor dit onderzoek is de toenemende behoefte aan informatie over de concrete effecten van de invoering van kwaliteitssystemen. In dit onderzoek staat de volgende vraag centraal: Wat weten we van de mogelijke effecten van een HKZ gecertificeerd kwaliteitssysteem op de uitkomsten van zorgprocessen in instellingen?” Deze vraag valt uiteen in de volgende deelvragen: 1. Wat weten we van de effecten van (ISO) certificatie in de gezondheidszorg? 2. Welke uitkomstindicatoren hanteren zorginstellingen om (het effect van) zorgprocessen te evalueren? 3. Welke verschillen bestaan er tussen zorginstellingen op het gebied van uitkomstindicatoren in relatie tot hun kwaliteitssystemen? 4. Hoe zijn deze verschillen te verklaren in termen van structuur, cultuur, identiteit en (visie op het) kwaliteitsbeleid? De steekproef bestond uit zorginstellingen, gestratificeerd naar sector en het wel of niet gecertificeerd zijn, geselecteerd op beschikbaarheid van een HKZ model voor de sector. Hierdoor zijn de sectoren GGZ, thuiszorg, openbare apotheken, ambulancediensten en CPA’s geselecteerd. In de GGZ was het schema ten tijde van het onderzoek nog niet gereed, de GGZ is in dit onderzoek meegenomen ter voorbereiding op een longitudinaal vervolgonderzoek. In de laatste vier sectoren heeft het onderzoek een transversaal karakter. Voor de uitvoering van dit onderzoek is gebruik gemaakt van verschillende methoden. Een eerste inventarisatie heeft plaatsgevonden aan de hand van interviews. Daarnaast is er een uitgebreid literatuur onderzoek verricht naar de effecten van certificatie op de uitkomsten van het proces. Met behulp van concept mapping zijn de uitkomstindicatoren voor de diverse sectoren vastgesteld. Tenslotte heeft er een enquête plaatsgevonden om de relatie tussen certificatie en uitkomsten van zorg vast te stellen. Uit het literatuuronderzoek kwamen de volgende zaken naar voren: Het onderzoek naar de effecten van certificatie is vooral gericht op proces- en structuurkenmerken. Uit dat onderzoek komt naar voren dat certificatie en accreditatie positieve effecten hebben op zorgprocessen en op de structuuraspecten van zorginstellingen. Er weinig bekend is over de relatie tussen certificatie/ accreditatie en zorguitkomsten. Verklaringen hiervoor zijn onder meer: De voormalige ISO norm is weinig uitkomstgericht ten opzicht van de nieuwe ISO 9000: 2000 norm. Het is methodologisch gecompliceerd om de oorzaak van veranderingen in zorguitkomsten te isoleren. Zorguitkomsten worden bepaald door een combinatie van factoren. Daarvoor zijn meer geavanceerde onderzoeksdesigns nodig van longitudinale aard.
Lemmens et al. 2003. De validiteit van kwaliteitssystemen in zorginstellingen.
4
Met behulp van concept mapping zijn de verwachte effecten van de invoering van een kwaliteitssysteem op de uitkomsten van zorgprocessen vastgesteld. De concept mapping heeft inzicht verschaft in de uitkomstindicatoren die in de verschillende sectoren gehanteerd kunnen worden om de uitkomsten van het zorgproces te gaan managen (conceptueel kader). Vergelijking van de concept mapping en literatuur heeft geresulteerd in een indeling van de uitkomstindicatoren in het uitkomstenkwadrant. De uitkomstindicatoren zijn onder te brengen in vier uitkomstgebieden, te weten: klinische uitkomsten, cliënttevredenheid, kosten en kwaliteit van leven (GGZ en thuiszorg)/ ‘adverse events’ (apotheek)/ continuïteit (ambulancedienst en CPA). Sectoren
Uitkomstgebieden
GGZ
Thuiszorg
Apotheek
Ambulancedienst
CPA
Klinische indicatoren
+
+
+
+
+
Cliënttevredenheid
+
+
+
+
+
Kosten
+
+
+
+
+
Kwaliteit van leven
+
+
-
-
-
‘Adverse events’
-
-
+
-
-
Continuïteit
-
-
-
+
+
Aan de hand van een enquête is nagegaan in hoeverre in de verschillende sectoren al uitkomstenmetingen worden verricht in de context van het uitkomstenkwadrant. Hierbij is gekeken naar de relatie tussen HKZ-certificatie en uitkomsten van zorg en/of er verschillen bestaan tussen gecertificeerde en niet-gecertificeerde instellingen. Uit analyse komt naar voren dat in de sectoren sommige uitkomstenindicatoren uit het uitkomstenkwadrant reeds (veel) gemeten worden. Andere uitkomstindicatoren worden echter nog niet of nauwelijks gemeten. Met name de makkelijk te meten uitkomstindicatoren worden gemeten. Als wordt gekeken naar de verschillen in het meten tussen instellingen met een certificaat en instellingen zonder certificaat dan komt naar voren dat instelling met certificaat over het algemeen vaker uitkomsten meten dan instellingen zonder certificaat. Dit verschil is echter in veel gevallen niet significant. In de sector apotheken worden daarentegen zes uitkomstindicatoren significant meer gemeten door gecertificeerde apotheken dan door niet-gecertificeerde apotheken. Ook wordt de cliënttevredenheid in de ambulancezorg significant meer gemeten door gecertificeerde ambulancediensten dan door niet-gecertificeerde ambulancediensten. Gebruikmakend van de logistische regressie analyse is vervolgens nagegaan of de verschillen tussen gecertificeerde en niet-gecertificeerde instellingen te verklaren zijn in termen van structuur, cultuur, werkdruk, interne factoren, kwaliteitsbeleid en volume. Deze verklarende factoren blijken de relatie tussen HKZ-certificatie en het meten van uitkomsten nauwelijks te beïnvloeden bij de openbare apotheken. In deze sector verklaart alleen het kwaliteitsbeleid in een aantal gevallen iets van de relatie tussen HKZ-certificatie en het meten van uitkomsten. De verklarende factoren hebben in het geval van de ambulancedienst geen enkele invloed op de relatie tussen de aanwezigheid van een HKZ-certificaat en het meten van de cliënttevredenheid. Bij dit onderzoek zijn de volgende methodologische kanttekeningen te plaatsen: Het onderzoek naar de verschillen tussen gecertificeerde en niet-gecertificeerde instellingen is verkennend van aard omdat het aantal gecertificeerde instellingen te klein
Lemmens et al. 2003. De validiteit van kwaliteitssystemen in zorginstellingen.
5
was in verhouding tot het aantal niet-gecertificeerde instellingen. Daarbij komt dat veel van de niet-gecertificeerde instellingen soms al behoorlijk gevorderd waren in het traject van certificatie, dit kan de uiteindelijke resultaten hebben beïnvloed. Het hanteren van uitkomstindicatoren op een systematische manier is nog geen algemeen gebruik in de gezondheidszorg. Dat hangt samen met het feit dat de meeste kwaliteitssystemen sterk proces- en structuurgeoriënteerd zijn. De nieuwe ISO 9000: 2000 die de basis vormt voor de HKZ certificatieschema’s is veel meer uitkomstgeoriënteerd. Dat betekent dat instellingen die een certificaat ambiëren veel meer dan nu uitkomstindicatoren moeten gaan hanteren om aan de norm te voldoen. De vraag daarbij is in hoeverre de uitkomstindicatoren dan deel moeten gaan uitmaken van het HKZ model. Dit onderzoek moet nadrukkelijk worden gezien als een eerste verkenning van de mogelijkheden om vast te steleen of certificatie leidt tot betere zorguitkomsten. In die zin gaat dit onderzoek een stap verder dan het onderzoek dat aantoonde dat certificatie leidt tot verbetering van de processen en het onderzoek van De Jong & Van Doorne-Huiskes dat vele positieve effecten van certificatie identificeerde. Aan de hand van dit onderzoek kunnen de volgende conclusies worden geformuleerd: 1 Het onderzoek naar de effecten van certificatie is vooral gericht op proces- en structuurkenmerken. Uit dat onderzoek komt naar voren dat certificatie en accreditatie positieve effecten hebben op de zorgprocessen en op de structuuraspecten van zorginstellingen. In de gezondheidszorg is er nog weinig onderzoek verricht naar de effecten van kwaliteitssystemen op de uitkomsten van zorg. Als oorzaken hiervoor worden aangegeven: de relatie is moeilijk te onderzoeken, het verbeteren van de uitkomsten is niet het hoofddoel van certificatie/accreditatie en er zijn problemen in het vinden van een verbinding met de belangen van de medische staf. 2
Dit onderzoek heeft inzicht verschaft in de (gebieden van) uitkomstindicatoren die de GGZ, thuiszorg, apotheek, ambulancedienst en de CPA hanteren. De uitkomstindicatoren zijn onder te brengen in vier uitkomstgebieden, te weten: klinische uitkomsten, cliënttevredenheid, kosten en kwaliteit van leven (GGZ en thuiszorg)/ ‘adverse events’ (apotheek)/ continuïteit (ambulancedienst en CPA). De operationalisatie van de uitkomstgebieden is te vinden in bijlage 2 tot en met 6.
3
Instellingen met een certificaat meten over het algemeen vaker uitkomsten dan instellingen zonder certificaat. Zes uitkomstindicatoren worden significant meer gemeten door gecertificeerde apotheken dan door niet-gecertificeerde apotheken. Ook wordt de cliënttevredenheid in de ambulancezorg significant meer gemeten door gecertificeerde ambulancediensten dan door niet-gecertificeerde ambulancediensten. In de sectoren thuiszorg, ambulancedienst en CPA bleken de meeste verschillen tussen de gecertificeerde en niet-gecertificeerde instellingen in het meten van uitkomsten echter niet significant te zijn. Dit wordt mogelijk veroorzaakt door de kleine aantallen in de steekproef. In sommige sectoren is er nog slechts een relatief gering aantal gecertificeerde instellingen.
4
De sector apotheken laat zien dat de aanwezigheid van een certificaat samen gaat met het significant meer meten van uitkomstindicatoren. In deze sector was de onderzoeksgroep een stuk groter dan in de andere sectoren. Voorzichtig kan worden gezegd dat deze tendens er mogelijk op duidt dat als er in de andere sectoren meer
Lemmens et al. 2003. De validiteit van kwaliteitssystemen in zorginstellingen.
6
instellingen gecertificeerd waren, dat de verschillen dan wel significant zouden zijn geweest. 5
Bij de openbare apotheek beïnvloeden de verklarende factoren (structuur, cultuur, werkdruk, interne factoren) de relatie tussen HKZ-certificatie en het meten van uitkomsten nauwelijks. Alleen kwaliteitsbeleid blijkt de relatie in een aantal gevallen te verklaren. Mogelijk is een goed ontwikkeld kwaliteitsbeleid van grotere invloed op het meten van uitkomsten dan HKZ-certificatie. Deze twee variabelen zijn nauw gelieerd, een goed opgezet kwaliteitsbeleid leidt tot het meten van uitkomsten en certificatie.
Deze conclusies leiden tot de volgende aanbevelingen: 1a Er is methodologisch gedegen onderzoek nodig naar het effect van certificatie in de gezondheidszorg. Dit onderzoek dient longitudinaal van opzet zijn met een controlegroep. Voor het onderzoek is allereerst een nulmeting nodig om de uitgangssituatie te bepalen. Daarna dient op bepaalde momenten in de ontwikkeling van het kwaliteitssysteem aan de hand van de uitkomstenmeting te worden gekeken of er veranderingen plaatsvinden in de scores op de uitkomstenmeting. Dit moet worden gerelateerd aan de ontwikkelingsfase en de doelstellingen van het kwaliteitssysteem waarin de instelling zich bevindt. Op deze wijze kan inzicht worden verkregen in de relatie tussen de uitkomsten van zorg en de aanwezigheid van een HKZ gecertificeerd kwaliteitssysteem. 1b Literatuuronderzoek naar de effecten van accreditatie laat zien dat de betrokkenheid van de professional van belang is om daadwerkelijk effect te kunnen hebben op de uitkomsten van de zorg. Het is niet bekend of dat ook geldt voor andere sectoren, zoals de thuiszorg en de GGZ. Een inventarisatie van de betrokkenheid van de professional bij HKZcertificatie is nodig. 2a De stichting HKZ zou moeten onderzoeken of instellingen aan de hand van het certificaat meer gestimuleerd kunnen worden om uitkomstenindicatoren binnen hun organisatie te ontwikkelen. In de oude ISO-norm wordt slechts impliciet gevraagd de PDCA-cyclus te hanteren. De veranderde ISO-norm maakt een groot verschil, de oude norm was meer gericht op procesmatig beschrijven, de nieuwe norm houdt het procesmatig beschrijven in én verplicht expliciet tot een feedbackloop (verbetercyclus). 2b HKZ kan met de invoering van de nieuwe ISO-certificatie de taak op zich nemen om tot harmonisatie van uitkomsten te komen. De nieuwe generatie ISO verplicht tot het gebruik van uitkomstindicatoren. HKZ en de brache- en/of koepelorganisaties moeten een discussie starten over welke uitkomstindicatoren binnen de sector gemeten moeten worden om de kwaliteit van zorg te waarborgen en welke plaats deze krijgen in het HKZcertificaat. 2c HKZ zou bij de ontwikkeling van uitkomstindicatoren ondersteuning kunnen bieden aan de instellingen door bijvoorbeeld enkele voorbeelden of handvatten aan te reiken. Het uitkomstenkwadrant kan een richtinggevend kader vormen voor de gebieden waarop de instellingen uitkomstindicatoren moeten ontwikkelen. 3
Twee ontwikkelingen maken het interessant om in de toekomst de relatie tussen HKZcertificatie en uitkomsten van zorg te meten. De eerste ontwikkeling is dat eind 2003 alle HKZ-gecertificeerde organisaties moeten voldoen aan het nieuwe HKZ-certificaat. Het
Lemmens et al. 2003. De validiteit van kwaliteitssystemen in zorginstellingen.
7
meten van uitkomsten maakt expliciet onderdeel uit van het nieuwe certificaat, hierdoor houden de HKZ-gecertificeerde instellingen zich bezig met het meten en verbeteren van hun uitkomsten. Daarnaast zullen er grotere aantallen gecertificeerde instellingen in de toekomst zijn, waardoor verschillen tussen de twee groepen beter vastgesteld kunnen worden. 4
Er zijn meer gedetailleerde gegevensbestanden nodig om de relatie tussen uitkomsten en certificatie te onderzoeken. In de openbare apotheek sector beschikken ze over een zeer gedetailleerd bestand met de nodige uitkomstindicatoren. De analyse van zulke bestanden is mogelijk een optie voor verder onderzoek naar de relatie tussen uitkomsten in de openbare apotheek en certificatie.
Lemmens et al. 2003. De validiteit van kwaliteitssystemen in zorginstellingen.
8
1.
Inleiding
1.1.
Inleiding
In opdracht van de Stichting Harmonisatie Kwaliteitsbeoordeling in de Zorgsector (HKZ) is door het instituut Beleid en Mangement Gezondheidszorg (BMG) een verkennend onderzoek uitgevoerd naar de vraag naar de effecten van certificatie op de zorguitkomsten. De resultaten van dit onderzoek worden in dit rapport beschreven. In het eerste hoofdstuk komen de aanleiding voor het onderzoek, de doelstelling, de probleemstelling en de methode van onderzoek aan de orde.
1.2.
Aanleiding
De ontwikkeling van kwaliteitssystemen heeft in de gezondheidszorg een hoge vlucht genomen. Daarbij is er in de diverse sectoren gestreefd naar systemen die recht doen aan het specifieke karakter van zorginstellingen. In 1994 is naar aanleiding van de Leidschendamconferentie van 2000 de Stichting Harmonisatie Kwaliteitsbeoordeling in de Zorgsector (SHKZ) in het leven geroepen, met als doel het ontwikkelen van een generiek model (HKZ-model) op basis waarvan sectorspecifieke beoordelings- en certificatieschema’s worden ontwikkeld. Het certificaat geeft aan dat kwaliteitsborging in de instelling op alle aandachtgebieden van het HKZ-model aantoonbaar is geregeld en het kwaliteitssysteem effectief operationeel is. Toetsing van zorginstellingen aan de hand van HKZ-schema's wordt uitgevoerd door onafhankelijke certificatie-instellingen. Veel instellingen hebben hoge verwachtingen omtrent de effecten van kwaliteitssystemen op de uitkomsten van de zorg. Naar de effecten van het kwaliteitssysteem als geheel en de mate waarin dit systeem bijdraagt aan de kwaliteit van zorg in een instelling is nog nauwelijks onderzoek verricht. Wel is er een aantal onderzoeken verricht naar de ontwikkeling van kwaliteitssystemen in zorginstellingen (Sluijs & Wagner 2000). De vraag rijst nu in hoeverre een gecertificeerd kwaliteitssysteem inderdaad een positief effect heeft op de uitkomsten van het zorgproces in de instelling. Beantwoording van deze vraag naar de validiteit van een kwaliteitssysteem vereist criteria om de aanwezige systemen in relatie tot uitkomsten van het zorgproces te evalueren. Dergelijke criteria zijn nog niet geëxpliciteerd, wel zijn procesindicatoren geformuleerd die betrekking hebben op zaken als wachttijden, et cetera. Ons onderzoek is in de eerste plaats gericht op uitkomstindicatoren om het effect van een gecertificeerd kwaliteitssysteem op de zorg te kunnen vaststellen. Daarbij kan worden gedacht aan uitkomstindicatoren op het gebied van de patiëntenzorg (klinische indicatoren), de stakeholders of belanghebbenden (directie/ bestuur, medewerkers, patiënten, zorgverzekeraars), de kwaliteit van leven, financiën, of andere door middel van dit onderzoek vast te stellen relevante aandachtgebieden.
1.3.
Doelstelling
In dit onderzoek willen we proberen vast te stellen wat de effecten van een gecertificeerd kwaliteitssysteem zijn. Daartoe willen we een relatie leggen tussen eigenschappen van de zorginstelling (kwaliteitsbeleid, proces, identiteit en cultuur), de elementen van het aanwezige kwaliteitssysteem, en een nader te bepalen verzameling indicatoren, die een maat zijn voor uitkomsten. Het onderzoek beoogt tevens een bijdrage te leveren aan de evaluatie en
Lemmens et al. 2003. De validiteit van kwaliteitssystemen in zorginstellingen.
9
ontwikkeling van het HKZ-model. Het sluit daarbij aan bij een rapport over certificatieprocessen in de zorg en welzijnssector (Van Beek & Hendrikse 2001), waarin een eerste evaluatie van het HKZ-model plaatsvindt, zij het nog niet in termen van uitkomstindicatoren.
1.4.
Probleemstelling
In dit onderzoek staat de volgende vraag centraal: Wat weten we van de mogelijke effecten van een HKZ gecertificeerd kwaliteitssysteem op de uitkomsten van zorgprocessen in instellingen?” 1. Wat weten we van de effecten van (ISO) certificatie in de gezondheidszorg? 2. Welke uitkomstindicatoren hanteren zorginstellingen om (het effect van) zorgprocessen te evalueren? 3. Welke verschillen bestaan er tussen zorginstellingen op het gebied van uitkomstindicatoren in relatie tot hun kwaliteitssystemen? 4. Hoe zijn deze verschillen te verklaren in termen van structuur, cultuur, identiteit en (visie op het) kwaliteitsbeleid?
1.5.
Methode
De onderzoeksmethode bestaat uit literatuuronderzoek, interviews met belanghebbenden (stakeholders), groepsbijeenkomsten (concept mapping) en een enquête. Het steekproefkader wordt gevormd door zorginstellingen, gestratificeerd naar sector en mate van certificatie (niet, voorbereid, certificaat), geselecteerd op aanwezigheid SHKZ model voor de sector. In sectoren waarvoor thans een schema aanwezig is (bijlage I), heeft de survey een transversaal karakter. Het vervolgonderzoek gaat zich richten op de GGZ, waarvoor recent een schema gereed is gekomen, dit onderzoek heeft een longitudinaal karakter. In hoofdstuk 3 wordt verder op de gebruikte methoden ingegaan.
1.6.
De inhoud van het rapport
Dit rapport betreft de resultaten van het onderzoek naar de effectiviteit van kwaliteitssystemen in zorginstellingen. In hoofdstuk 3 wordt de onderzoeksmethode besproken. Vervolgens wordt in hoofdstuk 3 het literatuuronderzoek beschreven naar de effecten van kwaliteitssystemen op uitkomsten van zorg en het gebruik van uitkomstindicatoren in de zorg. De resultaten van het empirische onderzoek worden gepresenteerd in de hoofdstukken 4, 5 en 6. In deze hoofdstukken worden respectievelijk de uitkomstgebieden in de zorg, de relatie tussen certificatie en uitkomsten van zorg en de invloed van de verklarende factoren op de uitkomsten van zorg gepresenteerd. Hoofdstuk 7 betreft de discussie van de resultaten. Tot slot worden in hoofdstuk 8 de conclusies gepresenteerd.
Lemmens et al. 2003. De validiteit van kwaliteitssystemen in zorginstellingen.
10
2.
Materiaal en methode
2.1.
Inleiding
Dit onderzoek betreft een survey, waarbij gebruik is gemaakt van verschillende methoden: literatuuronderzoek, interviews, groepsbijeenkomsten (concept mapping) en een schriftelijke enquête. In dit hoofdstuk vindt een beschrijving plaats van deze methoden.
2.2.
Literatuuronderzoek
Er is gestart met literatuuronderzoek waarbij onder meer is gekeken naar effecten van kwaliteitssystemen, uitkomstindicatoren en de factoren die certificering beïnvloeden. Bij het literatuuronderzoek is gebruik gemaakt van de sneeuwbalmethode; de referenties of onderwerpen in de gevonden literatuur hebben geleid tot het vinden van nieuwe, relevante literatuur. Er zijn verschillende informatiebronnen geraadpleegd. Voor deze literatuurstudie is gebruik gemaakt van verschillende databanken, zoals Online Contents, PubMed en de Cochrane Library. Daarnaast is gezocht in belangrijke algemene medische tijdschriften, zoals de JAMA, BMJ, etc. en belangrijke specifieke tijdschriften zoals Milbank Quarterly, International Journal for Quality in Health Care, Quality in Health Care, etc. Trefwoorden voor het vinden van literatuur over de effecten van certificatie op uitkomsten van zorg vormden onder andere combinaties van woorden als “impact”, “effect”, “value” met “certification” en “accreditation”. Daarnaast is voor uitkomstindicatoren in de verschillende sectoren en in het algemeen gezocht naar literatuur waarbij gebruik werd gemaakt van de trefwoorden “indicator”, “outcome-indicator”, en dergelijke. Een andere informatiebron die gebruikt is, is het internet. Er zijn verschillende zoekmachines geraadpleegd, waaronder Google en Startpagina.
2.3.
Interviews
Aan de hand van het literatuuronderzoek is een topiclijst ontwikkeld voor de interviews. Er is gebruik gemaakt van vrije attitude interviews. Het vrije attitude interview is geschikt als eerste stap op weg naar een gestandaardiseerde vragenlijst (Vrolijk 1985). Tijdens de interviews is een aantal onderwerpen ter sprake gekomen. In eerste instantie werd de focus voor de concept mapping “Welk effect zou de invoering van een kwaliteitssysteem op de zorguitkomsten in de instelling moeten hebben” besproken. De focus is aan de hand van de interviews bijgesteld. Tevens is geïnventariseerd welke uitkomstindicatoren de organisatie reeds hanteerde, daarnaast zijn de veranderingen als gevolg van de invoering van het HKZsysteem besproken en zijn de invloeden van de organisatie op het certificatieproces geïnventariseerd.
2.4.
Concept Mapping
Na de interviews is een aantal groepsbijeenkomsten gehouden. Daarbij is gebruik gemaakt van de methode ‘concept mapping’. Deze methode is door Trochim (1989) ontwikkeld en kan door een groep personen gebruikt worden om een gemeenschappelijk begrippenkader of een idee te expliciteren. Dit gemeenschappelijke begrippenkader wordt aan de hand van een kaart weergegeven. De methode kan gebruikt worden voor plannings-, evaluatie- en onderzoeksdoeleinden. In dit onderzoek is de methode gebruikt voor de ontwikkeling van een
Lemmens et al. 2003. De validiteit van kwaliteitssystemen in zorginstellingen.
11
vragenlijst naar uitkomstindicatoren. Er kunnen drie stappen onderscheiden worden: de brainstorm, ordening en waardering van de uitspraken en de interpretatie van de concept map. Alleen in de thuiszorg bleek het mogelijk mensen bijeen te krijgen voor een brainstorm, in de andere sectoren zijn de stappen anders vormgegeven.
2.4.1. Brainstorm Middels een brainstorm zijn stellingen gegenereerd die idealiter het gehele conceptuele domein van het betreffende onderwerp beslaan (Trochim 1989). Hierbij is tijdens de groepsbijeenkomst een focus aan de deelnemers voorgelegd. De focus luidde: “Welk effect zou de invoering van een kwaliteitssysteem op de uitkomsten van zorgprocessen (moeten) hebben?” De deelnemers hebben aan de hand van de focus zoveel mogelijk uitspraken gedaan, zonder met elkaar in discussie te gaan. Elke uitspraak moest helder en kort geformuleerd worden, zodat deze duidelijk was voor de andere deelnemers. In de telefonische interviews is met de deelnemers individueel gebrainstormd over de focus. Hierbij zijn de technieken van het vrije-attitude-interview gehanteerd. De deelnemers kregen één vraag (de focus) voorgelegd en konden daarop reageren. Via diverse technieken en vaardigheden is de geïnterviewde gestimuleerd uitkomsten te formuleren. Dit gebeurde aan de hand van ‘doorvragen’, ‘herhalen van de antwoorden’ en samenvattingen.
2.4.2. Ordening en waardering De tweede fase bestond uit het ordenen en waarderen van de uitspraken. De uitspraken zijn geordend naar inhoud (clusteren) en naar belangrijkheid (prioriteren). Deze opdracht voerden de deelnemers individueel uit. Bij de ordening moesten de deelnemers de uitspraken in groepjes onderbrengen. De deelnemers werden vrijgelaten in het aantal groepjes dat ze maakten, mits er niet één groep ontstond of dat het aantal groepjes gelijk was aan het aantal uitspraken. Door middel van de ordening is inzicht verkregen in de inhoudelijke samenhang tussen de uitspraken. Daarnaast kreeg iedere deelnemer een lijst met uitspraken, waarop iedere uitspraak gewaardeerd kon worden. De waarden 1, 2, 3, 4 en 5 werden gedefinieerd als respectievelijk niet belangrijk, een beetje belangrijk, belangrijk, heel belangrijk en zeer belangrijk. De waardering wordt vervolgens gebruikt om de lengte van de vragenlijst te beperken; alleen uitkomsten van groot belang of lage brugscore zijn in de vragenlijst van het vervolgonderzoek opgenomen.
2.4.3. Interpretatie De sortering en de score zijn in het computerprogramma ingevoerd. Het resultaat is berekend en gepresenteerd in de vorm van een (land)kaart, waarop iedere uitspraak als een stip is afgebeeld. Naarmate de uitspraken dichter bij elkaar zijn afgebeeld, zijn ze vaker door de personen in hetzelfde groepje geplaatst. Er is dan een inhoudelijke overeenkomst tussen bepaalde uitkomsten van zorgprocessen aanwezig. Het computerprogramma berekent op grond van de resultaten van de sorteeropdracht grenzen rondom groepjes uitspraken (clusteranalyse) en suggereert op deze manier een oplossing. De deelnemers moesten de clusters benoemen als uitkomstgebieden van het zorgproces. Op deze manier ontstaat een beeld van het conceptuele kader dat een groep personen hanteert als het gaat om uitkomsten van het zorgproces in relatie tot de invoering van een kwaliteitssysteem. Bij de interpretatie zijn sommige uitspraken verplaatst en zijn enkele clusters samengevoegd.
Lemmens et al. 2003. De validiteit van kwaliteitssystemen in zorginstellingen.
12
2.5.
Enquête
Aan de hand van de focusgroepen en gegevensanalyse is de vragenlijst opgesteld. De vragenlijst is gericht aan de kwaliteitsfunctionaris in de instellingen. In de GGZ sector is geen enquête uitgevoerd, aangezien er in deze sector nog geen HKZ-gecertificeerde instellingen waren ten tijde van dit onderzoek.
2.5.1. Ontwikkeling van de vragenlijst De vragenlijst bestaat uit drie onderdelen. Het eerste gedeelte van de vragenlijst bevat vragen over de mate van certificatie van de instelling. Hierbij zijn gegevens verkregen in hoeverre een organisatie zich bezig houdt met het werken aan kwaliteit of certificatie. Als uitgangspunten zijn de verschillende onderdelen van het HKZ-model genomen. Van deze onderdelen is gevraagd, aan de hand van de deming-cyclus, in hoeverre dit binnen de organisatie is ontwikkeld. Per onderdeel konden punten worden behaald, hoe verder in de deming-cyclus, hoe meer punten. Deze punten tellen uiteindelijk op tot een totaalscore voor kwaliteitsbeleid. In het tweede gedeelte van de vragenlijst wordt bepaald in welke mate uitkomsten van zorgprocessen worden gemeten. Daarbij is zoveel mogelijk aangesloten bij het conceptuele kader dat is ontstaan uit de concept mapping. De selectie van de items heeft plaatsgevonden aan de hand van het belang dat eraan werd toegekend, de waardering. In het derde gedeelte van de vragenlijst zijn gegevens over een aantal kenmerken van de instelling verzameld. Hierbij is getracht de kenmerken van de organisatie, die de uitkomsten van zorgprocessen beïnvloeden, te achterhalen. De stellingen over structuur, werkdruk en interne factoren zijn deels ontleend aan het onderzoek van Sluijs en Wagner (2000). Het cultuuraspect is ontleend aan de vragenlijst van Shortell et al. (1995). De volumeaspecten zijn ontleend aan de gehanteerde volumematen in de sectoren. De vragenlijst is getoetst aan de hand van een pilot alvorens deze verspreid is. De vragenlijst heeft een gesloten karakter. Er zijn antwoordcategorieën opgesteld voor de respondenten. Bij de verwerking van de antwoorden is gebruik gemaakt van het statistische computerprogramma SPSS 10.0 (Statistical Package for the Social Sciences).
2.5.2. Respons De respondenten hebben eerst een schriftelijke aankondiging van de vragenlijst ontvangen. Vervolgens zijn de vragenlijsten verstuurd. In de brief werd aangegeven dat de koepel- of brancheorganisatie achter dit onderzoek staat. Nadat de responstermijn van drie weken was verstreken, zijn de instellingen in de thuiszorg, ambulancezorg en de CPA’s telefonisch benaderd met de vraag of zij alsnog de vragenlijst konden terugzenden. In deze sectoren is gestreefd naar een zo hoog mogelijk respons, gezien het lage aantal gecertificeerde organisaties. Alle apotheken waarvan nog geen enquête retour was gekomen, hebben een tweede exemplaar met een herhaald verzoek tot deelname ontvangen. Dit heeft de respons bij de apotheek verhoogd van 29% naar 43%.
Lemmens et al. 2003. De validiteit van kwaliteitssystemen in zorginstellingen.
13
Tabel 2.1
De responspercentages van de vragenlijsten
Thuiszorg
Apotheek
Ambulancedienst
CPA
Totaal
Vragenlijsten verstuurd
30
357
39
12
438
Vragenlijsten retour
24
153
19
9
205
80%
43%
49%
75%
47%
Respons
Er werden verschillende argumenten gebruikt om niet deel te nemen aan het onderzoek. In de thuiszorg werd veelal aangegeven dat de aangeschreven personen het te druk hadden. De sectoren ambulancediensten en CPA’s gaven te kennen dat zij overspoeld werden met enquêtes, hetgeen voor sommigen een reden was de enquête niet in te vullen. Daarnaast heeft de fusiegolf tot RAV’en (Regionaal Ambulance Voorziening) invloed gehad op de respons van de ambulancediensten. Hierdoor waren, in een aantal gevallen, de aangeschreven personen niet meer aanwezig en was het onduidelijk wie de vragenlijst moest invullen. Opvallend is dat bij de apotheken ruim de helft van de geretourneerde vragenlijsten (54%) afkomstig is van gecertificeerde apotheken, in verhouding tot eenderde van het totale aantal vragenlijsten.
2.5.3. Data-analyse Nadat de gegevens zijn verzameld en geprepareerd voor de analyse, zijn verschillende frequentieberekeningen uitgevoerd, hierdoor is inzicht verkregen in de onderzoekspopulatie. De gegevens die middels de vragenlijst zijn verzameld, zijn hoofdzakelijk van nominaal en ordinaal niveau, dit heeft als gevolg dat bij de frequentieberekeningen kan worden volstaan met tellingen en percentages. Doel van het onderzoek is te weten te komen of gecertificeerde instellingen eerder geneigd zijn om uitkomsten te meten dan niet-gecertificeerde instellingen. Deze gegevens zijn tegen elkaar afgezet in kruistabellen. Om te kijken of de waargenomen verschillen tussen gecertificeerde en niet-gecertificeerde instellingen in de kruistabellen significant zijn, is gebruik gemaakt van de Fisher’s-exact-toets en de Chikwadraattoets. De Fisher’s-exact-toets is gebruikt voor analyse van de gegevens van de thuiszorg, ambulancedienst en CPA, omdat het hier een kleine steekproef (<25) betreft. Bij de gegevensanalyse van de apotheken is de Chikwadraattoets gebruikt. Voor de interpretatie van de resultaten van de Fisher’s-exact-toets en de Chikwadraattoets wordt een betrouwbaarheidsinterval van 95% gehanteerd. Dit houdt in dat als de waarde kleiner is dan 0,05 dat een significant verschil bestaat tussen de instellingen met en zonder een HKZ-certificaat ten aanzien van het meten van die uitkomst, en de nulhypothese is verworpen. Met de logistische regressie analyse is nagegaan of certificatie en de achtergrondkenmerken van invloed zijn op het meten van uitkomsten. Omdat de afhankelijke variabele (meten van uitkomsten) dichotoom is (er zijn maar twee categorieën (ja en nee)) en van ordinaal niveau is, is voor de logistische regressie analyse gekozen. De aanwezigheid van een HKZ-certificaat en de verklarende factoren vormen in dit analysemodel de onafhankelijke variabelen die van invloed zijn op de afhankelijke variabele (meten van uitkomsten) (figuur 2.1). De logistische regressie analyse kan door middel van de odds ratio de sterkte van het verband tussen de onafhankelijke en afhankelijke variabele aangeven.
Lemmens et al. 2003. De validiteit van kwaliteitssystemen in zorginstellingen.
14
Figuur 2.1
Conceptueel model
Certificaat Meten (ja)
Geen certificaat
Niet meten (nee)
Kwaliteitsbeleid
Structuur
Cultuur
Werkdruk
Interne factoren
Volume
Een voorwaarde om de resultaten van de logistische regressie analyse naar de populatie te kunnen vertalen is dat de chikwadraattoets significant is. Aangezien dit, mogelijk mede veroorzaakt door de kleine aantallen, in veel gevallen niet zo is, is slechts voor een aantal vergelijkingen de logistische regressie uitgevoerd. Voor de gevallen waarin geen logistische regressieanalyse mogelijk is, wordt aan de hand van kruistabellen de relatie tussen de aanwezigheid van een HKZ-certificaat en de verklarende factoren onderzocht.
2.5.4. Validiteit en betrouwbaarheid De validiteit van het meetinstrument houdt in dat het meetinstrument de volledige inhoud van het gemeten begrip dekt; je meet wat je beoogt te meten (Baarda & De Goede 1998). In het instrument moeten dus alle aspecten van het gemeten begrip voorkomen. Inhoudelijke validiteit wordt aangegeven als het verband tussen de abstracte definitie en de operationalisering daarvan in een concrete definitie (het meetinstrument) (Bergen et al. 1977). Om de validiteit van het onderzoek te waarborgen is gebruik gemaakt van triangulatie, een pilotonderzoek en is er een vragenlijst over het meetinstrument afgenomen. Triangulatie houdt in het tegelijkertijd gebruik maken van verschillende dataverzamelingsmethoden of databronnen, om een zo juist mogelijk beeld van de werkelijkheid te krijgen (Baarda et al 1998). Betrouwbaarheid wil zeggen dat de onderzoeksresultaten zo min mogelijk van toevalligheden afhankelijk zijn (idem). De betrouwbaarheid is onderzocht aan de hand van een betrouwbaarheidsanalyse, namelijk de item-analyse. Deze analyse geeft aan de hand van de homogeniteitsindex alpha (Cronbachs alpha) aan of het gerechtvaardigd is om verschillende items op te tellen tot één score, zoals het optellen van verschillende vragen over het kwaliteitsbeleid tot één score kwaliteitsbeleid. De Cronbachs alpha kan een waarde hebben van 0 tot 1.00, waarbij 0 betekent dat er totaal geen samenhang is tussen de vragen en 1.00 dat de vragen elkaar volledig overlappen. Als een item leidt tot verlaging van de homogeniteit kan dit item beter weggelaten worden.
2.6.
Onderzoekspopulatie
Aan het onderzoek hebben verschillende lidinstellingen van de vier koepel- of brancheorganisaties deelgenomen. Zij hebben ook de adresgegevens verstrekt. Alvorens van start is gegaan met het empirische deel van het onderzoek, is het steekproefkader
Lemmens et al. 2003. De validiteit van kwaliteitssystemen in zorginstellingen.
15
vastgesteld. Het steekproefkader is gevormd door de adressenbestanden van de koepel- of brancheorganisatie. Omdat het onderzoek zich richt op de verschillen tussen gecertificeerde en niet-gecertificeerde instellingen of organisaties is dit de basis geweest voor de selectie van de steekproef. Bij een dergelijk onderzoek is het dus van belang dat de steekproef representatief is op het kenmerk certificatie (gestratificeerde steekproef). Gezien het verhoudingsgewijs kleine aantal gecertificeerde instellingen zijn in dit onderzoek alle gecertificeerde instellingen meegenomen. Naast deze groep is een twee keer zo grote groep niet-gecertificeerde instellingen geplaatst. In deze groep bevinden zich zowel instellingen die bezig zijn met certificatie als instellingen die niet aan certificatie werken. Bij de selectie van niet-gecertificeerde instellingen is gekeken naar de landelijke spreiding, door verhoudingsgewijs overeenkomstige aantallen respondenten uit elke provincie te selecteren.
2.6.1. HKZ gecertificeerde kwaliteitssystemen Om een beeld te krijgen van de respondenten wordt in de volgende figuren een overzicht van de mate en duur van certificatie in de verschillende sectoren uit de steekproef weergegeven. Figuur 2.2 geeft een overzicht van het voorkomen van HKZ-gecertificeerde kwaliteitssystemen. Van de respondenten beschikt 54% van de apotheken, 42% van de ambulancediensten, 33% van de CPA’s en 21% van de thuiszorginstellingen over een HKZcertificaat. Figuur 2.3 laat zien hoelang de HKZ-gecertificeerde instellingen reeds over hun certificaat beschikken. Opvallend is dat de gecertificeerde CPA’s al geruime tijd over een HKZ-certificaat beschikken, 100% beschikt al meer dan twee jaar over het certificaat. Bij de thuiszorg en de apotheken is een meer geleidelijke spreiding van de tijd dat organisaties over een certificaat beschikken. Figuur 2.2
HKZ-certificaat (n=153, n=19, n=9, n=24)
Lemmens et al. 2003. De validiteit van kwaliteitssystemen in zorginstellingen.
16
Figuur 2.3
Hoe lang is de instelling gecertificeerd (n=153, n=19, n=9, n=24)
2.6.2. Andere kwaliteitssystemen Naast het HKZ-certificaat bestaan er verschillende andere modellen of systemen die instellingen kunnen gebruiken om hun kwaliteitsbeleid vorm te geven. De aanwezigheid van deze modellen kan van invloed zijn op de relatie tussen HKZ-certificatie en het meten van uitkomsten. Het gebruik van de overige modellen of systemen is om deze reden in kaart gebracht. De thuiszorgorganisaties is gevraagd of er op directieniveau een keuze is gemaakt voor een kwaliteitssysteem (figuur 2.4). Van de respondenten heeft 79% aangegeven voor één of een combinatie van kwaliteitssystemen op directieniveau te hebben gekozen en heeft 21% aangegeven geen keuze te hebben gemaakt. Deze vraag is in de andere sectoren niet aan de orde geweest omdat in de apotheken niet echt een directie aanwezig is. De sectoren ambulancediensten en CPA’s hebben zelf, via de koepel, uitgesproken volledig HKZgecertificeerd te willen zijn in 2003.
Lemmens et al. 2003. De validiteit van kwaliteitssystemen in zorginstellingen.
17
Figuur 2.4
Directiekeuze kwaliteitssysteem (thuiszorg) (n=24)
Vervolgens is aan de thuiszorgorganisaties gevraagd welke kwaliteitssystemen of modellen zijn gebruikt om het kwaliteitsbeleid vorm te geven (Figuur 2.5). Figuur 2.5
Gebruik kwaliteitssystemen in de thuiszorg (n=24)
Lemmens et al. 2003. De validiteit van kwaliteitssystemen in zorginstellingen.
18
Eén instelling kan meerdere systemen gebruiken. In de onderstaande tabel is een overzicht gegeven van het gebruik van kwaliteitssystemen van de niet HKZ-gecertificeerde instellingen. Alle instellingen (100%) gaven aan een kwaliteitssysteem of model te gebruiken. Het meest gebruikte model bij de opbouw van een kwaliteitssysteem vormt het keurmerk van de LVT (74%). Tabel 2.2
Percentages gebruik kwaliteitssystemen door niet-gecertificeerde instellingen
Sector
Geen
Apotheek Ambulancedienst CPA Thuiszorg Totaal
HKZ
ISO
INK
LVT
MIKV
NAN
Anders
8,6
65,7
24,3
65,7
-
-
65,7
11,4
0
90,9
0
18,2
-
-
-
9,1
16,7
83,3
0
0
-
-
-
0
0
52,6
10,5
36,8
74
10,5
-
26,3
6,3
80,8
8,7
30,1
-
-
-
11,7
In tabel 2.2 wordt een overzicht gegeven van de modellen of systemen die organisaties gebruiken, die niet HKZ-gecertificeerd zijn, om hun kwaliteitsbeleid vorm te geven.
2.7.
Samenvatting
Voor de uitvoering van dit onderzoek is gebruik gemaakt van verschillende methoden. Een eerste inventarisatie heeft plaatsgevonden aan de hand van interviews. Daarnaast is er een uitgebreid literatuur onderzoek verricht naar de effecten van certificatie op de uitkomsten van het proces. Met behulp van concept mapping zijn de uitkomstindicatoren voor de diverse sectoren vastgesteld. Tenslotte heeft er een enquête plaatsgevonden om de relatie tussen certificatie en uitkomsten van zorg vast te stellen.
Lemmens et al. 2003. De validiteit van kwaliteitssystemen in zorginstellingen.
19
3.
Literatuuronderzoek
3.1.
Inleiding
Hoever zijn we al op weg met het meten van uitkomsten van zorg? In het derde hoofdstuk wordt een overzicht gegeven de effecten van kwaliteitssystemen op de uitkomst van het (zorg)proces die uit de literatuur naar voren zijn gekomen. Vervolgens wordt ingegaan op het gebruik van uitkomstindicatoren in de zorg.
3.2.
De effecten van kwaliteitssystemen
De aandacht voor de kwaliteit van de zorg is in het laatste decennium een belangrijk onderwerp geworden. Maar hoe zorgen we er voor dat de kwaliteit van zorg verbetert? De gedachte bestaat dat het op orde brengen van de structuur en de processen van de organisatie door middel van certificatie of accreditatie de uitkomsten van de zorg verbetert. Maar of dit daadwerkelijk zo is, is thans de vraag. In deze paragraaf wordt gekeken naar bestaande literatuur over de effecten van certificatie of accreditatie op de uitkomsten van zorg, zowel binnen als buiten de zorgsector. Binnen de zorgsector is nog maar mondjesmaat onderzoek gedaan naar de effecten van kwaliteitssystemen. Noordhoek (2002) geeft dit ook aan: “De effectiviteit van accreditatie, certificering, keurmerken en dergelijke in de publieke sector is niet voldoende bewezen”. Buiten de zorgsector is meer onderzoek verricht, dit onderzoek is echter veelal transversaal van aard.
3.2.1. Kwaliteitssystemen in de zorg Om goede kwaliteit van zorg te kunnen leveren moet een organisatorische structuur worden opgezet die het kwaliteitsgericht denken en handelen ondersteunt. De gezondheidszorg is hiervoor in navolging van het bedrijfsleven kwaliteitssystemen aan het ontwikkelen (Harteloh & Casparie 1998). Een kwaliteitssysteem is de organisatorische structuur, verantwoordelijkheden, procedures, processen en voorzieningen voor het ten uitvoer brengen van kwaliteitszorg (NNI 1994). Indien een kwaliteitssysteem is ontwikkeld, kan men het laten certificeren door een onafhankelijke instantie. Er wordt getoetst of het kwaliteitssysteem volledig en correct is beschreven in het kwaliteitshandboek, of het kwaliteitssysteem bij de medewerkers bekend is en of medewerkers er daadwerkelijk naar handelen (Harteloh & Casparie 1998). Wanneer dit het geval is, ontvangt de organisatie een certificaat. In de gezondheidszorg zijn er verschillende vormen van toetsing, zoals HKZ-certificering en accreditatie van zorginstellingen. Stichting HKZ heeft een eigen model ontwikkeld voor beoordeling van zorginstellingen dat nauw aansluit bij de ISO-normen (ISO compatibel) en dat daarnaast op de sector afgestemde zorginhoudelijke aspecten bevat (Frissen & Casparie 1997). Bij certificatie volgens het HKZmodeI wordt op twee niveaus getoetst. Ten eerste dient het handelen volgens de norm aantoonbaar geregeld te zijn. Dit wil zeggen dat iedere norm geborgd wordt door een procedure, richtlijn, werkinstructie, afspraak, registratie, etc. Deze bepalingen moeten schriftelijk zijn vastgelegd en geautoriseerd in een kwaliteitssysteem. Ten tweede wordt getoetst of hetgeen geregeld is er ook toe leidt dat de gewenste situatie wordt bereikt. Er moet systematisch gewerkt worden aan bewaking en verbetering (corrigerende en/of preventieve maatregelen) (HKZ 2001). Een certificatieschema van Stichting HKZ houdt een vertaling en verdieping in van de ISO-clausules. In het HKZ-model is rekening gehouden met de specifieke
Lemmens et al. 2003. De validiteit van kwaliteitssystemen in zorginstellingen.
20
kenmerken van het zorgproces. Er kan worden gesteld, dat een certificatieschema op basis van het HKZ-model meer zorginhoudelijk de procedurele clausules van ISO invult (Frissen & Casparie 1997). Oorspronkelijk houdt accreditatie in dat certificerende instellingen door een onafhankelijke instelling worden erkend. Dit heeft als doel de waarde van certificaten te waarborgen (Gundlach 1995). Accreditatie van zorginstellingen is ontstaan in de VS, vervolgens is het ook in Canada en Australië geïntroduceerd en het laatste decennium is het overgewaaid naar Europa. Accreditatie is een instrument voor het monitoren van kwaliteit en bestaat uit deze twee componenten: standaarden en review van processen. Accreditatie is gedefinieerd als: “Een methode van toetsing van de kwaliteit van de processen van de gezondheidszorgorganisatie, waarbij gebruik wordt gemaakt van externe inspecteurs en gepubliceerde standaarden“. In Nederland kennen we de NIAZ-accreditatie. Het NIAZ ontwikkelt standaarden en toetst deze ook met inzet van vertegenwoordigers uit de sector zelf (peer-review). Accreditatie vertoont naast enkele overeenkomsten ook verschillen met certificatie in de zorg, zoals dat volgens de HKZ-normen gebeurt. Accreditatie richt zich uitsluitend op de organisatie van de zorg. Een accreditaat wordt afgegeven als minimaal de plan-do fase aantoonbaar is. De aanwezigheid van verbeterplannen is hiervoor voldoende. Her-accreditatie vindt plaats na 4 jaar. Tussentijds vinden geen toetsingen plaats. HKZ-schema’s omvatten de totale kwaliteitscirkel (plan-do-check-act). Een organisatie moet aan alle normen voldoen wil men een certificaat behalen. Toetsing vindt plaats door een onafhankelijke certificatie-instelling. Er is altijd ook een materiedeskundige lid van het auditteam. De schema’s kunnen ook eisen beschrijven die te maken hebben met het professioneel inhoudelijk handelen. Een certificaat is drie jaar geldig. Minimaal elk jaar vindt hertoetsing plaats.
3.2.2. De waarde van HKZ-certificatie (Nationaal) In 2001 is er een rapport uitgebracht door De Jong & Van Doorne-Huiskes waarin een onderzoek wordt beschreven naar certificatieprocessen in de zorg- en welzijnssector. Eén van de onderzoeksvragen was: “Welke verbeteringen zijn mogelijk bij certificatieprocessen in de zorg- en welzijnssector?” Het onderzoek kwam tot de conclusie dat certificatie op verschillende vlakken een toegevoegde waarde heeft. Zorginstellingen zijn tevreden over het feit dat zij een certificaat hebben behaald. Gecertificeerde instellingen vinden de interne effecten die certificering heeft opgeleverd belangrijker dan de externe effecten. Interne processen zijn door het certificaat verbeterd door betere aansturingmogelijkheden voor het management (meer samenhang van processen planning en control, structurele kwaliteitszorg) en instellingen ervaren een professionaliseringstoename bij medewerkers (meer houvast en zelfvertrouwen door het kwaliteitssysteem, sneller verbeteringen aanbrengen, vermindering uitstroom personeel). Externe effecten van certificering worden door een minderheid van gecertificeerde instellingen ervaren: een certificaat in de zorg heeft uitstraling naar klanten, naar zorgverzekeraars en heeft een aantrekkende werking voor nieuw personeel. Certificerende instellingen signaleren dezelfde interne en externe effecten bij zorginstellingen na certificatie. De effecten op het primaire proces zijn in dit onderzoek niet meegenomen.
3.2.3. Accreditatie (Internationaal) Nationaal is er nog weinig bekend over de effecten van kwaliteitssystemen in de zorg, in andere landen is al meer onderzoek gedaan naar de effecten van kwaliteitssystemen. Er is geen literatuur aangetroffen over certificatie van kwaliteitssystemen in het buitenland.
Lemmens et al. 2003. De validiteit van kwaliteitssystemen in zorginstellingen.
21
Certificatie van professionals en verzekeraars komt wel voor. In enkele toonaangevende landen op het gebied van de gezondheidszorg zoals de Verenigde Staten, Canada en Australië wordt gebruik gemaakt van accreditatie voor het extern toetsen van de kwaliteit van de organisatie. In deze landen zijn de volgende bevindingen gedaan op het gebied van effecten van accreditatie. Er is nog weinig onderzoek verricht naar de effecten van accreditatie op de uitkomsten van zorg. Dit wordt mede veroorzaakt door het feit dat deze relatie moeilijk te onderzoeken is. x
x
x
x
x x
Het effect van accreditatie op de uitkomsten van zorg is nog nauwelijks onderzocht cq. bekend, dit blijkt ondermeer uit het volgende citaat “De invloed van accreditatie op de kwaliteit en veiligheid van de gezondheidszorg is nog geen onderwerp geweest van gedetailleerd en objectief onderzoek” (JCAHO 2002). Externe reviews en standaarden worden uitgebreid gebruikt in de gezondheidszorg om de kwaliteitsverbetering in de gezondheidszorgorganisaties te verbeteren, maar de effectiviteit, in termen van betere klinische uitkomsten, is nauwelijks onderzocht (Walshe et al 2001) (Shaw 2001) (Kitson 1995). Deze twee kwaliteitsbenaderingen maken deel uit van het accreditatieproces. De kwaliteit van de gezondheidszorg is goed verankerd op de agenda van de meeste overheden. Accreditatie wordt aangemerkt als de geschikte methode om in te staan voor de publieke verantwoordelijkheid voor het leveren van zorg. De relatie tussen het controleren van de omgeving waarin de gezondheidszorg wordt geleverd en de kwaliteit van de zorg is echter moeilijk te onderzoeken (Scrivens 1995a). Uit onderzoeken komt naar voren dat er geen bewezen relatie bestaat tussen accreditatie en de uitkomsten van zorg. In het geval van accreditatie hebben de standaarden, die gebruikt worden om organisatieprocessen weer te geven en de hoeksteen van accreditatie vormen, geen bewezen directe relatie met de uitkomsten van patiëntenzorg (Scrivens 1997a). Scrivens (1997b) geeft aan dat de hoogste aspiratie, verandering in de uitkomst voor de patiëntenzorg, heel lastig te meten is. Volgens Scrivens (1995b) is het niet aangetoond dat goede organisatieprocessen bijdragen aan een verhoging van het welzijn van de patiënt. Dat zorgt ervoor dat erop moet worden vertrouwd dat accreditatie een goede maat is voor de bekwaamheid van het ziekenhuis om kwaliteit van de klinische diensten te ondersteunen, aangezien er niet kan worden gegarandeerd dat het effect heeft op de kwaliteit van de klinische zorg.
Uit andere onderzoeken komt naar voren dat er enige evidentie bestaat dat accreditatie leidt tot betere uitkomsten van zorg. x x x
Er is enig bewijs dat het ontwerp van de organisatie van de zorg belangrijk is voor efficiënte en effectieve zorg (Scrivens 1997c). Ook is er een aantal tevredenheidindicatoren dat stelselmatig gerelateerd kan worden aan de introductie van een accreditatiesysteem (Scrivens 1995b). Een studie over de impact van accreditatie in 23 ziekenhuizen in Australië heeft gevonden dat accreditatie een verschillende invloed heeft op de delen van een ziekenhuis, waarbij de grootste invloed bij de verpleegkundigendiensten en lichamelijke voorzieningen en veiligheid werd gevonden en de minste invloed bij de medische diensten (Duckett et al 1983).
Lemmens et al. 2003. De validiteit van kwaliteitssystemen in zorginstellingen.
22
x
x
x
x
x
Uit een onderzoek van Rooney et al. (2001) komen de volgende veel genoemde voordelen van accreditatie naar voren: gereduceerd risico van “adverse events”, verbeterde compliance aan standaarden, betere evaluatiemethoden voor klinische en nietklinische activiteiten, verbetering in de levensvatbaarheid van het ziekenhuis, verbeterde patiëntenuitkomsten, minder “adverse events” en verbeterde uitkomsten, grotere mate van patiënttevredenheid en grotere tevredenheid bij de staf. Een onderzoek in twee Afrikaanse landen, Zuid-Afrika en Zambia, laat zien dat accreditatie een positieve invloed heeft op de uitkomsten van zorg. De voordelen van accreditatie in beide landen hielden in: verbeterde communicatie, staftraining, compliance met de standaarden, patiënten- en stafveiligheid, leiderschap en beter middelenmanagement (Rooney et al 2001). Ander onderzoek geeft aan dat in sommige landen de accreditatiestandaarden hebben geholpen bij het stimuleren van medewerkers om samen te werken aan een gezamenlijk doel of het promoten van gezondheid door leveren van hoge kwaliteitszorg (JCAHO 2002). De effecten van accreditatie kunnen ook vanuit een ander perspectief worden bekeken, laat een onderzoek van Leape (1994) zien. Hij concludeerde dat slecht ontwikkelde systemen verantwoordelijk waren voor het merendeel van de doden en verwondingen geassocieerd met medische fouten. Positieve geluiden komen er ook van de kant van de JCAHO (2002) waar de benodigde organisatie van de medische staf een significante invloed heeft gehad op de kwaliteit van de zorg door het opleggen van een geordende discipline tussen artsen. Er bestaat bewijs dat organisaties hun compliance verbeteren als standaarden expliciet zijn gemaakt (Shaw 2001).
De meeste evaluaties van accreditatie neigen naar beschrijvende evaluaties. In deze onderzoeken komen meer de verwachtingen ten aanzien van de effecten van accreditatie aan de orde. x x x
Zo wordt in een boek van Scrivens (1995b) geciteerd: “Ik geloof dat als de organisatie beter werkt dat de uitkomst voor de patiënt beter zal zijn”. Het vaststellen van de prestaties van de organisaties wordt nog steeds verantwoord door de aanname dat goede processen leiden tot goede patiëntuitkomsten (Scrivens 1997c). Een andere vooronderstelling is die van Collopy (2000): “Het doel van een ziekenhuis is het verstrekken van een optimale omgeving voor de behandeling van cliënten en accreditatiesystemen pogen die omgeving te garanderen door de structuur en organisatieprocessen, de stafkwalificaties, middelen, brandveiligheid, infectiecontrole te borgen. Het is gepast te vooronderstellen dat als de omgeving op orde en veilig is, dat de patiëntenuitkomsten beter overeenkomen met de gewenste uitkomsten”.
De context en de implementatie spelen vaak een belangrijke rol bij de effecten van accreditatie op de uitkomsten van zorg. x
x
Er bestaat weinig bewijs dat regulering daadwerkelijk de kwaliteit van zorg verbetert, maar indien het juist wordt ingevoerd, dan levert regulering de infrastructuur en de middelen om wijdverbreid verbetering te stimuleren (Brennan 1998). De meeste kwaliteitsverbeteringinterventies hebben een zeer verschillend effect dat afhangt van de context waarin de interventie wordt toegepast en de manier waarop deze geïmplementeerd wordt (Walshe & Freeman 2002).
Lemmens et al. 2003. De validiteit van kwaliteitssystemen in zorginstellingen.
23
x
x
Er bestaan geen “magic bullets” voor het verbeteren van de kwaliteit van de zorg. Er bestaat echter een groot aantal interventies, zoals accreditatie, TQM, CQI, etc., die als ze op de juiste manier toegepast worden, kunnen leiden tot aanzienlijke verbeteringen in de klinische zorg (Oxman et al. 1995). Het gebruik van verschillende kwaliteitsverbeteringinterventies naast elkaar is waarschijnlijk het meest effectief (Oxman et al 1995) (Grol 2001).
3.2.3.1. Argumenten en verklaringen Er worden verschillende argumenten aangedragen om te verklaren of aan te geven waarom de relatie tussen accreditatie en uitkomsten van zorg nog niet onderzocht is of niet bevestigd wordt. x
x
Eén van de problemen met het vaststellen van de invloed van accreditatie op de patiëntenzorg is dat accreditatie mogelijk de gevoelige balans verstoort tussen factoren die bijdragen aan de stafcohesie en moraal (Scrivens 1997a). De standaarden, metingen en resultaten van managementsystemen zijn nog niet onderworpen aan hetzelfde strenge onderzoek en meta-analyses als de klinische praktijk (Shaw 2001).
Verschillende onderzoeken geven aan dat het verbeteren van de uitkomsten ook niet het hoofddoel is van accreditatie. x x
x
Het hoofddoel van accreditatie is in een omgeving te voorzien waarbinnen de medische staf effectief kan werken (Scrivens 1997a) (Scrivens 1997b). Accreditatie, in zijn feitelijke betekenis, moet meer gezien worden als een proces dan als een uitkomst. Het doel van accreditatie is te garanderen dat de organisatie handelt aan de hand van verantwoorde administratieve procedures (Rooney et al. 2001) (Scrivens 1995b). Het is een geaccepteerd gegeven dat het doel van een ziekenhuis is het verzorgen van een optimale omgeving om patiënten te behandelen, het is gepast om eerst de omgeving in de ontwikkeling van een accreditatieproces mee te nemen en daarna verder te bewegen in de richting van het vaststellen van de behandeling, de uitkomsten van zorg (Collopy 1995).
Accreditatie loopt, net als de meeste kwaliteitsverbeteringprocessen, aan tegen problemen in het vinden van een verbinding met de belangen van de medische staf. x Het kan worden beargumenteerd dat zonder de betrokkenheid van de medische staf, er mogelijk erg weinig invloed is op de directe zorg voor patiënten (Scrivens 1997a). In een eerder onderzoek gaf Scrivens (1995a) ook al aan dat de bereidheid van de medische staf om deel te nemen aan het accreditatieprogramma cruciaal is voor het succes van ieder accreditatiesysteem, bij de meeste is het lastig gebleken om dit te bereiken. (Collopy 2000). x De toename van de klinische component van accreditatie en het vergroten van de klinische betrokkenheid in de interne kwaliteitsbewakingsprogramma’s leidt tot gedocumenteerd bewijs van verbetering in patiëntenmanagement en uitkomsten (Collopy 2000) (JCAHO 2002). x Het wordt verwacht dat de kwantitatieve informatie die verzameld wordt op een geaggregeerde manier een verbetering in de uitkomsten van zorg zal laten zien (Collopy 1995).
Lemmens et al. 2003. De validiteit van kwaliteitssystemen in zorginstellingen.
24
3.2.4. Certificatie in het bedrijfsleven De ISO 9000-serie is een geheel van internationale normen en richtlijnen voor kwaliteitsmanagementsystemen, ontwikkeld door de International Organisation for Standardization (ISO). Deze standaarden worden veelal in het bedrijfsleven toegepast, én zijn ook opgenomen in het HKZ-certificatieschema. In 2000 is de ISO 9000-serie herzien, de belangrijkste veranderingen hierbij zijn de toegenomen aandacht voor de betrokkenheid van de directie, de nadruk op een procesbenadering van kwaliteitsmanagement en continue verbetering met als doel het verhogen van de klanttevredenheid. In deze paragraaf bekijken we de effecten van ISO 9000 op de prestaties van de organisatie. De effecten van de nieuwe ISO 9000: 2000 hebben we, gezien het korte bestaan, nog niet kunnen achterhalen. In de literatuur bestaan veel studies waar de effecten van ISO 9000 implementatie worden gerapporteerd. Veel van deze studies zijn gevalsstudies, waarin geen bewijzen worden geleverd dat certificatie geassocieerd wordt met verbeterde prestaties. Ze geven slechts aan dat het mogelijk is. De onderstaande onderzoeken zijn empirisch van aard, waarin aan de hand van statistische analyse deze relatie wordt getoetst. x Een groot aantal studies naar de effecten van certificatie laat zien dat certificatie leidt tot een betere product- of servicekwaliteit, verbeterde bedrijfsresultaten en vergroting van de mogelijkheden op de markt ten opzichte van niet ISO 9000 gecertificeerde organisaties (Heras et al. 2002) (Mann & Kehoe 1994) (Quazi & Padibjo 1998) (Breka 1994) (Idris et al. 1996). x Een tien jaar durende studie van Lloyd’s naar de financiële prestaties van ISO 9000 gecertificeerde organisaties ten opzichte van een groep niet gecertificeerde organisaties laat zien dat ISO 9000 gecertificeerde organisaties constante of verbeterde financiële prestaties hebben, hetzelfde geldt voor de marktwaarde en omzet. Daarentegen dalen de financiële prestaties, marktwaarde en omzet van niet gecertificeerde organisaties. De verkoopkosten blijven constant bij ISO 9000 gecertificeerde organisatie, terwijl deze erg toenemen bij niet gecertificeerde organisaties. x Kostenbesparing, hogere rentabiliteit, verbeterde serviceaflevering, hogere productiviteit en concurrentievoordeel worden geassocieerd met de implementatie van ISO 9000 (LRQA 1994) (Heras et al. 2002) (Wayhan et al 2001) (Avery 1994) (Vloeberghs & Bellens 1996) (Scotto 1996). x Een literatuuronderzoek van Quazi et al. (2001) laat zien dat certificatie effect heeft op de prestaties van het bedrijf, in verschillende onderzoeken werden de volgende voordelen van ISO 9000 certificatie gevonden: grotere werktevredenheid (Elmuti & Kathawale 1997), verbeterde verkoop, gereduceerde kosten, verbeterde productiviteit en minder klachten van klanten (McAdam & McKeown 1999), reductie van defecte producten en klachten van klanten, en betere bedrijfsresultaten zoals rentabiliteit en productiviteit (Sun 1999). x Simmons en White (1999) vonden dat, na het corrigeren voor grootte, ISO 9000 geregistreerde organisaties een betere rentabiliteit hadden dan niet ISO 9000 geregistreerde organisaties. x Een literatuuronderzoek naar de kwaliteit van kleine bedrijven laat zien dat de voordelen van ISO 9000 de kosten verreweg goed kunnen maken, zelf bij kleine organisaties. De meerderheid van de organisaties ervoer voordelen van de implementatie van ISO 9000. Het meest voorkomende voordeel was de afname van klachten van klanten. Daarnaast werden verhoogde productiviteit bij 37% van de organisaties en gereduceerde kosten bij 23% van de organisaties waargenomen (McAdam & McKeown 1999). De algehele tevredenheid met ISO 9000 was zeer goed, 77% van de bestudeerde organisaties was tevreden of zeer tevreden met ISO 9000.
Lemmens et al. 2003. De validiteit van kwaliteitssystemen in zorginstellingen.
25
x
x
Verbetering van communicatie is ook genoemd als voordeel van ISO 9000 certificatie. Lee en Palmer (1999) lieten zien dat zowel bij kleine als grote fabrieken in Nieuw Zeeland betere communicatie werd ervaren na de implementatie van ISO 9000. Malorny (1999) heeft een uitgebreid onderzoek in Duitsland verricht bij 325 ondernemingen die ISO 9001, 9002 of 9003 gecertificeerd zijn. Deze ondernemingen zijn afkomstig uit verschillende sectoren waaronder de chemie, machinebouw, elektro, metaal en diensten en verschilde van grootte variërend van minder dan 100 medewerkers tot meer dan 1500 medewerkers. In het onderzoek zijn vier indicatoren voor het gevolg van ISO certificering gemeten: Klanttevredenheid, foutkosten, doorlooptijd en productkwaliteit. Tussen de 17 en 48% geeft aan dat ISO een positieve bijdrage heeft geleverd op deze indicatoren.
Ondanks het feit dat de meeste onderzoeken verbetering in de prestaties aangeven, worden in andere onderzoeken slechts weinig effecten van certificatie gevonden. x Voor kleine en grote bedrijven blijkt met uitzondering van de factor “procescontrole” dat de organisatieprestaties niet verschillen tussen wel en niet ISO 9000 gecertificeerde bedrijven (Rahman 2001). x In een Deens longitudinaal onderzoek (Häversjö 2000) is geen significant verschil gevonden na certificatie. x Uit een onderzoek naar de effecten van ISO 9000 certificatie op de kwaliteitsmanagement praktijken in organisaties in Singapore komt naar voren dat ISO 9000 certificatie geen effect heeft op de kwaliteitsmanagement praktijken (Quazi et al. 2002). De respondenten waren zowel afkomstig uit de service-industrie, als de bouw- en de fabrieksindustrie. Ook de gedachte dat ISO 9000 bijdraagt aan vergroting van de markt, blijkt in de praktijk soms niet uit te komen (Stevenson & Barnes 2001). Er komt nog een aantal interessante zaken naar voren uit de onderzoeken naar effecten van certificatie op de uitkomsten: x Uit onderzoek van Simmons & White (1999) bleek dat organisaties die zich ISO 9000 laten certificeren groter zijn en winstgevender dan de gemiddelde niet ISO 9000 gecertificeerde organisaties. Een ander onderzoek gaf aan dat in het Verenigd Koninkrijk met name grote, veelzijdige en productiebedrijven zich ISO 9000 laten certificeren (Chittenden et al. 1999). x “Zoals bij goede wijn, nemen de voordelen van ISO 9000 registratie toe met de leeftijd”. x Onderzoek liet ook zien dat ISO 9000 certificatie de bouwstenen levert voor succesvolle invoering van TQM (Askey & Dale 1994). Ondanks het groot aantal artikelen waarin de ISO 9000 kwaliteitsmanagementsystemen worden bestudeerd in relatie tot de bedrijfsprestaties, bestaat er weinig empirisch onderzoek dat causaliteit kan toekennen aan deze relatie. Een longitudinaal onderzoek (Heras et al. 2002) wijst uit dat ondanks de betere prestaties van gecertificeerde organisaties ten opzichte van niet-gecertificeerde organisaties, er geen bewijs bestaat van verbeterde prestaties na het behalen van het certificaat. Hieruit kan geconcludeerd worden dat de betere prestaties van de gecertificeerde organisaties het gevolg zijn van het feit dat organisaties met betere prestaties een grotere neiging hebben om ISO 9000 certificatie na te streven. Of ditzelfde geldt voor de gezondheidszorg is nog maar zeer de vraag.
Lemmens et al. 2003. De validiteit van kwaliteitssystemen in zorginstellingen.
26
3.3.
Het gebruik van uitkomstindicatoren in de zorg
Uitkomstindicatoren hebben betrekking op het effect van de zorg op de gezondheidstoestand van de cliënt. Een uitkomstindicator is een meetbaar element op het gebied van zorgverlening dat betrekking heeft op de uitkomst (het product of het effect) van die zorg waarbij er sprake is van een specifieke standaard of drempel zodat een mogelijke indicatie voor de kwaliteit van zorg gegeven kan worden (Vreeke et al. 1993). Het specificeren van uitkomsten als indicatoren van zorg zal tot op zekere hoogte variëren, afhankelijk van het aspect van kwaliteit dat moet worden vastgesteld (Donabedian 1992). Er bestaan weinig eendimensionale valide uitkomstindicatoren, zoals het sterftecijfer. Uitkomstindicator is een complex begrip en zal grotendeels bij iedere sector of interventie verschillen. Wat nu de uiteindelijk uitkomst van zorg is, is vaak moeilijk te bepalen. In figuur 3.1 wordt de voortgang weergegeven van het structuur-proces-uitkomst paradigma. Deze drie informatiebronnen kunnen alleen gebruikt worden om de kwaliteit vast te stellen als ze een causaal verband vertonen: structuur leidt tot proces, proces leidt tot uitkomst (idem). Donabedian (1992) geeft aan dat het tot op zekere hoogte arbitrair is wanneer te stoppen en te zeggen “dit is een uitkomst”, en soms is het niet zo makkelijk te zeggen: “Hier eindigt de structuur en begint het proces of het proces eindigt en de uitkomst begint.” Het is belangrijk dat deze keten van gebeurtenissen duidelijk is vormgegeven voordat er gestart wordt met kwaliteitsbeoordeling. Donabedian (1992) heeft een classificatie van een aantal uitkomstindicatoren gemaakt. Hierbij worden onder andere klinische, lichamelijke, psychische en mentale, sociale en psychosociale, integrale en evaluatieve uitkomsten onderscheiden. Gerapporteerde symptomen met klinische significantie vormt bijvoorbeeld een uitkomstindicator voor klinische uitkomsten en tevredenheid met de verschillende aspecten van zorg vormt een uitkomstindicator voor evaluatieve uitkomsten. Figuur 3.1 associaties van structuur, proces en uitkomst (Donabedian 1992)
I. Structuur
Proces
II. A
B X
Uitkomst C
Y
D Z
De voortgang die als eerste (I) wordt afgebeeld is het essentiële karakteristiek van het structuur-proces-uitkomst paradigma. Deze drie vormen van informatie kunnen worden gebruikt om kwaliteit vast te stellen, maar alleen als ze een causaal verband vertonen: structuur leidt tot proces, proces leidt tot uitkomst. De onderste diagram (II) laat zien dat het paradigma een zeer vereenvoudigde presentatie is van een complexe realiteit.
Wat is nu de hedendaagse relevantie van uitkomstindicatoren in de zorg in Nederland? In een brief van de staatssecretaris wordt de zorg uitgesproken over het feit dat de Kwaliteitswet Zorginstellingen onvoldoende heeft geleid tot een actieve integrale aanpak van kwaliteit door het veld (VWS 2002). Als reactie hierop zijn een aantal hoofdlijnen voor beleid geformuleerd voor de komende jaren. Eén van deze hoofdlijnen betreft het vergroten van de transparantie en het afleggen van verantwoording. Dit betekent: duidelijke en vergelijkbare indicatoren om de prestaties te meten, te benchmarken, de zorg te monitoren en transparant inzicht in de zorg te krijgen. Aanbieders van zorg hebben een sluitend en geborgd kwaliteitssysteem. Dit komt neer op allereerst een beschrijving van de zorg die men levert, en een voortdurende bewuste aandacht voor de kwaliteit van de zorg en de verbetering daarvan (idem). Concreet houdt dit
Lemmens et al. 2003. De validiteit van kwaliteitssystemen in zorginstellingen.
27
in dat binnen twee jaar er in iedere sector van de zorg een beperkte set prestatie-indicatoren is ingevoerd, die goed zicht geeft op de kwaliteitsontwikkeling. Deze zal met een zekere regelmaat geactualiseerd en bijgesteld moeten worden. Prestatie-indicatoren omvatten zowel proces- als uitkomstindicatoren, hetgeen ook blijkt uit de definitie: een prestatie-indicator is een meetbare grootheid die informatie geeft over het functioneren van een bepaald proces (procesindicator) en de mate waarin gestelde doelen worden bereikt (uitkomstindicator) (Dorr 2000).
3.3.1. Het gebruik van uitkomstindicatoren in Nederland Uit de vorige paragraaf blijkt onder meer dat uitkomstindicatoren en kwaliteitssystemen momenteel erg in de belangstelling staan. Recentelijk is er een aantal rapporten met betrekking tot deze onderwerpen verschenen van onder andere de Inspectie voor de Gezondheidszorg (IGZ), het Nivel en het ministerie van VWS. Casparie et al. (2001) concluderen bij de evaluatie van de Kwaliteitswet Zorginstellingen dat zorgaanbieders nog lang niet alle fasen van het in de Kwaliteitswet beoogde cyclische proces van kwaliteitsbewaking en verbetering hebben gerealiseerd. Dit geldt met name ook voor de fase van het meten en verwerken van de resultaten. Instellingen lijken vooralsnog niet in staat de effecten van het door hun gevoerde kwaliteitsbeleid zichtbaar te maken. Helaas is er nog niet veel zicht op verbetering, hoewel in het veld wordt gewerkt aan het definiëren van indicatoren voor de kwaliteit van zorg (Sluijs et al. 2002). De gedachte is dat indicatoren het best zichtbaar worden bij instellingen die ver gevorderd zijn met het kwaliteitssysteem. Kenmerkend voor een kwaliteitssysteem is namelijk dat de instelling het beleid bijstuurt op basis van resultaten. Dit impliceert dat de resultaten c.q. de uitkomsten van zorg of behandelingen (via indicatoren of kengetallen) worden gemeten (idem). De inspectie zegt het volgende over de effecten van het kwaliteitssysteem: “De verwachting dat instellingen met een kwaliteitssysteem beter in staat zijn de effecten van het kwaliteitssysteem op de kwaliteit van zorg te ‘meten’, werd niet bevestigd. Zij blijken geen andere dingen te meten dan instellingen zonder kwaliteitssysteem en zijn dus niet verder in het zichtbaar maken van de effecten van het kwaliteitsbeleid op de zorg voor patiënten (IGZ 2002).” Een opmerking die hierbij moet worden geplaatst is dat de inspectie zich op oudere gegevens baseert. Wel kunnen instellingen met een kwaliteitssysteem onder andere beter aantonen dat procedures op orde zijn en verbeteringen worden doorgevoerd aan de hand van periodieke (in- en externe) audits en meningspeilingen van cliënten. Ook in het kleinschalige onderzoek van Sluijs et al. (2002) bestaat de verwachting dat instellingen met een kwaliteitssysteem beter zichtbaar zouden kunnen maken dat verantwoorde zorg wordt geleverd via de indicatoren die worden gemeten dan instellingen zonder een kwaliteitssysteem. Deze veronderstelling blijkt wel op te gaan wat betreft structuur- en procesindicatoren, maar niet wat betreft uitkomstindicatoren. Een verklaring die hiervoor wordt gegeven is dat structuur- en procesindicatoren vaak inherent zijn aan het kwaliteitssysteem. In zijn algemeenheid zijn nog weinig uitkomstindicatoren op instellingsniveau gemeten, waardoor er wat uitkomstindicatoren betreft ook geen opvallende verschillen zijn tussen instellingen met en instellingen zonder een kwaliteitssysteem. Duidelijk is dat het overgrote deel van de zorgaanbieders de afgelopen jaren bezig is geweest met oriëntatie en ontwikkeling, maar dat implementatie van kwaliteitssystemen nog maar mondjesmaat heeft plaatsgevonden. Het meten van resultaten en het verbeteren naar aanleiding van de uitkomsten van de meting is nog vrijwel niet van de grond gekomen. De doelstelling: komen tot verantwoorde zorg en zo mogelijk tot verbetering van de bestaande zorg, komt daardoor niet goed uit de verf (VWS 2002). Over een beperkt aantal
Lemmens et al. 2003. De validiteit van kwaliteitssystemen in zorginstellingen.
28
uitkomstindicatoren lijkt consensus te bestaan tussen de verschillende sectoren: tevredenheid van cliënten, tevredenheid van medewerkers, ziekteverzuim, incidenten en meldingen, en klachten. In sommige sectoren wordt opgemerkt dat effecten moeilijk meetbaar zijn te maken omdat de cliëntenpopulatie ook weinig uitzicht heeft op vooruitgang of herstel. Hierbij wordt aangemerkt dat er in dit geval misschien beter kan worden gekeken naar het voorkomen van achteruitgang of verslechtering of in zijn algemeenheid naar de bijdrage van de zorg aan de kwaliteit van leven van de cliënt (Sluijs et al. 2002). Valide eenduidige maten voor de uitkomsten van zorgprocessen zijn nauwelijks beschikbaar. Toch is het vanuit verschillende overwegingen van belang om informatie te krijgen over het effect van zorgverlening. De belangrijkste overweging is dat uitkomsten het ultieme criterium voor goede kwaliteit zijn. De informatie over uitkomsten moet in ieder geval betrekking hebben op de doelmatigheid in de behandeling, het vermogen van de patiënt om goed te functioneren, en op de kwaliteit van leven van de patiënt (Walburg 1997). Wat er bekend is over uitkomstindicatoren in de sectoren die betrokken zijn bij dit onderzoek wordt in de volgende subparagrafen besproken. Hierbij wordt eerste gekeken naar de uitkomstindicatoren die reeds bestaan voor de sector en vervolgens naar de mate waarin uitkomstindicatoren worden gebruikt.
3.3.2. Geestelijke Gezondheidszorg De geestelijke gezondheidszorg (GGZ) biedt behandeling, zorg en begeleiding aan mensen met psychische problemen en stoornissen. Zij draagt bij aan de verbetering van de geestelijke gezondheid en kwaliteit van leven van de patiënt (Tonnaer 1999). Een andere taak van de GGZ is het voorkómen van psychische problemen. De GGZ streeft naar het bevorderen en herstellen van de geestelijke gezondheid en/of het draaglijk maken en houden van duurzame psychische problemen. De GGZ is de laatste jaren zowel wetenschappelijk als organisatorisch sterk in ontwikkeling. De overheid, zorgverzekeraars en patiëntenbewegingen verwachten in toenemende mate van hulpverleners en instellingen dat zij verantwoording afleggen over de doeltreffendheid, doelmatigheid en patiëntvriendelijkheid van de geboden zorg (Havenaar et al. 2001). De GGZ wil instrumenten ontwikkelen waarmee de resultaten kunnen worden gemeten over de waardering van de cliënt over de behandeling, effect op de kwaliteit van leven van de cliënt en de klinische behandeling (Linssen 2001). Voor de bedrijfsresultaten bestaat van oudsher vooral belangstelling vanuit de financiële verantwoordingsplicht (Walburg & Brinkmann 2001). GGZ Nederland wil op basis van toetsbare en inzichtelijke resultaten duidelijk maken wat haar meerwaarde en competentie is (Linssen 2001). Daarbij wordt onderscheid gemaakt tussen bedrijfsresultaten en resultaten van behandeling en begeleiding. Om hieraan vorm te geven wordt gewerkt aan het samenstellen van instrumenten waarmee de resultaten kunnen worden gemeten over: waardering van de cliënt over de behandeling en/of ondersteuning, effect op kwaliteit van leven van de cliënt en klinische behandeling en/of ondersteuning. Verder wordt aangegeven door Walburg (2001) dat het van groot belang is dat de geestelijke gezondheidszorg in de nabije toekomst een infrastructuur opbouwt voor het beheersen en managen van uitkomsten, die betrekking hebben om zorg- en behandelprocessen. Zo’n infrastructuur is allereerst nodig op tot kwaliteitsverbetering te komen van behandel- en zorgprocessen zelf. Daarnaast kan met behulp van deze infrastructuur extern verantwoording worden afgelegd over de kosteneffectiviteit van behandel- en zorgprocessen zelf. Om hier gevolg aan te geven wordt een viertal uitkomstgebieden benoemd die van belang zijn om
Lemmens et al. 2003. De validiteit van kwaliteitssystemen in zorginstellingen.
29
uitspraken te kunnen doen over de kwaliteit van het behandelproces: klinische indicatoren, kwaliteit van leven, de waardering van klanten en kosten. Deze uitkomstgebieden vormen samen het uitkomstenkwadrant van de GGZ. In een overzichtstudie hebben Van Hoof et al. (1994) uitkomstindicatoren voor de chronische psychiatrie benoemd: zelfzorg, sociale vaardigheden en psychische klachten. Kwaliteit van leven en satisfactie worden in de functie van uitkomstgebied met enige scepsis bekeken, omdat de begrippen zo breed uitgelegd kunnen worden. Deze twee aspecten worden echter wel van groot belang gezien voor het bepalen van de relevantie van mogelijke uitkomstindicatoren. In een onderzoek van Øverveit (1998) worden uitkomsten getypeerd als veranderingen in de beleving en de gezondheid van de patiënt en in de hulpbronnen die kunnen worden toegeschreven aan de verleende hulp. Vanuit verschillende perspectieven worden uitkomstindicatoren onderscheiden: patiënttevredenheid, het weer op kunnen pakken van activiteiten (patiëntperspectief), verdwijnen van ziekte, afwezigheid van complicaties (beroepsbeoefenaarperspectief), de laagste kosten per patiënt en het minst gebruik van voorzieningen (organisatieperspectief). Tot slot wordt in een onderzoek naar gereedschap voor kwaliteitszorg in de GGZ (Place et al. 2000) een overzicht gegeven van indicatoren voor de GGZ. Hierbij worden de volgende uitkomstindicatoren onderscheiden: waardering van cliënten, waardering van familie, efficiency en klinische effecten (incl. kwaliteit van leven). Uit dit stuk blijkt tevens dat er een geringe toepassing van indicatoren plaatsvindt. Er wordt weinig gericht gekeken naar wat instrumenten opleveren; de doelen zijn vaak wel geformuleerd, maar evaluatie ontbreekt veelal. Het onderzoek van Sluijs et al. (2002) geeft aan dat in de GGZ op het gebied van uitkomstindicatoren nog weinig wordt gemeten. De cliënttevredenheid is de enige indicator die in het gros van de instellingen wordt gemeten. Daarnaast worden in sommige instellingen de effecten van de behandeling, het ziekteverzuim en verloop van de medewerkers, incidenten en meldingen, en klachten gemeten. Hierbij moet wel worden opgemerkt dat dit onderzoek in een klein aantal instellingen heeft plaatsgevonden.
3.3.3. Thuiszorg Thuiszorg is het geheel van verplegende, verzorgende en huishoudelijke activiteiten in de thuissituatie. Het grootste deel van de doelgroep bestaat uit chronisch zieke ouderen (Ruysbroek 2001). Daarnaast verricht de thuiszorg nog allerlei andere taken, zoals kraamzorg, deze worden in dit onderzoek buiten beschouwing gelaten. Er wordt in de thuiszorg hard gewerkt aan kwaliteit. Zo is in 1994 door de leden van de brancheorganisatie LVT besloten om zich in kwalitatief opzicht te onderscheiden van niet aangesloten thuiszorgorganisaties door aantoonbaar een basiskwaliteitsniveau te garanderen. Ten behoeve hiervan zijn kwaliteitscriteria ontwikkeld, die fungeren als aanvullende lidmaatschapseisen en waarop instellingen periodiek worden getoetst. Er is echter nog weinig bekend over de (effecten van kwaliteitssystemen op de) uitkomsten van het zorgproces. In een onderzoek van Zimmerman et al. (1995) worden verschillende uitkomstindicatoren geïdentificeerd voor de kwaliteit van zorg in verzorgingstehuizen. Sommige hiervan kunnen worden vertaald naar de thuiszorg. Uit het onderzoek kwam een twaalftal domeinen van uitkomstgebieden naar voren. Deze hebben betrekking op het behoud van de gezondheidstoestand en kwaliteit van leven. Het doel van de thuiszorg is de hulpvrager in staat te stellen zich te handhaven in de thuissituatie (Schrijvers 1993). Behoud of verbetering van de gezondheidstoestand en kwaliteit van leven geven invulling aan dit doel. Wagner et al. (2001) hebben onderzoek gedaan naar valide kwaliteitsindicatoren om uitkomsten van zorg,
Lemmens et al. 2003. De validiteit van kwaliteitssystemen in zorginstellingen.
30
maar ook de effectiviteit van kwaliteitssystemen te kunnen meten in de sector verpleeg- en verzorgingshuizen. Het doel van de zorg in verpleeghuizen komt grotendeels overeen met dat van de thuiszorg: het bevorderen van de gezondheid en kwaliteit van leven van de cliënten. Hierbij moet wel worden opgemerkt dat de thuiszorg een minder beheerste situatie is dan de V&V-sector, waardoor sommige uitkomstmaten niet van toepassing zijn op de thuiszorg. In het onderzoek komen verschillende uitkomstindicatoren naar voren. Het voorkomen van decubitus, incontinentie, kathetergebruik en infecties, valincidenten en medicijngebruik vormen maten voor de uitkomstindicator medische resultaten. Fysiek, cognitief, mentaal en sociaal functioneren zijn maten voor kwaliteit van leven. In een onderzoek naar uitkomstindicatoren in de verpleging van ouderen in een continue verzorgingssituatie (Heath et al. 1996) wordt kwaliteit van leven voor de oudere persoon gezien als de belangrijkste uitkomst van continue zorg. Daarnaast worden behoud van gezondheidstoestand, het voorkomen en verlichting van leed en het maximaliseren van de levensverwachting gezien als uitkomsten van zorg. Cliëntsatisfactie wordt meegenomen uit Donabedian’s uitkomstenclassificatie. Een uitkomst van het zorgproces is volgens Klein Ikkink en Wagner (2000) de mate van gezondheid van cliënten, dat wil zeggen dat door de geboden zorg, de gezondheidstoestand van de cliënt verbetert of minder snel verslechtert. Hiervoor worden verschillende uitkomstmaten gebruikt die in de internationale literatuur (Davis 1991; Rantz et al. 1996) worden gezien als indicator voor kwaliteit van zorg in verpleeghuizen, zoals decubitus, incontinentie, en kathetergebruik. Daarnaast worden de uitkomstindicatoren het oordeel van bewoners over de kwaliteit van zorg, de ervaren kwaliteit van leven en kosten gebruikt als indicatoren voor de kwaliteit van zorg. De kwaliteitszorg bij thuiszorginstellingen is goed ontwikkeld, veel instellingen beschikken over een uitgewerkt en geïmplementeerd kwaliteitssysteem. Net als bij de andere sectoren bestaat er ook bij de thuiszorg weinig relatie tussen de visie over goede kwaliteit van de instellingen en de indicatoren die gemeten worden. Vrijwel alle instellingen in de thuiszorg meten de cliënttevredenheid, en soms ook die van familieleden. Sommige instellingen meten de effecten van kortdurende zorg. Daarnaast vormen ook in deze sector ziekteverzuim en werkdruk van medewerkers, incidenten en klachten uitkomstindicatoren in sommige instellingen. Enkele instellingen noemen ook het voorkomen van decubites als indicator (Sluijs et al. 2002).
3.3.4. Apotheek De openbare apotheek verleent farmaceutische zorg aan de patiënt in samenwerking met de arts. Bij farmaceutische zorg gaat het om het totaal van door verschillende zorgverleners te ondernemen activiteiten, die nodig zijn om op het juiste moment het juiste geneesmiddel, in de juiste vorm en dosering aan de juiste patiënt te geven. Dit inclusief de daarvoor benodigde voorlichting/begeleiding van de patiënt (RVZ 1998). Apothekers hebben als beroepsgroep in de loop der tijd een kwaliteitssysteem ontwikkeld waarin niet alleen diverse activiteiten zijn ontwikkeld, maar ook een samenhang tussen de activiteiten bestaat. Dit heeft in 1996 geresulteerd in een landelijk erkend certificatieschema waarmee individuele apothekers kunnen werken aan de certificatie van hun apotheek (Bennema-Broos et al. 2000). Naast de certificatie blijkt de actieve houding ten aanzien van kwaliteitszorg in de sector apotheken uit de houding van de KNMP, de oprichting van het WINAp (bureau voor de wetenschappelijke ontwikkeling van de farmacie), de aanwezigheid van kwaliteitskringen en implementatie van de NAN (Nederlandse Apothekers Norm). Het kwaliteitsbeleid van de openbare apothekers
Lemmens et al. 2003. De validiteit van kwaliteitssystemen in zorginstellingen.
31
voor de komende jaren richt zich op het aantoonbaar realiseren van verantwoorde farmaceutische zorg. Om dit vorm te geven worden drie sporen gevolgd. Allereerst worden normen en richtlijnen ontwikkeld die beschrijven wat onder verantwoorde farmaceutische zorg dient te worden verstaan. Ten tweede worden apotheken ondersteund bij het ontwerpen en implementeren van een kwaliteitssysteem, met behulp waarvan ze het leveren van verantwoorde zorg willen waarborgen en aantonen. Ten slotte krijgen de verschillende vormen van toetsing – van zelftoets tot certificering – de nodige aandacht (Van der Vaart & Gerbrands). Er is gebleken uit literatuurstudie dat in de apotheek interventies nog weinig op hun effect bij de patiënt geëvalueerd worden; er is maar weinig literatuur beschikbaar over uitkomstindicatoren in de openbare apotheek. Bungay (1996) beschrijft de relatie tussen medicijngebruik en de patiëntenuitkomsten. Zij noemt als uitkomsten van de farmaceutische zorg de gezondheidstoestand en de tevredenheid. Daarnaast worden ‘adverse events’, compliance, cliëntenkennis, kosten en effectiviteit/efficiëntie als tussenuitkomsten benoemd. Hierbij moet wel worden opgemerkt dat het hier cliënten betreft die intensievere medicatiebegeleiding nodig hebben dan cliënten die uitsluitend geneesmiddelen komen ophalen. In een artikel van Van der Vaart wordt een aantal mogelijkheden voor uitkomstindicatoren gepresenteerd. ‘Adverse events’ zijn een indicator voor het logistieke afleverproces van de apotheek. Dit zou gemeten kunnen worden door een fouten/klachtenregistratie bij te houden over in hoeveel gevallen – hetzij door de patiënt, hetzij bij het gebruikelijke nakijken van de recepten door de apotheker – afleverfouten worden gesignaleerd. Bij medicatiebegeleiding hoort de uitkomst te zijn dat ongewenste geneesmiddeleninteracties, dubbelmedicaties, et cetera niet optreden. De uitkomst van patiëntenvoorlichting zou moeten zijn: goed en veilig geneesmiddelengebruik door de cliënt, overeenkomstig de bedoeling van de voorschrijver, waarbij de cliënt ook op de hoogte is van mogelijke problemen (bijwerkingen) die zich als gevolg van geneesmiddelengebruik kunnen voordoen, en van de eventueel te nemen maatregelen. Tot slot is cliënttevredenheidonderzoek een vorm van toetsing op uitkomstniveau. Bongeraar (2000) heeft onderzoek gedaan naar kwaliteitsindicatoren voor de farmaceutische zorg. Hierin worden voor informatie en advies aan de cliënt, medicatiebegeleiding en het afleveren van geneesmiddelen indicatoren benoemd. In het onderzoek wordt tevens aangegeven dat het gebruik van uitkomstindicatoren, zoals geformuleerd door Donabedian nog weinig gevolg heeft gekregen in de apothekerszorg. Dezelfde indicatoren komen naar voren in een soortgelijk onderzoek van Van Leeuwen (2001). In het onderzoek van Bennema-Broos et al. (2000) is gekeken naar te verwachten effecten van kwaliteitssystemen in de apotheek. Daarbij worden toename klantgerichtheid, toename tevredenheid gebruikers en kostenbesparing genoemd. Een beknopte analyse van de openbare apotheken door Sluijs et al. (2002) laat zien dat eenderde van de apotheken over een volledig operationeel kwaliteitssysteem beschikt. De kwaliteit van de processen is gewaarborgd, en er is gedeeltelijke inzage in de geleverde kwaliteit. Daarnaast heeft nog eens 50% een basaal functionerend kwaliteitssysteem. Alle apotheken beschikken over een medicatiebewakingssysteem en daarnaast is de verwerking van de recepten, de controle hierop en de aflevering bij bijna alle apotheken van voldoende niveau.
Lemmens et al. 2003. De validiteit van kwaliteitssystemen in zorginstellingen.
32
3.3.5. Ambulancediensten Ambulancezorg is de zorg die in opdracht van de Centrale Post Ambulancevervoer (CPA) beroepsmatig of bedrijfsmatig wordt verleend om een zieke of slachtoffer binnen het kader van de aandoening of letsel hulp te verlenen en, waar nodig, adequaat te vervoeren met inachtneming van datgene wat op grond van algemeen beschikbare medische en verpleegkundige kennis noodzakelijk is (VWS & BZK 1997). De komst van de Kwaliteitswet Zorginstellingen en het ingezette certificeringtraject zijn twee ontwikkelingen die binnen de ambulancesector een grote invloed hebben gehad op het gestructureerd werken aan kwaliteit. Uit literatuurstudie zijn geen uitkomstindicatoren naar voren gekomen. Wel is een aantal belangrijke onderwerpen van het beleid van de ambulancezorg uiteengezet. Hoofddoel van ambulancezorg is het behalen van individuele gezondheidswinst op basis van de zorgbehoefte van de patiënt (Nederlands Ambulance Platform (NAP) 1997). In hetzelfde artikel wordt ook aangegeven dat de eisen van doelmatigheid en doeltreffendheid in eerste instantie de mate van gerichtheid op de patiënt en de afstemming op de reële behoefte van de patiënt betreffen. Toename van de doelmatigheid wordt vaak genoemd als gevolg van de invoering van een kwaliteitssysteem. In de ‘Nota verantwoorde ambulancezorg’ wordt doelmatigheid ook als algemene kwaliteitseis aangegeven. In een onderzoek naar de kwaliteit van dienstverlening van de ambulancedienst (Van den Dool 2001) wordt tevredenheid van de klant over de geleverde output als uitkomst aangemerkt. De ambulancezorg vormt een essentiële schakel in het systeem van spoedeisende hulp. De kwaliteit in de ambulancezorg wordt in belangrijke mate bepaald door de mate waarin en de wijze waarop hulpverleners samenwerken (VWS & BZK 1997). De positie van de ambulancezorg in het zorgproces, een deel van de zorgketen, maakt het onmogelijk om het los te zien van continuïteit, wat als een procesmaat wordt beschouwd. Het zorgen voor aansluitende, continue zorg wordt binnen de ambulancezorg als een uitkomst gezien. In het onderzoek van Sluijs et al. (2002) is alleen gekeken naar Gemeentelijke Gezondheidsdiensten (GGD) en niet naar zelfstandige ambulancediensten. Als uitkomstindicatoren werden bij de GGD genoemd de cliënttevredenheid, de medewerkertevredenheid, klachten en de productiecijfers genoemd. Binnen de ambulancesector is verder geen literatuur gevonden over beschikbare uitkomstindicatoren.
3.3.6. CPA De Centrale Post Ambulancevervoer, de CPA, is de organisatie die belast is met de coördinatie van het ambulancevervoer binnen het gebied dat door Provinciale Staten is aangewezen. De CPA is de toegang tot de ambulancezorg. De CPA is verantwoordelijk voor het proces van indicatiestelling, zorgtoewijzing en zorgcoördinatie (Van der Veen et al. 2001). De kwaliteit van het functioneren van de CPA heeft direct effect op de kwaliteit van de ambulancezorg. Indirect heeft de CPA invloed op andere zorgaanbieders en op de kwaliteit van de geleverde zorg (VWS & BZK 1997). De CPA kan bijvoorbeeld een melder terugverwijzen naar de huisarts; ook kan de CPA bij een juiste inschatting van de situatie van de patiënt andere hulpverleners ter aanvulling op de ambulancezorg inschakelen, zoals bijvoorbeeld een mobiel medisch team. Ketenkwaliteit in het zorgcontinuüm is dus van groot belang. De uitkomst van het proces in de CPA is dus toonaangevend voor de kwaliteit van de geleverde zorg in het latere zorgproces.
Lemmens et al. 2003. De validiteit van kwaliteitssystemen in zorginstellingen.
33
Overeenkomstig de ambulancezorg zijn er uit literatuurstudie geen uitkomstindicatoren voor de CPA naar voren gekomen. De belangrijkste kernpunten van de CPA worden daarom uiteengezet. Ketenkwaliteit vormt een belangrijk onderdeel van de CPA’s. Goede samenwerking en adequate afstemming tussen de meldkamers van de CPA, brandweer en politie is essentieel. Hierdoor kan de inzet van meerdere hulpdiensten beter worden afgestemd en kan tevens doelmatiger gewerkt worden (VWS & BZK 1997). Tevredenheid van de ketenpartners over belangrijke aspecten als informatieoverdracht, communicatie en snelheid van dienstverlening kunnen indicatoren zijn voor de ketenkwaliteit (idem). Kessener (1994) geeft aan dat een kwaliteitssysteem continuïteit dient te waarborgen. Gezien de positie van de CPA in de zorgketen, houdt continuïteit van zorg in dat er een goede afstemming met de ketenpartners moet plaatsvinden. Continuïteit wordt weergegeven door een goede afstemming met de ziekenhuizen, ambulances en huisartsen. De wijze waarop de CPA de meldingen verwerkt en de inzet van ambulances coördineert, heeft direct invloed op de snelheid waarmee de hulp kan worden verleend. De CPA moet zorgen dat de juiste hulp op het juiste moment wordt ingezet en dat alle hulpverleners c.q. instellingen weten wat er van hun verwacht wordt (AZN 1997). Adequate inschatting van de medische situatie en het belang van een juiste prioriteitstelling maken hier onderdeel van uit.
3.4.
Samenvatting
Er is nog weinig onderzoek verricht naar de effecten van accreditatie op de uitkomsten van zorg. Verklaringen hiervoor luiden onder meer: de relatie is moeilijk te onderzoeken, het verbeteren van de uitkomsten is niet het hoofddoel van accreditatie en problemen in het vinden van een verbinding met de belangen van de medische staf. De relatie is moeilijk te onderzoeken omdat er op geaggregeerd niveau nog maar weinig gebruik wordt gemaakt van uitkomstindicatoren. Daarnaast zijn andere factoren van invloed op de uitkomst van zorg, deze factoren zijn niet goed in beeld gebracht, hun invloed is dus moeilijk te meten. Uit sommige internationale onderzoeken komt er enige evidentie naar voren dat accreditatie leidt tot betere uitkomsten van zorg. De context en de implementatie blijken hierbij een belangrijke rol te spelen. Uit de literatuur komt naar voren dat er wel veel evidentie is dat wijst op de positieve effecten van certificatie/ accreditatie op proces- en structuurkenmerken. Ervaringen uit het bedrijfsleven laten zien dat de effecten van certificatie op de uitkomsten van de organisatie het best zijn te onderzoeken aan de hand van longitudinaal onderzoek. In de betrokken sectoren zijn in meer of mindere mate uitkomstindicatoren aangetroffen in de literatuur. Met name in de GGZ en de thuiszorg bestaan er inmiddels verschillende uitkomstindicatoren, dit in tegenstelling tot de ambulancediensten en de CPA’s. In de zorg zelf wordt over het algemeen nog maar weinig gebruik gemaakt van de uitkomstindicatoren op geaggregeerd niveau.
Lemmens et al. 2003. De validiteit van kwaliteitssystemen in zorginstellingen.
34
4.
Uitkomstgebieden in de zorg
4.1.
Inleiding
Wat zou het effect moeten zijn van de invoering van een kwaliteitssysteem op de uitkomsten van zorgprocessen? In dit hoofdstuk wordt het conceptuele kader weergeven waarbinnen de verschillende sectoren uitkomstindicatoren hebben benoemd. Dit conceptuele kader is ontwikkeld aan de hand van de methode concept mapping. Het doel van de concept mapping was het zoeken naar een operationalisatie van het begrip uitkomsten van zorg die de verschillende sectoren zouden willen hanteren onder invloed van kwaliteitssystemen. Het conceptuele kader vormt de basis voor de vragenlijst die inzicht moet verschaffen in de uitkomstindicatoren die gehanteerd worden in de diverse sectoren.
4.2.
De Geestelijke Gezondheidszorg
In de GGZ is een zevental clusters benoemd aan de hand van concept mapping: continuïteit, symptoomreductie (klinische indicatoren), zelfredzaamheid (kwaliteit van leven), tevredenheid over het zorgproces, tevredenheid over het zorgresultaat, effectief management en efficiënt management. Tabel 4.1
Overzicht uitkomstindicatoren in de GGZ
Uitkomstindicatoren Ons
Klinische
Kwaliteit van
Cliëntsatis-
Efficiëntie /
onderzoek
indicatoren
leven
factie
effectief
Linssen
Klinische
Kwaliteit van
Waardering
Bedrijfsresul-
behandeling
leven
van klanten
taten
Øvretveit
Verdwijnen
Het weer
Patiënttevre-
Laagste
(1998)
van ziekte
oppakken van
denheid
kosten per
Afwezigheid
activiteiten
-
-
patiënt Minst gebruik
complicaties
Literatuur
Continuïteit
voorzieningen Walburg
Klinische
Kwaliteit van
Waardering
(2000)
indicatoren
leven
van klanten
Kosten
-
Van Hoof et
Psychische
Zelfzorg
Tevredenheid
-
-
al. (1994)
klachten
Vaardigheden
Place et al.
Klinische
Kwaliteit van
(2000)
resultaten
leven
Waardering
Bedrijfsresul-
-
door klanten
taten
en andere
(efficiency-
belanghebben
metingen)
den
De resultaten van de concept mapping zijn vervolgens naast literatuur over uitkomstindicatoren in de GGZ gelegd. Triangulatie, het gebruik van de verschillende
Lemmens et al. 2003. De validiteit van kwaliteitssystemen in zorginstellingen.
35
dataverzamelingsmethoden of databronnen om een zo juist mogelijk beeld van de werkelijkheid te krijgen (Baarda et al. 1998), is een toets voor de validiteit van het overzicht van uitkomstindicatoren in de GGZ. De resultaten van de concept mapping en de literatuur vertonen op een aantal punten overeenkomsten. Afwezigheid van complicaties en het verdwijnen van de ziekte (vermindering van klachten) uit het artikel Øvretveit (1998) komen ook uit de concept mapping naar voren als uitkomstindicatoren voor klinische zorg. In de literatuur komen als voornaamste uitkomstgebieden naar voren: klinische uitkomsten, kwaliteit van leven, cliëntsatisfactie en kostenefficiëntie. Deze zijn alle terug te vinden in de concept map en vinden aansluiting bij de insteek van GGZ-Nederland. De andere uitkomsten die genoemd zijn in de concept map zijn volgens bestudeerde literatuur procesindicatoren in plaats van uitkomstindicatoren. Deze passen ook niet binnen de definitie van uitkomstindicatoren. Uit de concept mapping blijkt dat deze indicatoren wel van grote belang worden gevonden voor de kwaliteit van zorg. Van Hoof et al. (1994) zeggen in aansluiting hierop: “Een aantal voorwaardelijke doelstellingen (een goede zorgrelatie, continuïteit aanbrengen in de zorg) is dermate essentieel voor de kwaliteit van zorg dat het aanbeveling verdient ook op dat terrein naar indicatoren te zoeken.” De concept mapping heeft geresulteerd in het uitkomstenkwadrant van de GGZ: klinische uitkomsten, kwaliteit van leven, cliëntsatisfactie en kosten (efficiëntie) (Figuur 4.1). De operationalisatie van deze uitkomstgebieden staat beschreven in bijlage 2. Daarnaast heeft het een procesmaat opgeleverd die van essentieel belang is binnen de GGZ voor het behalen van goede uitkomsten, namelijk continuïteit. Figuur 4.1
Operationalisatie van uitkomstindicatoren in de GGZ
Klinische uitkomsten Symptoomreductie
Cliënttevredenheid over:
Kwaliteit van leven
Zorgproces
Zelfredzaamheid
Zorgresultaat
Kosten Efficiëntie kosten
4.3.
De Thuiszorg
In de thuiszorg zijn de volgende clusters benoemd: kwaliteit van leven, beheersing van gezondheidsrisico’s, cliëntsatisfactie met de autonomie, betrouwbaarheid van de organisatie, samenwerking, ‘meten en verbeteren’, efficiëntie en professionele kwaliteit. De resultaten van de concept mapping zijn vervolgens verder bestudeerd en naast literatuur over uitkomstindicatoren gelegd. In de thuiszorg is weinig literatuur aanwezig over het gebruik van
Lemmens et al. 2003. De validiteit van kwaliteitssystemen in zorginstellingen.
36
uitkomstindicatoren, de sector verpleging en verzorging beschikt echter wel over verschillende stukken met betrekking tot uitkomstindicatoren. Gezien de aard en het doel van de geleverde zorg, kunnen veel uitkomstindicatoren herleid worden naar de thuiszorg. Tabel 4.2
Overzicht uitkomstindicatoren in de thuiszorg
Uitkomstindicatoren Ons
Klinische
onderzoek Zimmerman et al. 1995
Literatuur
Wagner et al. 2001
Heath et al. 1996
Kwaliteit van
Cliëntsatisfac
resultaten
leven
tie
Fysieke
Kwaliteit van
-
-
gezondheid
leven
Doelmatig
Fysieke
Kwaliteit van
Waardering
gezondheid
leven
bewoner
Behoud
Kwaliteit van
Cliëntsatisfac
gezondheid
leven
tie
Mate van
Kwaliteit van
Waardering
gezondheid
leven
bewoner
Efficiëntie
Samenwer-
Professionele
king
kwaliteit
-
-
-
Professionele kwaliteit
-
-
-
Kosten
-
-
stoestand
Klein Ikkink & Wagner 2000
De resultaten van de verschillende onderzoeken zijn te zien in tabel 4.2 Overeenkomst bestaat met betrekking tot de indicatoren kwaliteit van leven, klinische indicatoren, cliëntsatisfactie en in mindere mate kosten. Uitkomstindicatoren voor klinische resultaten zijn decubitus, incontinentie en kathetergebruik (Klein Ikkink & Wagner 2000). Professionele kwaliteit, ‘meten en verbeteren’ en samenwerking blijken procesmaten te zijn, het zijn voorwaarden aan het proces om de uitkomst te verbeteren. In een artikel van Brugha en Lindsay (1996) wordt aangegeven dat algemene standaarden en protocollen voor behandeling (professionele kwaliteit) als procesmaten worden gezien. Uit de concept mapping en de literatuur blijkt dat er verschillende uitkomstgebieden van processen in de thuiszorg te onderscheiden zijn die een gevolg (kunnen) zijn van de invoering van een kwaliteitssysteem. De concept mapping en de literatuur komen overeen op de volgende uitkomstgebieden: kwaliteit van leven, klinische indicatoren, cliëntsatisfactie en kosten. De operationalisatie van de uitkomstgebieden staat beschreven in bijlage 3. Dit resulteert in het volgende schema:
Lemmens et al. 2003. De validiteit van kwaliteitssystemen in zorginstellingen.
37
Figuur 4.2
Operationalisatie van uitkomstindicatoren in de thuiszorg
Klinische uitkomsten
Beheersing gezondheidsrisico’s
Cliënttevredenheid
Kwaliteit van leven
Autonomie
Kwaliteit van leven
Betrouwbaarheid
Kosten Kostenefficiëntie
4.4.
De Apotheek
Het concept mapping heeft geresulteerd in zestal uitkomstgebieden waarop de invoering van een kwaliteitssysteem binnen de openbare apotheek invloed heeft, namelijk: medicatiegebruik klant, klanttevredenheid, klinische uitkomsten, ‘adverse events’, efficiëntie en transparantie. De uitkomstgebieden voor de openbare apotheek zijn naast de literatuur over uitkomstindicatoren in de apothekerszorg gelegd. Er is gebleken dat in de apotheek interventies nog weinig op hun effect bij de patiënt geëvalueerd worden. Tabel 4.3
Overzicht uitkomstindicatoren in de openbare apotheek
Uitkomstindicatoren
Literatuur Ons onderzoek
Bungay 1996
Klinische
“Adverse
Klanttevre
uitkomsten
events”
denheid
“Adverse
Tevreden-
Kosten /
Gezondheids toestand
Van der Vaart
Bongeraar 2000
Bennema-Broos 2000
Efficiëntie
Medicatie
Transpa-
gebruik klant
rantie
Compliance /
-
events”
heid
Efficiëntie
Kennis
Fouten en
Patiënt
-
Patiënten
begeleiding
klachten
satisfactie
Medicatie
Fouten en
-
-
Informatie en
begeleiding
klachten
-
-
Tevreden
Kostenbe-
pat/gebr.
sparing
Medicatie
-
voorlichting -
advies -
-
Bestudering van de literatuur laat zien dat de meeste uitkomstgebieden, die door middel van de concept map zijn geïdentificeerd, ook in de literatuur terug te vinden zijn. Medicatiebegeleiding (Van de Vaart; Bongeraar 2000) komt ook uit de concept mapping naar voren. Transparantie vormt hier een uitzondering op. Van der Vaart geeft aan dat ontwikkelingen in de omgeving zoals de toegenomen bemoeienis van de overheid met de kwaliteit van zorg en zorgverlening en het streven naar kostenbeheersing er voor hebben gezorgd dat veel nadrukkelijker dan in het verleden wordt gevraagd de kwaliteit aan te tonen.
Lemmens et al. 2003. De validiteit van kwaliteitssystemen in zorginstellingen.
38
Dit is een uitkomst die niet een gevolg is van de directe zorg aan de cliënt, maar meer te maken heeft met externe verantwoording. Figuur 4.3
Operationalisatie van uitkomstindicatoren in de apotheek Klinische uitkomsten Klinische uitkomsten Medicatiegebruik klant
Cliënttevredenheid
Afleverproces
Klanttevredenheid
Voorkomen ‘Adverse events’
Kosten Efficiëntie
Figuur 4.3 geeft een overzicht van de uitkomstgebieden van uitkomstindicatoren die in de apotheek kunnen worden gebruikt voor het meten van de kwaliteit van zorg. De operationalisatie van de uitkomstgebieden is terug te vinden in bijlage 4. Bij de uitkomstindicatoren is een duidelijk onderscheid tussen ‘output’ en ‘outcome’ waar te nemen. ‘Output’ is het prestatie van het proces, bijvoorbeeld betere informatievoorziening, en ‘outcome’ heeft te maken met het effect daarvan, bijvoorbeeld een grotere tevredenheid over de informatievoorziening.
4.5.
De Ambulancedienst
Er zijn verschillende uitkomstgebieden van het proces in de ambulancezorg te onderscheiden die een gevolg (kunnen) zijn van de invoering van een kwaliteitssysteem. De concept mapping heeft de volgende uitkomstindicatoren voor de ambulancezorg geïdentificeerd: continuïteit, doelmatigheid, doeltreffende zorgverlening, afstemming op zorgbehoefte van de cliënt en cliënttevredenheid. Er is getracht deze resultaten naast relevante literatuur te leggen, er bleek echter geen literatuur voorhanden te zijn over uitkomstindicatoren in de ambulancezorg (zie paragraaf 2.3.5). Als uitgangspunt, om de gevonden uitkomstindicatoren aan te relateren, worden daarom de vijf d’s van Donabedian (death, disease, disability, discomfort en dissatisfaction) gebruikt en de kernpunten van de ambulancezorg. Donabedian stelt dat het uiteindelijke doel van zorgactiviteiten een zo goed mogelijke uitkomst is. Deze kan gevat worden in termen van (voorkomen van) ziekte of sterfte, (beperking van) complicaties, kwaliteit van leven bij ziekte, maar ook in termen van beperking van ongemak of van (on)tevredenheid met de behandeling of bejegening. Kwaliteit van leven speelt in het geval van de ambulancezorg geen rol, aangezien het een kort, maar intensief, contact met de cliënt betreft. Uit beleidsstukken komt
Lemmens et al. 2003. De validiteit van kwaliteitssystemen in zorginstellingen.
39
naar voren dat individuele gezondheidswinst, doelmatigheid en doeltreffendheid, tevredenheid en continuïteit kernpunten in het beleid van de ambulancezorg vormen. De resultaten van de concept mapping, de literatuur van Donabedian en de beleidsstukken uit de ambulancezorg vertonen veel overeenkomstige uitkomstgebieden. De uitkomstgebieden voor het proces in de ambulancezorg kunnen als volgt in een conceptueel kader worden geplaatst (figuur 4.4). De operationalisatie van deze uitkomstgebieden is te vinden in bijlage 5. Figuur 4.4
Operationalisatie van uitkomstindicatoren in de ambulancezorg
Klinische uitkomsten Doeltreffende zorg
Cliënttevredenheid
Continuïteit
Afstemming op
Continuïteit
behoefte cliënt Cliënttevredenheid
Kosten Doelmatigheid
4.6.
De Centrale Posten Ambulancevervoer
Het concept mapping heeft geresulteerd in een vijftal gebieden van uitkomstindicatoren voor de CPA-hulpverlening waarop de invoering van een kwaliteitssysteem invloed heeft. De oorspronkelijke door de computer geformeerde clusters zijn teruggebracht van acht tot vijf clusters. Aan de hand van literatuurstudie is getracht meer inzicht te krijgen in de uitkomstindicatoren in de Centrale Posten Ambulancevervoer. Deze literatuur bleek echter niet voorhanden. Op dezelfde wijze als bij de ambulancezorg zijn de vijf 5’s (death, disease, disability, discomfort en dissatisfaction) van Donabedian gebruikt als referentiekader voor uitkomstindicatoren. Kwaliteit van leven speelt in het geval van de CPA’s geen rol, aangezien de CPA geen direct contact heeft met de patiënt. Net als de ambulancezorg maakt de CPA deel uit van de zorgketen. Het proces dat zich op de CPA afspeelt is een onderdeel van een groter proces (ketenzorg). Continuïteit, een procesmaat, wordt binnen de CPA ook als een uitkomstmaat gezien, omdat zorgen voor aansluitende, continue zorg een doel (uitkomst) van de CPA is. Daarnaast zijn de uitkomstindicatoren ondersteund met bestaande literatuur over CPA’s. Uit beleidsstukken rondom de zorg van de CPA komen ketenkwaliteit, tevredenheid, doelmatigheid en continuïteit naar voren. De overeenkomsten tussen de concept mapping en de beschikbare literatuur/documenten leidt tot het volgende uitkomstenkader (bijlage 4.5). De volgende clusters van uitkomstindicatoren kunnen in de CPA-sector worden onderscheiden: ketenkwaliteit, continuïteit, doelmatigheid, doeltreffende hulpverlening en tevredenheid van
Lemmens et al. 2003. De validiteit van kwaliteitssystemen in zorginstellingen.
40
klanten. De operationalisatie van de clusters, de uitkomstindicatoren, zijn te vinden in bijlage 6. Dit resulteert in het volgende model: Figuur 4.5
Operationalisatie van uitkomstindicatoren in de CPA
Klinische uitkomsten Doeltreffende hulpverlening
Cliënttevredenheid
Continuïteit
Tevredenheid van
Continuïteit
klanten
Ketenkwaliteit
Kosten Doelmatigheid
4.7.
Samenvatting
De concept mapping heeft inzicht verschaft in de uitkomstindicatoren die in de verschillende sectoren gehanteerd kunnen worden om de uitkomsten van het zorgproces te gaan managen. Vergelijking van de concept mapping en literatuur heeft geresulteerd in een indeling van de uitkomstindicatoren in het uitkomstenkwadrant. De uitkomstindicatoren zijn onder te brengen in vier uitkomstgebieden, te weten: klinische uitkomsten, cliënttevredenheid, kosten en kwaliteit van leven (GGZ en thuiszorg)/ ‘adverse events’ (apotheek)/ continuïteit (ambulancedienst en CPA) (zie figuur 4.4). Tabel 4.4
Uitkomstgebieden en sectoren
Uitkomstgebieden
Sectoren GGZ
Thuiszorg
Apotheek
Ambulancedienst
CPA
Klinische indicatoren
+
+
+
+
+
Cliënttevredenheid
+
+
+
+
+
Kosten
+
+
+
+
+
Kwaliteit van leven
+
+
-
-
-
‘Adverse events’
-
-
+
-
-
Continuïteit
-
-
-
+
+
Lemmens et al. 2003. De validiteit van kwaliteitssystemen in zorginstellingen.
41
5. De relatie tussen certificatie en uitkomsten van zorg 5.1.
Inleiding
Doel van dit onderzoek is na te gaan in hoeverre in de verschillende sectoren al uitkomstmetingen worden verricht in de context van het uitkomstenkwadrant. Er wordt hierbij gekeken naar de relatie tussen HKZ-certificatie en uitkomsten van zorg. Er wordt ook gekeken of er enige indicaties zijn van verschillen tussen instellingen zowel in wat ze meten als in concrete resultaten. Er is in deze context gekeken naar het meten van verschillende soorten uitkomsten in de sectoren (paragraaf 5.2) en naar de relatie tussen het meten van uitkomsten en de aanwezigheid van een HKZ-certificaat (paragraaf 5.3). Daarnaast is getracht om bestaande databestanden te analyseren om een beeld te kunnen krijgen van de relatie tussen HKZ-certificatie en de uitkomsten van zorg (paragraaf 5.4).
5.2.
Meten van uitkomsten
In deze paragraaf wordt een aantal grafieken gepresenteerd die inzicht geven in hoeverre in de verschillende sectoren al uitkomstmetingen worden verricht. De uitkomstgebieden die tijdens de concept mapping zijn geïdentificeerd worden als uitgangspunt genomen voor het weergeven van de resultaten. Het eerste uitkomstenkwadrant zijn de klinische uitkomsten, het tweede uitkomstenkwadrant gaat respectievelijk over kwaliteit van leven, het afleverproces in de apotheek en continuïteit, het derde uitkomstenkwadrant heeft betrekking op de cliënttevredenheid en het laatste uitkomstenkwadrant gaat in op de kosten.
5.2.1. Het meten van klinische uitkomsten Het eerste kwadrant heeft de naam ‘klinische uitkomsten’ gekregen. Dit kwadrant krijgt in elke sector een andere uitwerking, zoals ook al bij de concept mapping naar voren kwam. In de verpleging en verzorging (thuiszorg) gaat het bij klinische uitkomsten om het beheersen van gezondheidsrisico’s, zoals het voorkomen van infecties. Bij de acute hulpverlening door de ambulancediensten en CPA’s hebben klinische uitkomsten alles te maken met doeltreffende zorgverlening. In de apotheek gaat het om het geneesmiddelengebruik van de klant. In drie sectoren is gevraagd naar het meten van de gezondheidstoestand van de cliënt (figuur 5.1). In de sectoren ambulancedienst (79%) en CPA (78%) wordt relatief veel meer gemeten op afdelings- of organisatieniveau, dan in de thuiszorg (17%). Een opmerking die hierbij gemaakt moet worden is dat het totaal verschillende doelgroepen betreft. In de thuiszorg behoeven cliënten langdurige zorg, bij de ambulancediensten betreft het acute hulpverlening. Evaluatie en bijsturing vindt bij de thuiszorg in 100% van de gevallen plaats. Bij de ambulancedienst en de CPA evalueren respectievelijk 73% en 71% van de respondenten de meting, waarvan 91% en 100% ook zorgen voor bijsturing van de zorg.
Lemmens et al. 2003. De validiteit van kwaliteitssystemen in zorginstellingen.
42
Figuur 5.1
Meten van de gezondheidstoestand (n=19, n=9, n=24)
In de apotheek gaat het om het inzicht in het gebruik van geneesmiddelen. In figuur 5.2 is te zien dat 93% van de onderzochte apotheken ongewenste geneesmiddelenuitgifte meet, zoals contra-indicatie, dubbelmedicatie of interacterende geneesmiddelen. De andere aspecten van geneesmiddelengebruik worden minder gemeten. Figuur 5.2 Geneesmiddelengebruik meten (apotheek) (n=153)
Lemmens et al. 2003. De validiteit van kwaliteitssystemen in zorginstellingen.
43
Figuur 5.3
Overige indicatoren voor het meten van de gezondheidstoestand in de thuiszorg (n=24)
Het aantal onverwachte heropnames en het aantal foutieve indicaties, die in de thuiszorg als uitkomstindicatoren worden gezien, blijken relatief weinig te worden gemeten. Foutieve indicaties worden bij 16% van de respondenten gemeten en slechts 4% van de respondenten meet het aantal onverwachte heropnames (figuur 5.3). Figuur 5.4
Meten fouten ambulancedienst (n=19)
Fouten worden in de ambulancezorgsector ook als uitkomstindicator gezien. Van de instellingen uit de steekproef geeft 74% aan een foutenregistratie bij te houden (figuur 5.4). In
Lemmens et al. 2003. De validiteit van kwaliteitssystemen in zorginstellingen.
44
94% van de gevallen vindt er evaluatie van de fouten plaats en hiervan wordt er in 100% van de gevallen bijgestuurd.
5.2.2. Het meten van kwaliteit van leven, continuïteit en ‘adverse events’ Het tweede kwadrant heeft in de diverse sectoren op een verschillende wijze invulling gekregen door de concept mapping. De thuiszorg is een sector die langdurige zorg verschaft aan cliënten, hiervoor is kwaliteit van leven een belangrijke uitkomstindicator. Kwaliteit van leven kan aan de hand van verschillende aspecten, zoals bijvoorbeeld de zelfzorg van de cliënt of het mentaal functioneren, worden gemeten. Het “snelle” karakter van de CPA en ambulancedienst en de ketengedachte zorgen ervoor dat continuïteit als uitkomstindicator wordt gezien voor de aansluiting op de zorg in de verdere zorgketen. Dit komt overeen met de problematiek die Donabedian (1992) schetste om te bepalen wanneer iets een uitkomst is. In de apotheek vormen de ‘adverse events’ uitkomstindicatoren voor het afleverproces. Figuur 5.5 laat zien dat slechts 13% van de thuiszorginstellingen uit de steekproef de kwaliteit van leven meet. Door 67% van de respondenten worden de resultaten gebruikt voor bijsturing en bij 100% van deze respondenten vindt ook bijsturing plaats. Van de 88% die de kwaliteit van leven niet meet, heeft 21% aangegeven dat dit in ontwikkeling is. Figuur 5.5
Kwaliteit van leven meting (n=24)
Vervolgens is er gevraagd naar de aspecten van de kwaliteit van leven die door de respondenten worden gemeten. Van de respondenten die de kwaliteit van leven meten, meet 67% de zelfzorg en/of de fysieke gezondheid. Het mentaal functioneren en het welbevinden worden door 33% van deze respondenten gemeten.
Lemmens et al. 2003. De validiteit van kwaliteitssystemen in zorginstellingen.
45
Figuur 5.6
‘Adverse events” meten (apotheek) (n=153)
In figuur 5.6 wordt een overzicht gegeven van de mate waarin apotheken de ‘adverse events’ meten. In de meeste gevallen worden de fouten bij het afleverproces gemeten (65%), voorschrijffouten worden het minste gemeten (33%) bij de onderzochte apotheken. Figuur 5.7
Meten van continuïteit (n=19, n=9)
Figuur 5.7 toont dat de continuïteit van de geleverde zorg in 16% van de ambulancediensten en 22% van de CPA’s uit de steekproef wordt gemeten. Van deze 16% en 22% geven alle
Lemmens et al. 2003. De validiteit van kwaliteitssystemen in zorginstellingen.
46
respondenten (100%) aan de meetgegevens te evalueren en te gebruiken voor bijsturing. Bij de ambulancedienst worden de informatieoverdracht (100%), de communicatie met het ziekenhuis (67%) en de vertraging bij aankomst bij het ziekenhuis gemeten (33%). De CPA’s die de continuïteit meten, registreren allen de vooraankondiging aan het ziekenhuis, de doorgifte van de situatie aan de ambulancedienst en de verwijzing naar de huisarts. In alle (100%) gevallen vindt er evaluatie en bijsturing plaats.
5.2.3. Het meten van cliënttevredenheid In alle sectoren blijkt de cliënttevredenheid een belangrijke uitkomstindicator te zijn. De operationalisatie van het begrip cliënttevredenheid verschilt wel per sector. Drie begrippen die in iedere sector worden genoemd zijn de bejegening, deskundigheid van de hulpverlener en informatievoorziening. Belangrijke aspecten van tevredenheid in de thuiszorg zijn bijvoorbeeld inspraak, continuïteit van de hulpverlener en de zorg. In de apotheek komen onderwerpen zoals wachttijden en uitstraling naar voren. Naast de cliënttevredenheid worden in sommige sectoren klachten en melding incidenten patiëntenzorg (MIP) onder het kopje cliënttevredenheid geschaard. Figuur 5.8
Cliënttevredenheid meten (n=153, n=19, n=9, n=24)
Uit figuur 5.8 is af te leiden dat het merendeel van de thuiszorginstellingen de cliënttevredenheid meet (75%). Opvallend is dat dit niet 100% is, aangezien alle instellingen een cliënttevredenheidsmeting hebben gedaan in het kader van de benchmark. Mogelijk heeft deze vertekening plaatsgevonden doordat ze de benchmark niet als hun eigen meting zien. In de andere sectoren worden beduidend minder cliënttevredenheidsmetingen uitgevoerd. Slechts 22% van de deelnemende CPA’s meet de cliënttevredenheid. Een verklaring hiervoor zou kunnen zijn dat cliënttevredenheid niet als ‘meldertevredenheid’ is opgevat en zodoende niet aangegeven is, dat dit gemeten wordt. In de sectoren ambulancedienst, CPA en thuiszorg vindt er in 100% van de gevallen evaluatie en bijsturing plaats aan de hand van de
Lemmens et al. 2003. De validiteit van kwaliteitssystemen in zorginstellingen.
47
cliënttevredenheidsmeting. Evaluatie gebeurt in 96% van de apotheken en hiervan stuurt 98% bij aan de hand van deze gegevens. Figuur 5.9
Klachten meten (n=19, n=9, n=24)
Klachten worden in een zeer groot deel van de instellingen geregistreerd (figuur 5.9). De 4% van de thuiszorginstellingen die aangeeft nog geen klachten te registreren, heeft aangegeven dat dit in ontwikkeling is. Van de instellingen die aangeven dat ze de klachten registreren geven 91%, 100% en 100%, van respectievelijk de respondenten van de thuiszorg, ambulancedienst en CPA, aan de klachten te evalueren en aan de hand daarvan de zorg bij te sturen. Figuur 5.10 laat zien dat 67% van de CPA’s en 75% van de thuiszorgorganisaties uit de steekproef de melding van incidenten en bijna fouten registreren. De 33% van de CPA’s die aangeeft nog geen registratie van incidenten en bijna fouten te houden, heeft aangegeven dat dit in ontwikkeling is. Van de instellingen die dit reeds registreren geeft zowel 100% van de CPA’s als 100% van de thuiszorgorganisaties aan de registratie te gebruiken voor evaluatie en bijsturing van de zorg.
Lemmens et al. 2003. De validiteit van kwaliteitssystemen in zorginstellingen.
48
Figuur 5.10
Melding incidenten en bijna fouten (n=9, n=24)
5.2.4. Het meten van kosten De centrale noemer van het vierde kwadrant is kosten. In alle sectoren worden verschillende vormen van kostenbeheersing en doelmatigheid als uitkomstindicator gebruikt. De productiviteit, de kosten per contactuur en het exploitatieresultaat vormen hier voorbeelden van. Budgetoverschrijding wordt in twee sectoren aangegeven als uitkomstindicator voor kosten (figuur 5.11). In de thuiszorg wordt in 92% van de gevallen de budgetoverschrijding gemeten, in 4% van de gevallen is dit in ontwikkeling. Alle instellingen uit de steekproef van de ambulancediensten geven aan de budgetoverschrijding te meten. Honderd procent van de thuiszorginstellingen die de budgetoverschrijding meten geven aan dit te evalueren en 96% gebruikt deze evaluatie ook nog voor bijsturing. 95% van de ambulancediensten geeft aan de budgetoverschrijding te evalueren en 72% van deze groep gebruikt de evaluatie ook voor bijsturing.
Lemmens et al. 2003. De validiteit van kwaliteitssystemen in zorginstellingen.
49
Figuur 5.11
Budgetoverschrijding meten (n=19, n=24)
Een groot deel van de thuiszorginstellingen uit de steekproef meet de productiviteit van de uitvoerende zorg (92%). Daarnaast geeft 4% van de thuiszorginstellingen, die het nog niet meten, aan dat dit in ontwikkeling is. In alle gevallen (100%) waarin de productiviteit wordt gemeten, wordt dit geëvalueerd en gebruikt voor bijsturing. In de CPA-sector wordt de productiviteit een stuk minder gemeten, namelijk 33% (figuur 5.12). Nog eens 33% van de CPA’s, die de productiviteit nog niet meten, geeft aan dat dit in ontwikkeling is. Figuur 5.12
Productiviteit meten (n=9, n=24)
Lemmens et al. 2003. De validiteit van kwaliteitssystemen in zorginstellingen.
50
Figuur 5.13
Kosten per contactuur in de thuiszorg meten (n=24)
In figuur 5.13 is te zien dat de kosten per contactuur in 71% van de aan dit onderzoek deelnemende instellingen wordt gemeten. Van de instellingen die dit niet meten, geeft 21% aan dat dit in ontwikkeling is. In 82% van de gevallen waarin het gemeten wordt, vindt ook evaluatie plaats en hierbij wordt in 93% overgegaan tot bijsturing. Figuur 5.14
Inzet ambulance evalueren (n=9)
De inzet van de ambulance wordt door de CPA’s in 78% van de gevallen geëvalueerd (figuur 5.14). Alle respondenten gebruiken de resultaten van de evaluatie voor bijsturing.
Lemmens et al. 2003. De validiteit van kwaliteitssystemen in zorginstellingen.
51
Figuur 5.15
Exploitatieresultaat meten (n=19, n=9)
Tabel 5.15 laat zien dat de meeste ambulancediensten (84%) en CPA’s (78%) de exploitatieresultaten meten. Van de organisaties die dit niet meten, geeft 11% van zowel de ambulancediensten als de CPA’s aan dat dit in ontwikkeling is. Bij de ambulancediensten worden in 88% van de gevallen de meetgegevens geëvalueerd en daarvan wordt in 79% van de gevallen voor bijsturing gezorgd. Bij de CPA’s worden de meetgegevens een stuk minder geëvalueerd (57%), maar worden in 100% van deze gevallen de resultaten gebruikt voor bijsturing. Figuur 5.16
Beschikbaarheid ambulancedienst meten (n=9)
Lemmens et al. 2003. De validiteit van kwaliteitssystemen in zorginstellingen.
52
De beschikbaarheid van de ambulancedienst wordt in 63% van de gevallen gemeten. Van de groep die dit niet meet, is 11% dit aan het ontwikkelen. In 92% van de gevallen worden de metingen geëvalueerd en hiervan wordt 91% gebruikt voor bijsturing. Figuur 5.17 laat zien dat 84% van de ambulancediensten uit de steekproef het verbruik van het materiaal meet. Daarnaast heeft 11% “nee, dit is in ontwikkeling” geantwoord. Er vindt in 92% van de gevallen evaluatie van de meetgegevens plaats en daarvan wordt in 79% van de gevallen voor bijsturing gezorgd. Figuur 5.17 Verbruik materiaal ambulancedienst meten (n=19)
Figuur 5.18 geeft tot slot een overzicht van de kostenindicatoren die in de apotheken worden gemeten: servicegraad, snelheid van de receptafhandeling, wachttijd, het gebruik van substitutiemiddelen, het aantal WTG-voorschriften en het aantal WTG-voorschriften per assistente. Uit de figuur is af te leiden dat het aantal WTG-voorschriften (95%), het gebruik van substitutiemiddelen (86%) en het aantal WTG-voorschriften per assistente (72%) door het merendeel van de apotheken uit de steekproef wordt gemeten. De snelheid van de receptafhandeling (16%) en de wachttijden (20%) worden aanzienlijk minder gemeten.
Lemmens et al. 2003. De validiteit van kwaliteitssystemen in zorginstellingen.
53
Figuur 5.18
5.3.
Kosten apotheek meten (n=153)
Relatie kwaliteitssysteem en het meten van uitkomsten
In deze volgende paragraaf wordt ingegaan op de relatie tussen de aanwezigheid van een HKZ-gecertificeerd kwaliteitssysteem en het meten van uitkomsten. Dat zou een indicatie kunnen zijn voor het potentieel van gecertificeerde instellingen om de effecten van certificatie aan te tonen in termen van verklarende zorguitkomsten. De verschillen tussen de gecertificeerde instellingen en de niet-gecertificeerde instellingen in het meten van uitkomstindicatoren worden in kaart gebracht. In de tabellen worden de percentages gepresenteerd van gecertificeerde en niet-gecertificeerde instellingen die de uitkomst wel meten. De significante verschillen zijn in de tabellen vet afgedrukt. Hierbij willen we uitdrukkelijk aantekenen dat deze verkenning niet meer dan tentatief is. Dat hangt ten eerste samen met het feit dat maar weinig instellingen al gecertificeerd zijn en ten tweede met het feit dat veel niet-gecertificeerde instellingen soms al ver op weg waren in het behalen van het certificaat. Deze feiten maken een echte vergelijking tussen wel en niet gecertificeerde instellingen thans nog tot een landelijke onderzoeking. Het aantal onderzochte instellingen kan debet zijn aan het niet significant zijn van de verschillen tussen de gecertificeerde instellingen en de niet-gecertificeerde instellingen in het meten van uitkomstindicatoren.
5.3.1. De klinische uitkomsten Tabel 5.1 laat zien dat gecertificeerde instellingen in de thuiszorg meer de gezondheidstoestand meten dan niet-gecertificeerde instellingen. Ook de meeste uitkomstmaten van de apotheek worden meer door gecertificeerde apotheken dan door nietgecertificeerde apotheken gemeten. De uitkomstmaten van kwadrant 1 worden in de ambulancedienst en CPA minder door gecertificeerde dan door niet-gecertificeerde instellingen gemeten. Dit geldt ook voor het aspect therapietrouw bij apotheken.
Lemmens et al. 2003. De validiteit van kwaliteitssystemen in zorginstellingen.
54
Tabel 5.1 Percentage meten klinische uitkomsten
Certificaat Gezondheidstoestand Fouten
Thuiszorg
Apotheek
Ambulance
CPA
Wel
Niet
Wel
Niet
Wel
Niet
Wel
Niet
20
16
-
-
75
81
67
83
-
-
34
30
63
81
-
-
Therapietrouw
-
-
33
41
-
-
-
-
Ongewenste geneesmiddelenuitgifte
-
-
94
91
-
-
-
-
Kennis van het geneesmiddel bij de cliënt
-
-
18
11
-
-
-
-
Negatieve effecten geneesmiddelen
-
-
40
24
-
-
-
-
De percentages gepresenteerd in tabel 5.1 verschillen niet significant van elkaar, dat wil zeggen dat de procentuele verschillen tussen de twee groepen (wel en niet HKZgecertificeerd) op toeval kunnen berusten
5.3.2. Kwaliteit van leven, continuïteit en ‘adverse events’ Alle uitkomstindicatoren, op voorschrijffouten en continuïteit bij de CPA na, worden meer gemeten door gecertificeerde instellingen dan door niet-gecertificeerde instellingen. Bij de apotheek is dit verschil zelfs erg groot. Tabel 5.2
Percentage meten kwaliteit van leven, continuïteit en ‘adverse events’
Thuiszorg
Apotheek
Ambulance
CPA
Wel
Niet
Wel
Niet
Wel
Niet
Wel
Niet
20
11
-
-
-
-
-
-
Continuïteit
-
-
-
-
13
18
33
17
Fouten afleverproces
-
-
82
44
-
-
-
-
Certificaat Kwaliteit van leven
Terughalen van geneesmiddelen
-
-
66
21
-
-
-
-
Fouten bezorgproces
-
-
60
27
-
-
-
-
Voorschrijffouten
-
-
34
42
-
-
-
-
Het meten van fouten in het afleverproces, het meten van het terughalen van geneesmiddelen en het meten van fouten in het bezorgproces gebeurt significant meer bij gecertificeerde dan bij niet-gecertificeerde apotheken (p<0,05) (tabel 5.2).
5.3.3. Cliënttevredenheid Ook in dit kwadrant komt naar voren dat de gecertificeerde instellingen de uitkomsten cliënttevredenheid, klachten en MIP vaker meten dan niet-gecertificeerde instellingen. De enige, opvallende uitzondering hierop is de CPA, geen van de gecertificeerde CPA’s meet de cliënttevredenheid. Tabel 5.3
Certificaat
Percentage meten Cliënttevredenheid Thuiszorg
Apotheek
Ambulance
CPA
Wel
Niet
Wel
Niet
Wel
Wel
Niet
Niet
Cliënttevredenheid
100
68
82
36
75
18
0
33
Klachten
100
95
-
-
100
100
100
100
MIP
80
74
-
-
-
-
67
67
Lemmens et al. 2003. De validiteit van kwaliteitssystemen in zorginstellingen.
55
Het verschil tussen gecertificeerde en niet-gecertificeerde instellingen in het meten van de cliënttevredenheid is in twee gevallen significant (p<0,05), zowel bij de apotheek als bij de ambulancedienst. Omdat het meten van klachten bij zowel de ambulancedienst als de CPA in 100% van de gevallen wordt gedaan, is er geen score verkregen bij de Fisher’s-Exact-toets (*).
5.3.4. Kosten Tot slot het kwadrant met de operationalisatie van de verschillende uitkomstindicatoren voor kosten. Twee van de drie kostenmaten in de thuiszorg (budgetoverschrijding en de kosten per contactuur) worden procentueel meer gemeten door niet-gecertificeerde instellingen. Bij apotheken ontlopen de percentages elkaar niet zo veel, met twee opvallende uitzonderingen (snelheid van de receptafhandeling en het aantal WTG-voorschriften per assistente), dit gebeurt veel meer bij gecertificeerde apotheken dan bij niet gecertificeerde apotheken. In de ambulancesector wordt het verbruik van het materiaal en het exploitatieresultaat vaker gemeten door niet-gecertificeerde instellingen dan door gecertificeerde instellingen, dit geldt ook voor het exploitatieresultaat en de inzet van de ambulance in de CPA-sector (tabel 5.4). Tabel 5.4
Percentage kosten Thuiszorg
Apotheek
Ambulance
CPA
Wel
Niet
Wel
Niet
Wel
Niet
Wel
Niet
Budgetoverschrijding
80
95
-
-
100
100
-
-
Productiviteit
80
68
-
-
-
-
33
17
Kosten per contactuur
80
95
-
-
-
-
-
-
Exploitatieresultaat
-
-
-
-
75
91
67
83
Inzet ambulance
-
-
-
-
-
-
67
83
Beschikbaarheid
-
-
-
-
63
63
-
-
Verbruik materiaal
-
-
-
-
75
91
-
-
Certificaat
Servicegraad
-
-
52
26
-
-
-
-
Snelheid van de receptafhandeling
-
-
17
16
-
-
-
-
Wachttijden
-
-
24
-
-
-
-
-
86
14 86
-
Gebruik substitutiemiddelen
-
-
-
-
Het aantal WTG-voorschriften
-
-
96
94
-
-
-
-
Het aantal WTG-voorschriften / assistente
-
-
80
63
-
-
-
-
Het verschil tussen de gecertificeerde en niet-gecertificeerde apotheken op de snelheid van de receptafhandeling en het aantal WTG-voorschriften per assistente blijkt significant te zijn (p<0,05). Voor de budgetoverschrijding in de ambulancedienst geldt weer dat dit in 100% van de gevallen wordt gedaan, waardoor er geen score is verkregen bij de Fisher’s-Exact-toets (*).
5.4.
Onderzoek bestaande databanken
Om een beeld te krijgen van de relatie tussen het HKZ kwaliteitssysteem en de uitkomsten van zorg is geprobeerd bestaande databanken te analyseren. Voor de thuiszorg leenden gegevens van de benchmark thuiszorg zich voor deze analyse. Daarnaast is er geprobeerd om de gegevensbestanden van het RIVM onderzoek “Niet zonder zorg” te gebruiken voor nadere analyse van de uitkomsten van de ambulancediensten en CPA’s. Dit bestand bleek echter geen tot zeer weinig uitkomstindicatoren te bevatten, hetgeen analyse tot een zinloze
Lemmens et al. 2003. De validiteit van kwaliteitssystemen in zorginstellingen.
56
exercitie maakte. Andere bestanden waren niet voor handen. Tot slot is er een aantal mogelijkheden afgetast om een geschikt bestand voor analyse van de apotheken te vinden. Hiervoor is onder meer gekeken naar bestanden van het RIVM en van Stichting Farmaceutische Kengetallen (SFK). In deze bestanden konden geen geschikte uitkomstindicatoren worden teruggevonden. Pharmo bleek echter over een zeer gedetailleerd bestand te beschikken met de nodige uitkomstindicatoren. Het analyseren van dit bestand leidt echter tot een onderzoek op zich. Wellicht een optie voor later onderzoek.
5.4.1. De benchmark thuiszorg In 2000 is in de sector thuiszorg in opdracht van de Landelijke Vereniging voor Thuiszorg (LVT), Branchebelang Thuiszorg Nederland (BTN) en het ministerie van Volksgezondheid, Welzijn en Sport (VWS) het tweede benchmarkonderzoek thuiszorginstellingen uitgevoerd. Doel van dit onderzoek was een onderlinge vergelijking van door thuiszorg geleverde prestaties en door thuiszorg gerealiseerde bedrijfsvoering. In dit onderzoek hebben 96 instellingen aan alle onderdelen van het onderzoek deelgenomen. De instellingen zijn op vier punten vergeleken: doelmatigheid, kwaliteit van zorg en dienstverlening, kwaliteit van arbeid en maatschappelijke waardering. De databank die op deze wijze is vergaard, is door het iBMG geanalyseerd. Hierbij is met name gekeken naar de doelmatigheid, kwaliteit van zorg en dienstverlening en voor een klein deel naar kwaliteit van arbeid. Er is onderzocht of er verschillen bestonden tussen de gecertificeerde instellingen, instellingen die werken aan certificering en niet-gecertificeerde instellingen. 5.4.1.1. Resultaten In de onderstaande tabellen staan de gemiddeldescores van de drie groepen instellingen, gecertificeerd, werkt aan certificatie en zonder certificaat, weergegeven. In de benchmark is ervoor gekozen de kwaliteit van zorg te onderzoeken door het raadplegen van cliënten. Door de score voor de kwaliteit rechtstreeks te baseren op het oordeel in cliënten, wordt recht gedaan aan de centrale positie van de cliënt in de zorg (PWC 2002). Tabel 5.5 Certificaat
Gemiddelde score cliëntoordeel Met
Werkt aan
Zonder Totaal
Aantal
5
5
96
106
Totaal
7,8
7,9
7,7
7,7
Bejegening
9,0
9,1
9,0
9,1
Deskundigheid
8,5
8,6
8,6
8,6
Autonomie
7,1
7,2
7,0
7,1
Toegankelijkheid
6,9
6,9
6,7
6,8
Continuïteit
7,9
8,1
7,9
7,9
Communicatie
6,6
6,8
6,5
6,6
Hulpmiddelen
7,9
8,0
7,9
7,9
Tabel 5.5 laat zien dat de groep ‘werkt aan certificatie’ het beste scoort op het cliëntenoordeel, het verschil is echter niet significant. De groep met certificaat scoort ook hoger dan de groep zonder certificaat, ook dit verschil is niet significant.
Lemmens et al. 2003. De validiteit van kwaliteitssystemen in zorginstellingen.
57
Tabel 5.6 Certificaat
DEA scores Met
Werkt aan
Zonder Totaal
Aantal DEA
5
5
91
101
82,5
86,3
84,9
84,9
Doelmatigheid wordt gemeten door de kosten van een instelling te relateren aan de productie (DEA-score). De instelling die bij een bepaald kostenniveau de meeste productie weet te realiseren, is in principe het meest doelmatig (PWC 2002). Tabel 5.6 geeft de doelmatigheidsscore weer van de drie groepen. De groep die werkt aan een certificaat behaalt de hoogste doelmatigheidsscore, de groep met certificaat heeft de laagste score. Ook hier zijn de verschillen niet significant. Tabel 5.7 Kosten en productiviteit- ongewogen Certificaat Met
Werkt aan
Zonder Totaal
Aantal Kosten/contactuur
5
5
84
94
44,5
41,7
41,1
41,28
Kosten/betaaluur
29,6
28,1
28,2
28,27
Productiviteit
66%
67%
69%
68,5%
Werkt aan
Zonder
Tabel 5.8 Certificaat
Kosten en productiviteit - gewogen Met
Totaal Aantal Kosten/contactuur
5
5
84
94
44,5
41,2
41,0
41,18
Kosten/betaaluur
29,6
27,9
28,2
28,24
Productiviteit
66%
68%
69%
68,6%
De DEA-score is te verklaren door verschillende factoren, zoals de kosten per contactuur, de kosten per betaaluur en de productiviteit. De afzonderlijke scores behaald op deze parameters staan in tabel 5.7 en tabel 5.8. Gewogen score houdt in dat de score gerelateerd is aan de productsamenstelling van de instelling. De tabellen laten zien dat de kosten per contactuur en per betaaluur het hoogst zijn bij gecertificeerde instellingen. De productiviteit is het hoogst bij niet gecertificeerde instellingen, gevolgd door instellingen die werken aan certificatie. Alle gevonden verschillen zijn niet significant. Tabel 5.9 Certificaat
Kwaliteit van arbeid Met
Werkt aan
Zonder Totaal
Aantal Kans op burnout
5
5
87
97
20,3%
19,8%
21,6%
21,5%
De medewerkerraadpleging beoogt inzicht te geven in het oordeel van medewerkers in hun werk en over de mate waarin zij werkdruk ervaren. Eén aspect van de medewerkerraadpleging is meegenomen in de analyse: de kans op burnout (tabel 5.9). De kans op burnout is het kleinst in instellingen die werken aan certificatie, daarna volgen de
Lemmens et al. 2003. De validiteit van kwaliteitssystemen in zorginstellingen.
58
instellingen die over een certificaat beschikken, de kans op burnout is het hoogst bij instellingen zonder certificaat. Opgemerkt moet worden dat deze gegevens stammen uit 1999/2000.
5.4.1.2. Discussie Bij het analyseren van de data moeten de volgende kanttekeningen worden geplaatst: De vergelijking tussen 5 gecertificeerde, 5 werkend aan certificatie en 96 niet gecertificeerde instellingen vormt een scheve verhouding. Notoire hoog- of laagscoorders kunnen het beeld dus gemakkelijk vertekenen. Bij de groep gecertificeerde instellingen zit één instelling die het gemiddelde voor de 5 instellingen behoorlijk naar beneden trekt. De scheve verhouding heeft ook invloed op de significantie van de verschillen. Wellicht waren de verschillen wel significant geweest als de eerste twee groepen een grotere omvang hadden gehad. De gegevens voor doelmatigheidsscores zijn afkomstig uit 2000 en het deel van de benchmark over medewerkertevredenheid is in 1999/2000 uitgevoerd. De situatie rondom certificatie is in die tijd anders geweest, nog niet alle instellingen waren gecertificeerd of werkten aan certificatie. De vergelijking heeft plaatsgevonden op basis van de in 2002 gecertificeerde instellingen. Alle instellingen die zijn geanalyseerd beschikken over het Keurmerk Kwaliteit van de LVT. De eisen die HKZ aan de instelling stelt zijn hoger dan de eisen van het Keurmerk, toch kan de aanwezigheid van het Keurmerk ervoor hebben gezorgd dat de verschillen niet zo groot zijn en dus niet significant zijn bevonden. De relatie tussen HKZ-certificatie en de uitkomsten is niet bekeken in het licht van verklarende factoren. Mogelijk hebben de verklarende factoren zoals de structuur van de instelling, cultuur, werkdruk of interne factoren deze relatie beïnvloed.
5.5.
Samenvatting
Aan de hand van een enquête is nagegaan in hoeverre in de verschillende sectoren al uitkomstenmetingen worden verricht in de context van het uitkomstenkwadrant. Hierbij is gekeken naar de relatie tussen HKZ-certificatie en uitkomsten van zorg en er verschillen bestaan tussen gecertificeerde en niet-gecertificeerde instellingen. Uit analyse komt naar voren dat in de verschillende sectoren sommige uitkomstindicatoren uit het uitkomstenkwadrant reeds (veel) gemeten worden, andere uitkomstindicatoren worden echter nog niet of nauwelijks gemeten. Met name de makkelijk te meten uitkomstindicatoren worden gemeten. Als wordt gekeken naar de verschillen in het meten tussen instellingen met een certificaat en instellingen zonder certificaat, dan komt naar voren dat instellingen met certificaat over het algemeen vaker uitkomsten meten dan instellingen zonder certificaat. Dit verschil is echter in veel gevallen niet significant. In de sector apotheken worden daarentegen zes uitkomstindicatoren significant meer gemeten door gecertificeerde apotheken dan door niet-gecertificeerde apotheken. Ook wordt de cliënttevredenheid in de ambulancezorg significant meer gemeten door gecertificeerde ambulancediensten dan door niet-gecertificeerde ambulancediensten.
Lemmens et al. 2003. De validiteit van kwaliteitssystemen in zorginstellingen.
59
6. De invloed van de verklarende factoren op de uitkomsten van zorg 6.1.
Inleiding
In het vorige hoofdstuk is de relatie tussen het HKZ kwaliteitssysteem in het algemeen en certificatie in het bijzonder en het meten van uitkomstindicatoren beschreven. In dit hoofdstuk wordt ingegaan op de derde deelvraag van dit onderzoek: “Hoe zijn deze verschillen te verklaren in termen van structuur, cultuur, werkdruk, interne factoren, kwaliteitsbeleid en volume.?” In paragraaf 6.2. wordt een overzicht gegeven van de verklarende variabelen in relatie tot certificatie. Paragraaf 6.3 laat de invloed zien van de verklarende variabelen op de relatie tussen certificatie en het meten van uitkomsten.
6.2.
Overzicht van de verklarende factoren
De gedachte bestaat dat de relatie tussen een gecertificeerd kwaliteitssysteem en het meten van uitkomsten mogelijk wordt beïnvloed door organisatiekenmerken. Uit de literatuur is bijvoorbeeld gebleken dat de omvang van de instelling van invloed is op de efficiëntie in de thuiszorg (PWC 2002). In onderzoek naar kwaliteitssystemen worden beleid & strategie, cultuur, structuur, medewerkers, de aanwezigheid van procedures en protocollen, kosten en samenwerking doorgaans van invloed geacht op de invoering van een kwaliteitssysteem (Wagner & Sluijs 2000). De aspecten cultuur en structuur komen het meest naar voren in de literatuur (Shortell et al. 1995, Laagland & Steensma 2000, Sluijs & Wagner 2001, Klazinga & Donker 1995, Klein Ikkink & Wagner 2000 en Sluijs & Bakker 1995). De relatie tussen deze kenmerken en een al of niet gecertificeerd kwaliteitssysteem is onderzocht. Vooral vergelijking binnen sectoren is daarbij aan de orde. Vergelijking tussen sectoren dient met de nodige voorzichtigheid te geschieden, gezien het vaak kleine aantal respondenten.
6.2.1. Organisatiestructuur Tabel 6.1 geeft een overzicht van de gemiddelde scores die de sectoren hebben behaald op de volgende variabelen. Op elke variabele kon tussen de 1 en de 5 gescoord worden. Tabel 6.1
Gemiddelde score organisatiekenmerken
Thuisz
Apoth
Ambu
CPA
Organisatiestructuur: hiërarchisch (1) of plat (5)
3,0
-
3,6
3,3
Besluitvorming: decentraal (1) of centraal (5)
4,3
-
3,3
4,1
Protocollair geregeld: weinig (1) of veel (5)
4,6
3,8
4,5
3,1
Houding tegenover vernieuwing: behoudend (1) of flexibel (5)
3,6
2,2
3,2
3,7
Onderlinge communicatie: formeel (1) of informeel (5)
3,7
4,3
3,8
3,8
Binding medewerkers met de organisatie: weinig (1) of veel (5)
3,9
4,2
3,9
4
Kwaliteitszorg: volgend (1) of voorloper (5)
4,4
3,5
3,5
2,7
Relatief veel instellingen in de thuiszorg geven aan dat er veel protocollair is geregeld (4,6), ook bij de ambulancediensten is relatief veel protocollair geregeld (4,5). Ook geven relatief veel instellingen in de thuiszorg aan een voorloper in de kwaliteitszorg te zijn (4,4). De onderlinge communicatie is in alle sectoren in de meeste gevallen informeel. De apothekers laten een relatief behoudend beeld zien van hun houding tegenover vernieuwing.
Lemmens et al. 2003. De validiteit van kwaliteitssystemen in zorginstellingen.
60
6.2.2. Werkdruk Tabel 6.2 geeft een overzicht van de gemiddelde scores die de sectoren hebben behaald op de stellingen over werkdruk. Op elke stelling kon tussen de 1 en de 6 gescoord worden. Tabel 6.2
Gemiddelde score werkdruk
Thuiszorg
Apotheek
Ambulance
Teveel mensen staan op een wachtlijst / wachttijd
4,0
4,5
-
-
De werkdruk in de organisatie is hoog
2,7
3,6
2,7
2,2
Er zijn veel onvervulbare vacatures
3,6
4,9
5,0
3,3
De organisatie is druk met een fusie
3,7
-
3,3
2,8
Ziekteverzuim in de organisatie is hoog
3,1
5,2
3,8
4,2
Eens (1) of oneens (6)
CPA
Relatief weinig apotheken geven aan dat het ziekteverzuim in de organisatie hoog is (5,2). De werkdruk wordt in alle sectoren als redelijk hoog getypeerd, bij de CPA is dit het hoogst. De ambulancedienst heeft weinig last van onvervulbare vacatures (5,0), in de andere sectoren speelt dit ook geen grote rol.
6.2.3. Cultuur Tabel 6.3 geeft een overzicht van het percentage instellingen dat een bepaald type cultuur heeft. De respondenten konden door verdeling van iedere keer 100 punten over vier stellingen aangeven hun organisatiecultuur typeren (Shortell 1995). Er waren in het totaal vier vragen met vier stellingen, per vraag stond elke stelling voor een bepaald type cultuur. Door de scores per type bij elkaar op te tellen werd een beeld verkregen van het soort cultuur binnen de organisatie. De cultuur die in een instelling het hoogst scoorde is getypeerd als de cultuur in die organisatie. Tabel 6.3
Organisaties met cultuurtype (%)
%
Thuiszorg
Apotheek
Ambulance
CPA
Groepscultuur
39,2
50,7
36,8
11,1
Ontwikkelingscultuur (Development)
34,8
34,5
21,1
22,2
Rationele cultuur
21,7
10,3
21,1
44,4
Hiërarchische cultuur
4,3
4,1
21,1
22,2
In de thuiszorg en de apotheek is er vooral een groepscultuur en een ontwikkelingscultuur aanwezig. De ambulancedienst heeft voornamelijk een groepscultuur, de overige instellingen zijn gelijkmatig verdeeld over de andere cultuurtypen. In de sector CPA heeft de rationele cultuur de overhand. Bij zowel de ambulancedienst als de CPA zijn er veel instellingen met een hiërarchische cultuur ten opzichte van de apotheek en de thuiszorg.
6.2.4. Interne factoren Tabel 6.4 geeft een overzicht van de gemiddelde scores die de sectoren hebben behaald op een aantal stellingen over interne factoren. Op elke stelling kon tussen de 1 en de 6 gescoord worden.
Lemmens et al. 2003. De validiteit van kwaliteitssystemen in zorginstellingen.
61
Tabel 6.4
Gemiddelde score interne organisatie
Thuisz
Apoth
Ambu
Medewerkers staan positief t.o.v. het werken aan kwaliteit
4,7
5,2
4,2
4,9
Medewerkers dragen voldoende verantwoordelijkheden voor
3,8
4,8
4,1
3,8
Samenwerking management en professionals verloopt soepel
4,2
5,1
4,1
4,6
Directie voert centrale regie kwaliteitsbeleid
4,2
4,8
4,0
3,8
Oneens (1) of eens (6)
CPA
het kwaliteitsbeleid
Opvallend is dat de apotheken op alle onderdelen hoog scoren. Ook de andere sectoren laten het beeld zien van relatief veel medewerkers die achter het kwaliteitsdenken staan, een goede onderlinge samenwerking hebben en waar over het algemeen de directie de centrale regie heeft van het kwaliteitsbeleid.
6.2.5. Volume De laatste verklarende variabele is volume. Volume is aan de hand van een aantal vragen gemeten, zoals het aantal fulltime eenheden (FTE), de productie, de grootte van het adherentiegebied. Tabel 6.5
Gemiddelde score volume
Thuiszorg Aantal FTE
Apotheek
897
Apotheker
1,63
Assistenten
7,6
Ambulance
CPA
59,9
13,5
30.000 ritten
25.000
12 gemeentes
18 gemeentes
-
Productie Huishoudelijk
245.500
Verzorging
231.000
Verpleging
101.000
Ritten/opdrachten
25.000
Meldingen Adherentiegebied
300.000
-
De gegevens uit tabel 6.5 zijn niet te vergelijken aangezien er in iedere sector andere volumematen worden gebruikt. De tabel is louter illustratief en geeft een beeld van de gemiddelde grootte van de organisaties uit de steekproef.
6.2.6. Relatie verklarende factoren en certificatie De vooronderstelling bestaat dat de verklarende factoren een relatie hebben met certificatie. De relatie tussen deze kenmerken en een al of niet gecertificeerd kwaliteitssysteem is onderzocht middels de logistische regressie analyse. Hierbij zijn de volgende hypotheses gebruikt: Structuur: De hypothese is dat een hoge score op een stelling, dus bijvoorbeeld een platte organisatiestructuur, positief samenhangt met de aanwezigheid van een certificaat en het meten van uitkomsten. Er is één totaalscore geconstrueerd voor structuur door de scores bij elkaar op te tellen.
Lemmens et al. 2003. De validiteit van kwaliteitssystemen in zorginstellingen.
62
Werkdruk: De hypothese is dat een lage score op een stelling, dus bijvoorbeeld weinig mensen op een wachtlijst, negatief samenhangt met de aanwezigheid van een certificaat en het meten van uitkomsten, omdat deze de aandacht opeisen. Er is één totaalscore geconstrueerd voor werkdruk door de scores bij elkaar op te tellen. Cultuur: De hypothese bestaat dat de aanwezigheid van een ontwikkelingscultuur positief en de aanwezigheid van een hiërarchische cultuur negatief samenhangt met de aanwezigheid van een certificaat en het meten van uitkomsten. Interne factoren: De hypothese is dat een hoge score op een stelling positief samenhangt met de aanwezigheid van een certificaat en het meten van uitkomsten. Er is één totaalscore geconstrueerd voor interne factoren door de scores bij elkaar op te tellen. Volume: De hypothese is dat de grootte van een organisatie samenhangt met het meten van uitkomsten. Hoe groter de organisatie, hoe kleiner de kans dat de uitkomsten worden gemeten. De analyse van deze relatie (logistische regressie) laat zien dat twee hypotheses in twee verschillende sectoren worden bevestigd. Apotheken met een ontwikkelingscultuur hebben vaker een certificaat dan apotheken zonder een ontwikkelingscultuur. Ambulancediensten die hoger scoren op structuur beschikken vaker over een certificaat dan instellingen die lager scoren op structuur. De andere vooronderstellingen worden niet bevestigd. Dit heeft mede te maken met de kleine onderzoeksgroep. In deze gevallen bestaat er dus geen significante relatie tussen certificatie en de verklarende variabele.
6.3.
De invloed van de verklarende factoren
De relatie tussen de aanwezigheid van een certificaat en het meten van uitkomsten is in het vorige hoofdstuk onderzocht. De relatie tussen certificatie en het meten van uitkomsten is in een aantal gevallen significant gebleken. Nadere analyse moet uitwijzen wat de invloed van de verklarende variabelen op de relatie tussen certificatie en het meten van uitkomsten is. Hiervoor wordt de logistische regressie analyse gebruikt.
6.3.1. De relatie tussen certificaat en meting van uitkomsten De aanwezigheid van een HKZ-certificaat is significant positief gecorreleerd aan het meten van de volgende uitkomsten in de apotheek: fouten bij het afleverproces (p = .000), terughalen van geneesmiddelen (p = .000), fouten bij het bezorgproces (p = .000), cliënttevredenheid (p = .000), servicegraad (p = .001) en het aantal WTG-recepten per assistente (p = .024). Daarnaast is aanwezigheid van een HKZ-certificaat is significant positief gecorreleerd aan het meten cliënttevredenheid (p = .021) in de ambulancezorg.
6.3.2. Verklaring van de relatie tussen certificaat en meting van uitkomsten De relatie tussen certificatie en het meten van uitkomsten zijn onderzocht aan de hand van de logistische regressie analyse, waarbij gecontroleerd werd voor de invloed van kwaliteitsbeleid, structuur, cultuur, werkdruk, interne factoren en volume. De logistische regressie analyses werden gedaan met het oog op het bepalen van de voornaamste determinanten van de certificatie en tevens met het oog op het bepalen van de voornaamste predictoren van het meten van uitkomsten. De significantie laat zien of de verklarende (onafhankelijke) variabelen een significante invloed hebben op het meten van uitkomsten (afhankelijke variabele). De samenhang tussen het meten van uitkomsten en certificatie is uitgedrukt in een Odds Ratio
Lemmens et al. 2003. De validiteit van kwaliteitssystemen in zorginstellingen.
63
(OR). Een ’odds’ is het aantal gebeurtenissen gedeeld door het aantal niet-gebeurtenissen. De OR is de verhouding van de ‘odds’ tussen twee groepen. De OR wordt toegepast als maat om de sterkte van het effect van de verklarende variabele op het meten van de uitkomst vast te stellen. In de onderstaande tabel worden de verklarende variabelen voor het meten van de verschillende uitkomsten weergegeven met de bijbehorende OR en significantie. Tabel 6.6
Invloed van de verklarende variabelen
Meten
Verklarende variabele
Fouten bij het afleverproces
Kwaliteitsbeleid
.000
1.029
Formatieplaatsen apothekers
.019
2.329
2.500 1.031 1.037
Terughalen van geneesmiddelen Fouten bij het bezorgproces
Significantie
Certificaat
.037
Kwaliteitsbeleid
.001
Kwaliteitsbeleid
.000
Odds Ratio
Cultuur x
Formatieplaatsen assistenten
.002
Servicegraad
Certificaat
.002
Aantal WTG-recepten per assistente
Certificaat
.047
1.000 .742 1.261 3.363 1.289 3.680 1.027 1.313 3.079 2.118
Cliënttevredenheid ambulancedienst
Certificaat
.018
23.986
Cliënttevredenheid
Hiërarchisch
.018
Groep
.769
Rationeel
.836
Ontwikkeling
.238
Structuur
.052
Certificaat
.008
Kwaliteitsbeleid
.000
Tabel 6.6 laat zien dat apothekers die over een aantoonbaar ontwikkeld kwaliteitsbeleid beschikken een 1.029 keer zo grote kans hebben om fouten bij het afleverproces te meten dan apotheken die dit niet hebben. Daarnaast vergroot de aanwezigheid van iedere extra apotheker de kans om die uitkomst te meten met 2.329. Deze redenatie gaat ook op voor de andere meetvariabelen. Apothekers die over een HKZ-certificaat en een aantoonbaar ontwikkeld kwaliteitsbeleid beschikken hebben een respectievelijk 2.500 en 1.031 maal zo grote kans op het meten van het terughalen van geneesmiddelen. De kans op het meten van fouten bij het afleverproces wordt door een aantal factoren vergroot: het kwaliteitsbeleid, de cultuur en de structuur. Het voeren van een goed ontwikkeld kwaliteitsbeleid maakt de kans dat de apotheek deze uitkomst meet 1.037 maal zo groot. Cultuur lijkt van invloed te zijn op het meten van fouten bij het bezorgproces, alleen zijn de verschillende aspecten van cultuur niet significant. Ook de variabele structuur blijkt net niet significant te zijn. Apothekers die over een HKZ-certificaat en een goed ontwikkeld kwaliteitsbeleid beschikken hebben respectievelijk een 2.500 en 1.031 maal zo grote kans op het meten van de cliënttevredenheid. Daarnaast vergroot de aanwezigheid van iedere extra assistente de kans op het meten van de cliënttevredenheid met 1.313. De aanwezigheid van een HKZ-certificaat maakt de kans op het meten van de servicegraad en het aantal WTG-recepten per assistente bij apotheken, en het
x
Er zijn vier verschillende soorten cultuur getypeerd: hiërarchische cultuur, groepscultuur, rationele cultuur en
ontwikkelingscultuur. Deze typen worden onderling vergeleken.
Lemmens et al. 2003. De validiteit van kwaliteitssystemen in zorginstellingen.
64
meten van de cliënttevredenheid bij de ambulancedienst respectievelijk 3.079, 2.118 en 23.986 keer zo groot.
6.4.
Samenvatting
Aan de hand van de logistische regressie analyse is nagegaan of de verschillen tussen gecertificeerde en niet-gecertificeerde instellingen te verklaren zijn in termen van structuur, cultuur, werkdruk, interne factoren, kwaliteitsbeleid en volume. De verklarende factoren (structuur, cultuur, werkdruk, interne factoren, volume) blijken de relatie tussen HKZ-certificatie en het meten van uitkomsten nauwelijks te beïnvloeden bij de openbare apotheken. In deze sector verklaart alleen het kwaliteitsbeleid in een aantal gevallen iets van de relatie tussen HKZ-certificatie en het meten van uitkomsten. De verklarende factoren hebben in het geval van de ambulancedienst geen enkele invloed op de relatie tussen de aanwezigheid van een HKZ-certificaat en het meten van de cliënttevredenheid.
Lemmens et al. 2003. De validiteit van kwaliteitssystemen in zorginstellingen.
65
7.
Discussie
7.1.
Inleiding
In de vorige hoofdstukken zijn de resultaten van het empirisch onderzoek gepresenteerd. Dit vormt de input voor de discussie over de relatie tussen HKZ-certificatie en (het meten van) uitkomsten van processen. In dit hoofdstuk wordt eerst ingegaan op de validiteit en de betrouwbaarheid van de resultaten (paragraaf 7.2). Vervolgens vindt de kritische bespreking van de resultaten plaats (paragraaf 7.3).
7.2.
Validiteit en betrouwbaarheid
In dit onderzoek is gebruik gemaakt van triangulatie, de uitkomsten van de concept mapping naast de literatuur gelegd. Dit is vervolgens de input geweest voor de vragenlijst. Vervolgens heeft er in iedere sector eerst een pilot plaatsgevonden van de vragenlijst; de vragenlijst werd mondeling afgenomen bij de kwaliteitsfunctionaris of het hoofd van de afdeling. Hierbij werd gevraagd naar de duidelijkheid en de volledigheid van de vragenlijst. Daarnaast is nog een vragenlijst over het meetinstrument meegestuurd met de hoofdvragenlijst. Tabel 7.1 geeft een overzicht van de validiteit van het meetinstrument. Tabel 7.1
Validiteit en betrouwbaarheid
Percentage (%)
Thuiszorg
Apotheek
n=15 Ja
Ambulance
n=116
Nee
Ja
CPA
n=11
Nee
Ja
n=6
Nee
Ja
Nee
Vragen duidelijk?
64
36
63
37
63
36
67
33
Vragen te beantwoorden?
79
21
70
30
55
45
83
17
Antwoordcategorieën goed?
86
14
85
15
100
0
100
0
Ontbreken er uitkomstindicatoren?
27
73
16
84
30
70
25
75
Uitkomstindicatoren niet van toepassing?
20
80
20
80
0
100
0
100
Bruikbaar om het meten van
64
36
82
18
60
40
67
33
uitkomstindicatoren vast te stellen?
Deze vragenlijst is niet door alle respondenten beantwoord. Veel respondenten hebben aangegeven dat het invullen van de normale vragenlijst al tijd genoeg kostte en hebben dit achterwege gelaten. Uit de tabel valt af te lezen dat de respondenten over het algemeen positief over de vragenlijst oordelen. Rond de 64% van de respondenten uit alle sectoren geeft aan dat de vragen duidelijk zijn. Het hoge percentage negatieve antwoorden (36%) is grotendeels toe te schrijven aan één type vraag, waarbij de respondent werd gevraagd aan te geven of er volgens hem of haar een verbetering in die uitkomstindicator heeft plaatsgevonden. Dit type vraag is om die reden buiten de beschouwing gelaten. Verder vindt het merendeel van de respondenten de vragen goed te beantwoorden, 79%, 70% en 83% bij respectievelijk de thuiszorg, apotheek en CPA. De ambulancedienst scoort lager 55%. De antwoordcategorieën werden goed bevonden door ongeveer 85% van de thuiszorgorganisaties en apotheken en 100% in de ambulancediensten en CPA’s. Zestig tot 82% van de respondenten in de verschillende sectoren vindt de vragenlijst bruikbaar om het meten van uitkomstindicatoren vast te stellen. Uit het bovenstaande kan geconcludeerd worden dat het meetinstrument inhoudelijk valide is. De lagere score bij de ambulancedienst (55%) doet enige afbreuk aan de betrouwbaarheid van het resultaat in deze sector.
Lemmens et al. 2003. De validiteit van kwaliteitssystemen in zorginstellingen.
66
Voor de meting van de verklarende factoren, zoals kwaliteitsbeleid, zijn verschillende items gebruikt, die bij elkaar opgeteld worden tot één score voor kwaliteitsbeleid. De vraag is of dit gerechtvaardigd is. Om dat te bepalen is een betrouwbaarheidsanalyse uitgevoerd. Bij een betrouwbaarheidsanalyse wordt de correlatie tussen de verschillende items van een verklarende factor berekend. De resultaten van deze analyse staan in tabel 7.2. Een Cronbachs alpha groter dan .60 geeft aan dat de verschillende items een homogeen geheel vormen, en dus opgeteld kunnen worden tot één score. Items die Cronbachs alpha naar beneden haalden, zijn buiten de score gehouden. Tabel 7.2
Inter-item analyse
Thuiszorg Cronbachs alpha Kwaliteitsbeleid Structuur
Apotheek
Cronbachs alpha
Ambulance
Cronbachs alpha
CPA
Cronbachs alpha
0,83
0,75
0,80
0,79
0,53
0,60
0,67
0,69
Werkdruk
0,58
0,65
0,66
0,41
Interne factoren
0,64
0,60
0,67
0,63
Het optellen van de onderdelen van kwaliteit blijkt een betrouwbare schaal te vormen voor de variabele kwaliteitsbeleid, met Cronbachs Alpha variërend van .75 tot .83. Het optellen van de onderdelen tot de variabelen structuur, werkdruk en interne factoren blijkt ook in de meeste gevallen betrouwbaar te zijn. De variabele werkdruk en structuur bij de thuiszorg scoren net iets aan de lage kant, hetzelfde geldt in iets sterkere mate voor de variabele werkdruk bij de CPA. Over het algemeen kan gezegd worden dat de schalen betrouwbaar zijn.
7.3.
Onderzoek naar evidentie van certificatie
Onderzoek naar de relatie tussen certificatie en uitkomsten is moeilijk, om de volgende redenen: 1. De kleine aantallen gecertificeerde instellingen in de thuiszorg, ambulancedienst en de CPA hebben voor een kleine steekproef in deze sectoren gezorgd. Deze kleine gegevensaantallen zijn van invloed geweest op de resultaten van dit onderzoek. Bij kleine gegevensaantallen is het veel moeilijker om significante verbanden te vinden. De gevonden verschillen zijn mogelijk door deze oorzaak niet significant bevonden. 2. De aanwezigheid van andere kwaliteitssystemen is mogelijk van invloed op de resultaten van dit onderzoek. De verschillen tussen gecertificeerde en niet-gecertificeerde instellingen bleek in de sectoren thuiszorg, CPA’s en ambulancediensten niet significant. Een verklaring die hiervoor gegeven kan worden, is dat in deze sectoren alle instellingen aangeven één of meerdere kwaliteitssystemen te gebruiken. Zo geeft bijvoorbeeld in de thuiszorg 53% van de niet-gecertificeerden aan het HKZ-model te gebruiken, 11% gebruikt het ISO-model, 37% het INK-model, 74% het LVT Keurmerk. Dit komt in grote mate overeen met de uitkomsten van het onderzoek van Sluijs & Wagner (2000), waarin 78% aangeeft over het LVT Keurmerk te beschikken, 47% aangeeft aan het HKZcertificaat te werken. Daarnaast werkt 13% aan het behalen van of is in het bezit van het ISO-certificaat.
Lemmens et al. 2003. De validiteit van kwaliteitssystemen in zorginstellingen.
67
3. Het is moeilijk om de causale relatie tussen certificatie en uitkomsten vast te stellen. Het op orde hebben van de structuur en de processen van de organisatie door middel van certificatie of accreditatie heeft een indirect effect op de uitkomst van zorg. Daarnaast zijn er andere factoren die, direct of indirect, van invloed zijn op de uitkomsten van zorg, zoals de kwaliteit van de medische staf. 4. De effecten van certificatie zijn mogelijk pas na enige tijd waar te nemen. “Zoals bij goede wijn, nemen de voordelen van ISO 9000 registratie toe met de leeftijd”. Het korte bestaan van HKZ is mogelijk van invloed op de gevonden resultaten. 5. Het gebrek aan onderzoek naar de effecten van certificatie op de uitkomsten van de zorg heeft ervoor gezorgd dat in het literatuuronderzoek een beeld is weergegeven van het effect van accreditatie op de uitkomsten van zorg en van het effect van certificatie op de resultaten in het bedrijfsleven. Accreditatie vertoont naast enkele overeenkomsten ook verschillen met certificatie in de zorg, zoals dat volgens de HKZ-normen gebeurt. Accreditatie richt zich uitsluitend op de organisatie van de zorg. HKZ-schema’s kunnen ook eisen beschrijven die te maken hebben met het professioneel inhoudelijk handelen. De resultaten die uit deze onderzoeken naar voren komen mogen dan ook niet zonder meer vertaald worden. Hetzelfde geldt voor de effecten van certificatie op de resultaten in het bedrijfsleven. Hoewel dit volgens dezelfde ISO standaarden plaatsvindt, zorgt het verschil tussen de zorg en het bedrijfsleven ervoor dat ook deze resultaten niet zonder meer vertaald mogen worden. Daarnaast gaat HKZ verder dan ISO door HKZ door de relatie met professionele standaarden te leggen en veel aandacht te besteden aan primaire processen. De resultaten van ISO hebben nog betrekking op de oude ISOnormen, die erg gericht is op procedures. De nieuwe ISO, die gericht is op verbeteren en processen, zal in de toekomst andere resultaten geven. 6. De context en de implementatie spelen vaak een belangrijke rol bij de effecten van accreditatie op de uitkomsten van zorg. Deze aspecten zijn niet meegenomen in dit onderzoek. In een artikel van Brennan (1998) wordt de rol van regulering op kwaliteitsverbetering in ogenschouw genomen. De auteur concludeerde dat er weinig bewijs bestaat dat regulering daadwerkelijk de kwaliteit van zorg verbetert. Maar indien het juist wordt ingevoerd, dan levert regulering de infrastructuur en de middelen om wijdverbreid verbetering te stimuleren. Dit vormt een mogelijke verklaring voor de beperkte effecten van het certificaat op het meten van uitkomsten die uit dit onderzoek naar voren zijn gekomen. Er moet ook niet te snel geconcludeerd worden dat certificatie geen effect heeft, deze effecten kunnen ook later optreden, omdat de invoering van het certificaat nog niet op alle vlakken geïntegreerd is in de organisatie.
Uitkomstindicatoren worden binnen zorginstellingen nog weinig gebruikt: 7. Instellingen met een kwaliteitssysteem beschikken wel vaker over proces- en structuurindicatoren dan instellingen zonder kwaliteitssysteem (Sluijs 2002). Een verklaring die hiervoor wordt gegeven is dat structuur- en procesindicatoren vaak inherent zijn aan het kwaliteitssysteem. Dit in tegenstelling tot uitkomstindicatoren. Dit geldt ook voor het oude HKZ-certificaat, dat nog niet aangepast aan de nieuwe ISO 9000: 2000 normen. De meeste instellingen die deelnamen aan dit onderzoek maakten nog gebruik van het oude certificaat. Indien uitkomsten wel worden gemeten, is dit een onbewuste
Lemmens et al. 2003. De validiteit van kwaliteitssystemen in zorginstellingen.
68
spin-off van het certificaat. Bij het nieuwe certificaat zou het meten van uitkomsten een bewuste spin-off van het certificaat moeten zijn. 8. Dat er in sommige sectoren weinig verschillen zijn gevonden, komt misschien wel doordat instellingen over het algemeen nog weinig bezig zijn met het meten van uitkomsten van zorg. Het volgende fragment ondersteunt dit: “Instellingen lijken vooralsnog niet in staat de effecten van het door hun gevoerde kwaliteitsbeleid zichtbaar te maken. Helaas is er nog niet veel zicht op verbetering, hoewel in het veld wordt gewerkt aan het definiëren van indicatoren voor de kwaliteit van zorg (IGZ 2002).” 9. Sluijs (2002) geeft in haar onderzoek een mogelijke verklaring voor het gegeven dat instellingen met een kwaliteitssysteem niet meer gebruik maken van uitkomstindicatoren dan instellingen zonder een kwaliteitssysteem. De verklaring luidt: “In zijn algemeenheid worden er nog weinig uitkomstindicatoren op instellingsniveau gemeten, waardoor er wat uitkomstindicatoren betreft ook geen opvallende verschillen zijn tussen instellingen met en instellingen zonder een kwaliteitssysteem”.
Wat moet er worden meegenomen in certificatieschema’s? 10. In de ISO 9000: 2000 komt naar voren dat organisaties moeten verbeteren aan de hand van indicatoren. Voor de gezondheidszorg roept dat de vraag op welke uitkomstindicatoren er dan in het schema zouden moeten worden opgenomen om ISO compatible te blijven. En op welke manier dat zou moeten gebeuren. Aan de hand van richtinggevende uitkomstgebieden of aan de hand van concrete uitkomstindicatoren? 11. Uit het onderzoek komt naar voren dat sommige uitkomstindicatoren bijna helemaal niet worden gemeten in de organisaties, en sommige worden juist heel veel gemeten, maar ook niet overal. Deze resultaten roepen een aantal vragen op: Is dit een natuurlijke variantie of moet er meer gemeten worden? Welke uitkomstindicatoren zijn interessant om te meten en welke moeten sowieso gemonitord worden? Is het mogelijk om het meten van uitkomstindicatoren te verhogen? En moeten deze uitkomstindicatoren dan onderdeel gaan uitmaken van het HKZ-model? Maatschappelijke ontwikkelingen, zoals het bevorderen van de patiëntveiligheid en de centrale positie van de patiënt, vragen om monitoring van uitkomstindicatoren op afdelings- of organisatieniveau. Veel uitkomsten worden wel op patiëntniveau, maar niet op een hoger niveau gemeten. Dit zorgt er voor dat deze gegevens niet op een geaggregeerd niveau gebruikt kunnen worden voor sturing, lees verbetering, van de zorg. Een aantal opvallende punten uit de resultaten: a. De gezondheidstoestand wordt in 17% van de respondenten uit de thuiszorg gemeten en ook de kwaliteit van leven wordt maar bij 13% van de respondenten gemeten. Gezien de doelgroep van deze sector zijn dit erg belangrijke uitkomstindicatoren, zouden deze dan niet in 100% van de gevallen moeten worden gemeten? b. Van de respondenten uit de openbare apotheken geeft 93% aan ongewenste geneesmiddelenuitgifte te meten, dat betekent dus dat 7% dit niet doet. Is het niet van belang dat alle (100%) van de openbare apotheken de uitgifte van ongewenste geneesmiddelen meet? De therapietrouw wordt maar door 37% van de respondenten gemeten, is dit mooi meegenomen of zouden eigenlijk alle openbare apotheken de therapietrouw moeten meten?
Lemmens et al. 2003. De validiteit van kwaliteitssystemen in zorginstellingen.
69
c.
Fouten worden door 74% van de respondenten uit de ambulancedienst gemeten. In 26% van de gevallen wordt het dus niet gemeten. Is dit in het kader van het vergroten van de veiligheid te verantwoorden? d. Melding incidenten en bijna fouten wordt door 67% van de deelnemende CPA’s gedaan. De overige 33% meet dit dus niet. Is het niet van belang dat alle (100%) van de CPA’s dit registreert? Van de respondenten evalueert 78% de inzet van de ambulance is dit voldoende of dienen alle CPA’s dit te doen? 12. Het doel van HKZ is harmonisatie van kwaliteitsbeoordeling in de sectoren zorg en welzijn. Opdat kwaliteit in de verschillende sectoren volgens een zelfde systematiek beoordeeld wordt. De resultaten van dit onderzoek bezien in het licht van de doelstelling van de stichting HKZ, doet de vraag rijzen hoever de harmonisatie strekt. Uit dit onderzoek is een uitkomstkwadrant met daarin uitkomstindicatoren naar voren gekomen. Dit uitkomstenkwadrant kan als kader binnen het HKZ-model worden opgenomen, waaraan sectoren en instellingen hun eigen invulling kunnen geven. Het kader zou ook een meer bindend karakter kunnen hebben, waarbij (een deel van) de inhoud van het uitkomstenkwadrant als verplichte uitkomstindicatoren worden gesteld.
De resultaten van dit onderzoek moeten binnen de volgende context worden gezien: 13. De vragenlijst is gericht aan de kwaliteitsfunctionaris. Verschillen met andere onderzoeken zijn mogelijk te verklaren doordat de vragenlijst is ingevuld door de kwaliteitsfunctionaris. 14. Dit onderzoek laat zien dat niet overal positieve effecten van het certificaat op de uitkomsten zijn waar te nemen. Dit ontkracht de gevonden positieve resultaten van het eerdere onderzoek door De Jong & Van Doorne-Huiskes uitgevoerde onderzoek niet. Dit onderzoek kwam tot de conclusie dat certificatie op verschillende vlakken een toegevoegde waarde heeft, zoals verbetering van interne processen, professionaliseringstoename bij medewerkers, uitstraling van het certificaat naar klanten en naar zorgverzekeraars, en de aantrekkende werking voor nieuw personeel. 15. Dit onderzoek vormt een eerste verkenning naar evidence based management, dat nog verder ontwikkeld moet worden. 16. Het transversale onderzoek dat is verricht, vindt associaties tussen de aanwezigheid van een HKZ-gecertificeerd kwaliteitssysteem en het meten van bepaalde uitkomsten. Om causale verbanden te kunnen aantonen moet er een verder beschouwend onderzoek worden gedaan.
Lemmens et al. 2003. De validiteit van kwaliteitssystemen in zorginstellingen.
70
8.
Conclusies
8.1.
Conclusies
In dit onderzoek staat de volgende vraag centraal: “Wat is het effect van een HKZ gecertificeerd kwaliteitssysteem op de uitkomsten van zorgprocessen in instellingen?” Aan de hand van concept mapping en een schriftelijk enquête is getracht antwoord te krijgen op deze vraag. 1. Het onderzoek naar de effecten van certificatie is vooral gericht op proces- en structuurkenmerken. Uit dat onderzoek komt naar voren dat certificatie en accreditatie positieve effecten hebben op de zorgprocessen en op de structuuraspecten van zorginstellingen. In de gezondheidszorg is nog weinig onderzoek verricht naar de effecten van kwaliteitssystemen op de uitkomsten van zorg. Als oorzaken hiervoor worden aangegeven: de relatie is moeilijk te onderzoeken, het verbeteren van de uitkomsten is niet het hoofddoel van accreditatie en er zijn problemen in het vinden van een verbinding met de belangen van de medische staf. 2. Dit onderzoek heeft inzicht verschaft in de (gebieden van) uitkomstindicatoren die de GGZ, thuiszorg, apotheek, ambulancedienst en de CPA hanteren. De uitkomstindicatoren zijn onder te brengen in vier uitkomstgebieden, te weten: klinische uitkomsten, cliënttevredenheid, kosten en kwaliteit van leven (GGZ en thuiszorg)/ ‘adverse events’ (apotheek)/ continuïteit (ambulancedienst en CPA). De operationalisatie van de uitkomstgebieden is te vinden in bijlage 2 tot en met 6. 3. Instellingen met een certificaat meten over het algemeen vaker uitkomsten dan instellingen zonder certificaat. Zes uitkomstindicatoren worden significant meer gemeten door gecertificeerde apotheken dan door niet-gecertificeerde apotheken. Ook wordt de cliënttevredenheid in de ambulancezorg significant meer gemeten door gecertificeerde ambulancediensten dan door niet-gecertificeerde ambulancediensten. In de sectoren thuiszorg, ambulancedienst en CPA bleken de meeste verschillen tussen de gecertificeerde en niet-gecertificeerde instellingen in het meten van uitkomsten echter niet significant te zijn. Dit wordt mogelijk veroorzaakt door de kleine aantallen in de steekproef. In sommige sectoren is er nog slechts een relatief gering aantal gecertificeerde instellingen. 4. De sector apotheken laat zien dat de aanwezigheid van een certificaat samen gaat met het significant meer meten van uitkomstindicatoren. In deze sector was de onderzoeksgroep een stuk groter dan in de andere sectoren. Voorzichtigheidshalve kan worden gezegd dat deze tendens er mogelijk op duidt dat als er in de andere sectoren meer instellingen gecertificeerd waren, dat de verschillen dan wel significant zouden zijn geweest. 5. Bij de openbare apotheek beïnvloeden de verklarende factoren (structuur, cultuur, werkdruk, interne factoren) de relatie tussen HKZ-certificatie en het meten van uitkomsten nauwelijks. Alleen kwaliteitsbeleid blijkt de relatie in een aantal gevallen te verklaren. Mogelijk is een goed ontwikkeld kwaliteitsbeleid van grotere invloed op het meten van uitkomsten dan HKZ-certificatie. Deze twee variabelen zijn nauw gelieerd, een goed opgezet kwaliteitsbeleid leidt tot het meten van uitkomsten en certificatie.
Lemmens et al. 2003. De validiteit van kwaliteitssystemen in zorginstellingen.
71
8.2.
Aanbevelingen
In deze paragraaf worden aanbevelingen gedaan op grond van de conclusie die naar aanleiding van dit onderzoek zijn getrokken. 1a Er is methodologisch gedegen onderzoek nodig naar het effect van certificatie in de gezondheidszorg. Dit onderzoek dient longitudinaal van opzet zijn met een controlegroep. Voor het onderzoek is allereerst een nulmeting nodig om de uitgangssituatie te bepalen. Daarna dient op bepaalde momenten in de ontwikkeling van het kwaliteitssysteem aan de hand van de uitkomstenmeting te worden gekeken of er veranderingen plaatsvinden in de scores op de uitkomstenmeting. Dit moet worden gerelateerd aan de ontwikkelingsfase waarin de instelling zich bevindt en de doelstellingen van het kwaliteitssysteem. Op deze wijze kan inzicht worden verkregen in de relatie tussen de uitkomsten van zorg en de aanwezigheid van een HKZ gecertificeerd kwaliteitssysteem. 1b Literatuuronderzoek naar de effecten van accreditatie laat zien dat de betrokkenheid van de professional van belang is om daadwerkelijk effect te kunnen hebben op de uitkomsten van de zorg. Het is niet bekend of dat ook geldt voor andere sectoren, zoals de thuiszorg en de GGZ. Een inventarisatie van de betrokkenheid van de professional bij HKZcertificatie is nodig. 2a De stichting HKZ zou moeten onderzoeken of instellingen aan de hand van het certificaat meer gestimuleerd kunnen worden om uitkomstindicatoren binnen hun organisatie te ontwikkelen. In de oude ISO-norm wordt slechts impliciet gevraagd de PDCA-cyclus te hanteren. De veranderde ISO-norm maakt een groot verschil, de oude norm was meer gericht op procesmatig beschrijven, de nieuwe norm houdt het procesmatig beschrijven in én verplicht expliciet tot een feedbackloop (verbetercyclus). 2b HKZ kan met de invoering van de nieuwe ISO-certificatie de taak op zich nemen om tot harmonisatie van uitkomsten te komen. De nieuwe generatie ISO verplicht tot het gebruik van uitkomstindicatoren. HKZ en de branche- en/of koepelorganisaties moeten een discussie starten over welke uitkomstindicatoren binnen de sector gemeten moeten worden om de kwaliteit van zorg te waarborgen en welke plaats deze krijgen in het HKZschema. 2c HKZ zou bij de ontwikkeling van uitkomstindicatoren ondersteuning kunnen bieden aan de instellingen door bijvoorbeeld enkele voorbeelden of handvatten aan te reiken. Het uitkomstenkwadrant kan een richtinggevend kader vormen voor de gebieden waarop de instellingen uitkomstindicatoren kunnen ontwikkelen. 3
Twee ontwikkelingen maken het interessant om in de toekomst de relatie tussen HKZcertificatie en uitkomsten van zorg te meten. De eerste ontwikkeling is dat eind 2003 alle HKZ-gecertificeerde organisaties moeten voldoen aan het nieuwe HKZ-certificaat. Het meten van uitkomsten maakt expliciet onderdeel uit van het nieuwe certificaat, hierdoor houden de HKZ-gecertificeerde instellingen zich bezig met het meten en verbeteren van hun uitkomsten. Daarnaast zullen er grotere aantallen gecertificeerde instellingen in de toekomst zijn, waardoor verschillen tussen de twee groepen beter vastgesteld kunnen worden.
Lemmens et al. 2003. De validiteit van kwaliteitssystemen in zorginstellingen.
72
4
Er zijn meer gedetailleerde gegevensbestanden nodig om de relatie tussen uitkomsten en certificatie te onderzoeken. In de openbare apotheek sector beschikken ze over een zeer gedetailleerd bestand met de nodige uitkomstindicatoren. De analyse van zulke bestanden is mogelijk een optie voor verder onderzoek naar de relatie tussen uitkomsten in de openbare apotheek en certificatie.
8.3.
Sectorspecifieke aanbevelingen
Voor de verschillende sectoren kunnen de volgende specifieke aanbevelingen worden gedaan.
8.3.1. GGZ In de GGZ is een viertal uitkomstgebieden benoemd die van belang zijn om uitspraken te kunnen doen over de kwaliteit van het behandelproces: klinische indicatoren, kwaliteit van leven, de waardering van klanten en kosten. Deze uitkomstgebieden vormen samen het uitkomstenkwadrant van de GGZ en kunnen worden gebruikt als uitgangspunt voor het benoemen van uitkomstindicatoren. De GGZ is een sector waar het werken aan HKZ certificatie zich nog in het beginstadium bevindt. Dit vormt een goede mogelijkheid voor het uitvoeren van een longitudinaal onderzoek naar het effect van certificatie op de uitkomsten van zorg.
8.3.2. Thuiszorg De kwaliteitszorg bij thuiszorginstellingen is goed ontwikkeld, veel instellingen beschikken over een uitgewerkt en geïmplementeerd kwaliteitssysteem. Daarnaast is de thuiszorg al een eind op weg met uitkomstindicatoren, mede als gevolg van de benchmark die in de sector is uitgevoerd. Als uitgangspunt voor het benoemen van uitkomstindicatoren kan in de thuiszorg gebruik worden gemaakt van het volgende uitkomstenkwadrant: klinische uitkomsten, cliënttevredenheid, kosten en kwaliteit van leven. Vrijwel alle instellingen in de thuiszorg meten de cliënttevredenheid. Kostenindicatoren maken in veel gevallen deel uit van de standaardregistraties in de instellingen. Over het algemeen worden er weinig kwaliteit van leven of klinische indicatoren gemeten op geaggregeerd niveau. Met het oog op het uitkomstenkwadrant moet in de sector een discussie starten over welke uitkomstindicatoren interessant zijn om te meten en welke in ieder geval moeten worden gemonitord? Daarbij moet met name worden gekeken naar de twee kwadranten die nu nog weinig worden gemeten: kwaliteit van leven of klinische indicatoren.
8.3.3. Apotheek De openbare apotheken zijn al een eind op weg met certificatie. Eenderde van de apotheken beschikt over een volledig operationeel kwaliteitssysteem. De kwaliteit van de processen is gewaarborgd, en er is gedeeltelijke inzage in de geleverde kwaliteit. Daarnaast heeft nog eens 50% een basaal functionerend kwaliteitssysteem. Alle
Lemmens et al. 2003. De validiteit van kwaliteitssystemen in zorginstellingen.
73
apotheken beschikken over een medicatiebewakingssysteem en daarnaast is de verwerking van de recepten, de controle hierop en de aflevering bij bijna alle apotheken van voldoende niveau. Het uitkomstenkwadrant dat bestaat uit klinische uitkomsten, cliënttevredenheid, kosten en ‘adverse events’ kan als uitgangspunt worden gebruikt voor het benoemen van uitkomstindicatoren. De cliënttevredenheid en ‘adverse events’ worden in redelijk wat instellingen gemeten. Ongewenste geneesmiddelenuitgifte, zoals contra-indicatie of dubbelmedicatie worden in bijna alle gevallen gemeten. Daarnaast worden sommige kostenaspecten in veel instellingen gemeten. Aan de hand van het uitkomstenkwadrant moet in de sector worden gekeken welke uitkomstindicatoren in ieder geval moeten worden gemonitord en welke interessant zijn om te meten?
8.3.4. Ambulancediensten/ CPA In de ambulancesector wordt nog erg weinig met uitkomstindicatoren gewerkt. Als uitgangspunt voor het benoemen van uitkomstindicatoren kan gebruik gemaakt worden van het volgende uitkomstenkwadrant: klinische uitkomsten, cliënttevredenheid, kosten en continuïteit. Klachtenmeting is een belangrijke uitkomstindicator bij de ambulancediensten en CPA’s, daarnaast geven veel organisaties aan de gezondheidstoestand te meten. In deze sectoren is het werken met uitkomstindicatoren nog geen gemeen goed. Het uitkomstenkwadrant biedt een handvat om te beginnen met het benoemen van belangrijke uitkomstindicatoren voor de sectoren
Lemmens et al. 2003. De validiteit van kwaliteitssystemen in zorginstellingen.
74
Literatuurlijst AmbulanceZorg Nederland (AZN). 1997. Met zorg verbonden: naar een nieuwe structuur voor ambulancezorg, traumazorg en geneeskundige hulpverlening bij ongevallen en rampen. http://www.ambulancezorg-wg.nl/pdf/met_zorg.pdf Askey, J.M. and Dale, B.G. 1994. "From ISO series registration to total quality management an Examination." Quality Management Journal: 67-76. Avery, S. 1994. "What's wrong with ISO 9000?" Purchasing 11 (3):49-53. Baarda, D.B., M.P.M. de Goede & A.G.E. van der Meer-Middelburg. 1998. Basisboek Open Interviewen: Praktische handleiding voor het voorbereiden en afnemen van open interviews. Eerste druk, derde oplage Houten: Stenfert Kroese [1996] Beek, A. van. & W. Hendrikse. 2001. Rapport Onderzoek naar certificatieprocessen in de zorg- en welzijnssector. Utrecht: De Jong & Van Doorne-Huiskes en Partners Bennema-Broos, M., E.M. Sluijs & C. Wagner. 2000. Overzichtstudie kwaliteitssystemen van beroepsbeoefenaren in de zorgsector 1990 – 2000. Utrecht: Nivel Bergen, van B., L. Hollands, and H. Nijhuis. 1977. De ontwikkeling van een kwaliteitsprofiel: een methode voor het beoordelen van verpleegkundig handelen. Lochem: De Tijdstroom BV. Boer, N. de. 1997. “Verkennen begint met een betrouwbare kaart.” Tijdschrift voor de Sociale Sector. 5: 14-17 Bongenaar, M.M. 2000. Door de bodem?! Een onderzoek naar kwaliteitsindicatoren voor farmaceutische zorg. Groningen/Den Haag Breka, J. 1994. "Study finds gains with ISO 9000 registration increase over time." Quality Progress: 18-20. Brennan, T.A. 1998. "The role of regulation in Quality Improvement." The Millbank Quarterly 76:709-731. Brugha, T.S. & Lindsay, F. 1996. ‘Quality of mental health service care: the forgotten pathway from process tot outcome.’ Social Psychiatry and Psychiatric Epidemiology. 31: 89 - 98 Bungay, K.M. 1997. Outcomes research and patient-based assessment in institutional practice. In Health outcomes and pharmaceutical care., edited by A. Escovitz & D.S. Pathak. Binghamton: Pharmaceutical Products Press. Casparie, A.F., J. Legemaate, R.A.L. Rijkschroeff, M.J.E. Brugman, M.A.J.M. Buijsen, M.J. de Gruijter, E.H. Hulst, D.G. Oudenampsen & A. van’t Riet. 2001. Evaluatie Kwaliteitswet Zorginstellingen. Den Haag: Zon Mw Chittenden, F., P. Poutziouris and S.M. Muhktar. 1998. "Small firms and the ISO 9000 approach to quality management." International Small Business Journal 17 (1): 73-88.
Lemmens et al. 2003. De validiteit van kwaliteitssystemen in zorginstellingen.
75
Collopy, B.T. 1995. "Extending facility accreditation to the evaluation of care: The Australian experience". International Journal of Health Planning and Management 10 (223-229). Collopy, B.T. 2000. "Clinical indicators in accreditation: an effective stimulus to improve patient care." International Journal for Quality in Health Care 12 (3): 211-216. Davis, M.A. 1991. ‘On nursing home quality: A review and analysis. Medical Care Review. 48: 2 Summer Donabedian, A. 1992. “The role of outcomes in quality assessment and assurance.” Quality Review Bulletin.18 (11): 356-360 Dool, S. van den. 2001 Met kwaliteit op weg: een onderzoek naar kwaliteit van dienstverlening van de ambulancebemanning bij de Regionale Ambulancevoorziening GGD Midden-Brabant. Tilburg: KUB Dorr, D.C., 2000. Presteren met processen, procesmanagement voor dienstverlenende organisaties. Deventer: Kluwer Duckett, S.J. 1983. "Changing hospitals: The role of hospital accreditation." Social Science and Medicine. 17:1573-1579. Elmuti, D. and Y. Kathawala. 1997. "An investigation into the effects of ISO 9000 on participants' attitudes and job performance." Production and Inventory Management Journal 38 (1): 52-57. Grol, R. 2001. "Improving the quality of medical care: Building bridges among professional prode, payer profit, and patient satisfaction." JAMA 286 (20):2578-2584. Gundlach, H.C.W. 1995. Extern beoordeling/toetsing, certificatie en accreditatie. In: In: Colsen, P.J.A. et al. (red.), Handboek Kwaliteit van Zorg. Maarssen: Elsevier Gezondheidszorg. Harten, W.H. van., A.F. Casparie and O.A.M. Fisscher. 2002. "The evaluation of the introduction of a quality management system: A process-oriented study in a large rehabilitation hospital." Health Policy 60:17-37. Harteloh, P.P.M. & A.F. Casparie. 1998. Kwaliteit van zorg: van een zorginhoudelijke benadering naar een bedrijfskundige aanpak. Vierde herziene druk. Utrecht: De Tijdstroom [1991] Havenaar, J.M., B. Heemskerk & E.M. Bisseling. 2001. ‘Kwaliteit Quo Vadis? De opkomst van kwaliteitszorg binnen de psychiatrie.’ Tijdschrift voor psychiatrie. 44 (2): 95 -105 Häversjö, T. 2000. "The financial effects of ISO 9000 registration for Danish companies." Managerial Auditing Journal 15 (1/2):47-52.
Lemmens et al. 2003. De validiteit van kwaliteitssystemen in zorginstellingen.
76
Heath, H., B. McCormack, L. Phair & P. Ford. 1996. ‘Developing outcome indicators in continuing care: part 1’ Nursing Standard. 10 (46): 41-45 Heras, I., G.P.M. Dick and M. Casadesus. 2002. "ISO 9000 registration's impact on sales and profitability: A longitudinal analysis of performance before and after accreditation." International Journal of Quality & Reliability Management 19 (6): 774-791. Heras, I., M. Casadesus and G.P.M. Dick. 2002. "ISO 9000 certification and the bottum line: a comparative study of the profitability of Basque companies." Managerial Auditing Journal 16 (1). HKZ. 2001. Achtergrondartikel over Stichting HKZ. Utrecht: HKZ Hoof, F. van., J.J. Stolker, F.G. Zitman, M.C.H. Donker & J. van Weeghel. 1994. Onderzoeksprogramma kwaliteit van zorg: Overzichtstudie 5 Uitkomstindicatoren op het gebied van de chronische psychiatrie. Den Haag: NWO Idris, M.A., W. McEwan and N. Belavendram. 1996. "The adoption of ISO 9000 and TQM in Malaysia." The TQM Magazine 8 (5):65-68. IGZ. 2002. Kwaliteitsborging in zorginstellingen: intentie, wet en praktijk. Den Haag: Albani Drukkers bv. JCAHO. 2002. "The impact of Joint Commission Accreditation on Health Care Delivery." Kessener, A.W. 1994. ‘Kwaliteitssystemen bij zorgverzekeraars.’ Medisch Contact. 49 (1): 25-26
zorginstellingen:
De
wensen
van
Kitson, A. 1994. "Achievements with quality improvement in the NHS." Quality in Health Care 3: S25-S30. Klazinga, N.S. & M.C.H. Donker. 1995. ‘De kern van kwaliteitssystemen.: Managementontwikkeling in de Nederlandse gezondheidszorg.’ Tijdschrift voor Sociale Geneeskunde 73 (4): 186-192 Klein Ikkink, K. & C. Wagner. 2000. De relatie tussen kwaliteits(deel)systemen en de kwaliteit van zorg in verpleeghuizen. Utrecht: Nivel Kohn, L.T., J.M. Corrigan & M.S. Donaldson. 2000. To Err Is Human: Building a Safer Health System. Washington DC : National Academy Press Laagland, K. & H. Steensma. 2000. ‘Kwaliteit en organisatiecultuur.’ Sigma. 1 (februari): 1215 Leape, L. 1994. "Error in medicine." JAMA 272 (23):1852-1857. Lee, K.S. and E. Palmer. 1999. "An Empirical Examination of ISO 9000 Registered Companies in New Zealand." Total Quality Management: 887-899.
Lemmens et al. 2003. De validiteit van kwaliteitssystemen in zorginstellingen.
77
Leeuwen, J.F. van. 2001. Met het oog op kwaliteit: Een onderzoek teneinde de kwaliteit van farmaceutische zorg in de openbare apotheek in beeld te brengen. Scriptie RUG Linssen, C.E. 2001. ‘Kwaliteit in de geestelijke gezondheidszorg. In: Colsen, P.J.A. et al. (red.) Handboek kwaliteit van zorg. Maarsen: Elsevier Gezondheidszorg Ltd, Lloyds Register Quality Assurance. 1994. "Setting Standards for better business." Australian Journal of Management 21 (1): 57-73. Malorny, C. 1999. TQM umsetzen. Stuttgart: Schäffer-Poeschel. Mann, R. and D. Kehoe. 1994. "An evaluation of the effects of quality improvement activity on business performance." International Journal of Quality & Reliability Management 11 (4): 2944. McAdam, R. & M. McKeown. 1999. "Life after ISO 9000: An analysis of the impact of ISO 9000 and total quality management on small businesses in Northern Ireland." Total Quality Management 10 (2): 229-241. Nederlands Ambulance Platform (NAP) 1997. Nota verantwoorde ambulancezorg. Zwolle: NAP. Nederlands Normalisatie Instituut. 1994. NEN-ISO 9000. Delft: Nederlands Normalisatie Instituut. Noordhoek, P. 2002. "Grenzen aan kwaliteit bij overheid." Sigma (6): 6-10. Øvretveit, J. 1998. Evaluating health interventions. An introduction to evaluation of treatment, services, policies and organizational interventions. Buckingham: Open University Press Oxman, A.D., M.A. Thomson, D.A. Davis and R.B. Haynes. 1995. "No magic bullets: A systematic review of 102 trials of interventions to improve professional practice." Can Med Assoc J 153 (10): 1423-1431. Place, M., M. van Ooyen-Houben, A. de Veer & C. Wagner. 2000. Gereedschap voor kwaliteitszorg in de GGZ. Utrecht: Trimbos Instituut PWC Consulting. 2002. Benchmarkonderzoek 2000 verscherpt inzicht in prestaties en bedrijfsvoering thuiszorginstellingen. PWC/Nivel: Almere/Utrecht Quazi, H.A. and S.R. Padibjo. 1998. "A journey toward total quality management through ISO 9000 certification: a study of small and medium sized enterprises in Singapore." International Journal of Quality & Reliability Management 15 (5): 364-371. Quazi, H.A., C.W. Hong and C.T. Meng. 2002. "Impact of ISO 9000 certification on quality management practices: A comparative study." Total Quality Management 13 (1): 53-67.
Lemmens et al. 2003. De validiteit van kwaliteitssystemen in zorginstellingen.
78
Rahman, S. 2001. "A comparative study of TQM practice and organisational performance of SMEs with and without ISO 9000 certification." International Journal of Quality & Reliability Management 18 (1): 35-49. Rantz, M.J., D.R. Mehr, V.S. Conn, L.L. Hicks, R. Porter, R.W. Madson, G.F. Petrowski & M. Maas. 1996. ‘Assessing quality of nursing home care: the foundation for improvement resident outcomes.’ Journal of Nursing Care Quality. 10: 1-9 Rooney, A., S. Aydede and B. Braun. 2001. "Assessing the cost and effectiveness of hospital accreditation in two developing countries: A preliminary investigation." Ruysbroek, J.M.H. 2001. ’Wat is thuiszorg?’ In: Volksgezondheid Toekomst Verkenning. Nationaal Kompas Volksgezondheid. Bilthoven: RIVM RVZ. 1998. Farmaceutische zorg door arts en apotheker. Advies uitgebracht aan de minister van Volksgezondheid, Welzijn en Sport. Zoetermeer Schrijvers, A.P.J. 1993. Handboek Thuiszorg. 's-Gravenhage : VUGA Schryve, P. 1995. "Models for relating performance measurement and accreditation." International Journal of Health Planning and Management 10 (231-241). Scotto, M.J. 1996. "Seven ways to make money from ISO 9000." Quality Progress 29 (6): 3941. Scrivens, E. 1995(a). "International trends in accreditation." International Journal of Health Planning and Management 10:165-181. Scrivens, E. 1995(b). "Accreditation protecting the professional or the consumer?" Buckingham: Open University Press. Scrivens, E. 1996. "Recent developments in accreditation." International Journal for Quality in Health Care 7 (4): 427-433. Scrivens, E. 1997(a). "Impact of accreditation systems upon patient care." Journal of Clinical Effectiveness 2 (4): 102-105. Scrivens, E. 1997(b). "Assessing the value of accreditation systems." European Journal of Public Health (7):4-8. Scrivens, E. 1997(c). "Putting continuous quality improvement into accreditation: improving approaches to quality assessment." Quality in Health Care (6): 212-218. Scrivens, E. 2000. "Clinical indicators in accrediatation: an effective stimulus to improve patient care." International Journal for Quality in Health Care 12 (3): 211-216. Shaw, C. 2001. "External assessment of health care." BMJ 322: 851-854.
Lemmens et al. 2003. De validiteit van kwaliteitssystemen in zorginstellingen.
79
Shortell, S.M., C.L. Bennett and G.R. Byck. 1998. "Assessing the impact of continuous quality improvement on clinical practice: What it will take to accelerate Progress." The Millbank Quarterly 76 (4): 593-624. Shortell, S.M., J.L. O’Brien, J.M. Carman, R.W. Foster, E.F.X. Hughes, H. Boestler & E.J. O’Conner. 1995. Assessing the Impact of Continuous Quality Improvement/Total Quality Management: Concept versus Implementation. Health Service Research. 30 (2): 377-401 Simmons, B.L. & M.A. White. 1999. "The relationship between ISO 9000 and business performance: Does registration really matter?" Journal of Managerial Issues 11 (330-343). Sluijs, E.M. S. van Beek, I. Mouthaan, M. de Neef & C. Wagner. 2002. Verdiepingsstudie transparantie kwaliteit van zorg: exploratief onderzoek naar de mate waarin zorginstellingen indicatoren gebruiken om de kwaliteit van zorg zichtbaar te maken. Utrecht: Nivel Sluijs, E.M. & C. Wagner. 2000. Kwaliteitssystemen in zorginstellingen: De stand van zaken in 2000. Utrecht: Nivel Sluijs, E.M. & C. Wagner. 2001. ‘Waken voor verzanding van het kwaliteitssysteem.’ Kwaliteit in beeld. 6: 4-7 Sluijs, E.M. & D.H. de Bakker. 1995. ‘Implementatie van kwaliteitssystemen in de gezondheidszorg: Eerste ervaringen in instellingen.’ Tijdschrift voor Sociale Geneeskunde 73 (4): 193-200 Stevenson, T.H. and F.C. Barnes. 2001. "Fourteen years of ISO 9000: Impact, Criticisms, Costs and Benefits." Business Horizons 44 (3): 45-51. Sun, H. 1999. "Diffusion and contribution of the total quality management: an empirical study in Norway." Total Quality Management 10:901-914. Swanborn, P.G. 1987. Methoden van sociaal wetenschappelijk onderzoek. Meppel: Boom Tonnaer, C.F.M. (red.) 1999. Branche rapport Geestelijke gezondheidszorg: 1993-1997. Naar een transparante GGZ. Utrecht: GGZ Nederland Trochim, M.K. 1989. ‘An introduction to concept mapping for planning and evaluation.’ Evaluation and Program Planning. 12: 1-6 Vaart, F.J. van der. & E.E. Gerbrands. ‘Certificatie van openbare apotheken.’ In: Colsen, P.J.A. et al. (red.) Handboek kwaliteit van zorg. Maarssen: Elsevier Gezondheidszorg Vaart, F.J. van der. ‘Kwaliteit van farmaceutische zorg – openbare apotheek.’ In: Colsen, P.J.A. et al. (red.) Handboek kwaliteit van zorg. Maarssen: Elsevier Gezondheidszorg Veen, A.A. van der. et al. 2001. Niet zonder zorg: Een onderzoek naar de doelmatigheid en kwaliteit van de ambulancezorg. Houten: Bohn Stafleu Van Loghum
Lemmens et al. 2003. De validiteit van kwaliteitssystemen in zorginstellingen.
80
Vloeberghs, D. and Bellens, J. 1996. "Implementing the ISO 9000 Standards in Belgium." Quality Progress 29 (6): 43-48. Vreeke, G.J., C.G.C. Janssen, H. Kars & M. Schuurman. 1993. Kwaliteit van zorg: Uitkomstindicatoren in de zorg aan mensen met een verstandelijke handicap. Bespreking en evaluatie van literatuur. Den Haag: NWO Vrolijk, A. 1985. ‘Vrije attitude interview’ In: Interventiemodellen: vrije attitude interview, counseling, slecht nieuws gesprek, advisering, discipline, presentatietechniek. 68-78. Alphen aan den Rijn: Samson VWS. 2002. Standpunt op evaluatie Kwaliteitswet zorginstellingen. IBE/I-2283163 (10-062002) VWS & BZK. 1997. Met zorg verbonden. Naar een nieuwe structuur voor ambulancezorg, traumazorg en geneeskundige hulpverlening bij ongevallen en rampen. Rijswijk/Den Haag: Ministerie van Volksgezondheid, Welzijn en Sport en Ministerie van Binnenlandse Zaken en Koninkrijksrelaties. Wagner, C. L.Wiersma, M.W. Ribbe & G. van der Wal. 2001. ‘Bewonersgebonden kwaliteitsindicatoren in de ouderenzorg.’ Kwaliteit in Beeld. 5: 18 – 20 Walburg, J.A. & J. Brinkmann. 2001. Kwaliteit is geen toeval: De praktijk van de kwaliteitszorg in de GGZ. Alphen aan den Rijn: Drukkerij Haasbeek Walburg, J.A. 2001. ‘Kwaliteit in perspectief: Management van uitkomsten.’ In: Walburg, J.A. & J. Brinkmann. Kwaliteit is geen toeval: De praktijk van de kwaliteitszorg in de GGZ. Alphen aan den Rijn: Drukkerij Haasbeek Walshe, K., L. Wallace, T. Freeman, L. Latham and P. Spurgeon. 2001. "The external review of quality improvement in health care organizations: a qualitative study." International Journal for Quality in Health Care 13 (5): 367-374. Walshe, K. & T. Freeman. 2002. "Effectiveness of quality improvement: learning from evaluations." Quality and Safety in Health Care (11): 85-87. Wayhan, V., E. Kirche and B. Khumawhala. 2001. "ISO 9000 certification: financial performance implications." Working Paper: University of Houston, TX. Weiner, B.J., S.M. Shortell and J. Alexander. 1997. "Promoting clinical involvement in hospital quality improvement effort: The effects of top management, board and physician leadership." Health Services Research 32 (4): 491-510. Zeithaml, V.A., A. Parasuraman & L.L. Berry. 1990. Delivering quality service. New York: The Free Press Zimmerman, D.R. et al. 1995. ‘Development and testing of nursing home quality indicators.’ Health Care Financing Review. 16 (4): 107 - 127
Lemmens et al. 2003. De validiteit van kwaliteitssystemen in zorginstellingen.
81
Bijlage 1 HKZ certificatieschema HKZ certificatieschema naar deelsectoren anno 2001. HKZ schema gereed
HKZ schema in ontwikkeling
HKZ schema aangevraagd
Openbare apotheek Instellingen voor thuiszorg Ambulancezorg Centrale posten ambulancevervoer Verzorgingshuizen Advisering voorzieningen gehandicapten Gezondheidscentra Kinderopvang Dialysecentra Tandprothetische praktijk Tandartsenpraktijk
Radiotherapie GGD/infectieziekten GGZ Orthodontie
GHOR MOA Fysiotherapie JGZ (GGD)
RIO’s AMW
Jeugdzorg (GGZ)
Gehandicaptenzorg Eerstelijns psychologen
HKZ gecertificeerde zorginstellingen naar deelsectoren anno 2001. Deelsectoren zorg Openbare apotheek Instellingen voor thuiszorg Ambulancezorg Centrale posten ambulancevervoer Verzorgingshuizen Advisering voorzieningen gehandicapten Gezondheidscentra Kinderopvang Dialysecentra Tandartsenpraktijk Tandprothetische praktijk totaal
Aantal gecertificeerde instellingen 77 9 20 4
percentage
2 3
1 2
43 2 -
27 1 -
160
100%
Lemmens et al. 2003. De validiteit van kwaliteitssystemen in zorginstellingen.
48 6 13 2
82
Bijlage II
Clusters van uitkomstindicatoren GGZ
Continuïteit Verbetering van de aansluiting op de vervolgtraject. Beter overdraagbare zorg in ketensystemen. Overlap met de zorg in het vervolgtraject wordt voorkomen. Toename van de continuïteit van zorg. De cliënt weet beter waar hij aan toe is. Verhoging van de satisfactie van verwijzers. Lacunes in de aansluiting op het vervolgtraject in de zorgverlening worden voorkomen. Het aantal cliënten dat de behandeling vroegtijdig beëindigd verminderen. De hulpverlening aan de cliënt verloopt sneller. Vermindering van het aantal wisselingen van behandelaars. Afname van de wachttijden. Compleet ingevuld behandelplan. Vaste hoofdbehandelaar. Symptoomreductie De mate van symptoomreductie. Vermindering van de (psychische) klachten. Afname van de (gezondheids)klachten van de cliënt. Vermindering of eliminatie van psychische of somatische pijn. Verbetering van de algehele gezondheidsbeleving van de cliënt. Afwezigheid van complicaties. Terugbrengen van recidiverisico’s. Verbetering van de effecten van de geleverde zorg en behandeling. De mate waarin de doelen zijn gerealiseerd die van tevoren zijn afgesproken. Groter percentage gerealiseerde behandeldoelstellingen. Zelfredzaamheid Toename van de kwaliteit van leven van de cliënt. Verbetering van de sociale integratie. Verbetering van de sociale vaardigheden van de cliënt. Verbetering van het oppakken van activiteiten door cliënten. Verbetering van de zelfzorg van de cliënt. Verbetering van de ADL functies van de cliënt. Tevredenheid over het zorgproces De cliënttevredenheid ten aanzien van de bejegening verhogen. De cliënttevredenheid ten aanzien van de deskundigheid van de hulpverlener verhogen. De cliënttevredenheid ten aanzien van de informatievoorziening verhogen. De geleverde zorg sluit aan bij de wens van de cliënt. Tevredenheid van de cliënt met zijn inspraak in het behandelproces. Tevredenheid van de familie/ omgeving over de betrokkenheid bij het zorgproces. Tevredenheid van de familie/omgeving over informatievoorziening. Toename van de transparantie van de geleverde zorg. Tevredenheid van de familie/ omgeving over de zorgverlening.
Lemmens et al. 2003. De validiteit van kwaliteitssystemen in zorginstellingen.
83
Tevredenheid over het zorgresultaat Het aantal binnengekomen klachten over de geleverde zorg nemen af. Tevredenheid van de cliënt over de autonomie. Toename van de cliënttevredenheid met de eigen levenssituatie. Toename van de cliënttevredenheid met het resultaat van de zorg. Beter inzicht van de cliënt in de zorgprocessen. Effectief management Budgetoverschrijding verminderen. Afname van de kosten per cliënt. Halen van de productieafspraken. Verbeterde kosteneffectiviteit van de zorg. Het aantal afgesproken behandelingen wordt gerealiseerd. Afname van het ziekteverzuim. Verhoging van het percentage van het budget dat wordt ingezet voor directe zorg. Verbeterd inzicht in de effectiviteit van zorgprocessen. Efficiënt management Toename van de efficiëntie van de geleverde zorg. Verkorten van de behandelduur. Geen verspilling van middelen. Afname van het aantal fouten. Efficiënter gebruik van medewerkers. Efficiënter gebruik van tijd. Efficiënter gebruik van financiële middelen. Verbetering van de doelmatigheid van het zorgproces.
Lemmens et al. 2003. De validiteit van kwaliteitssystemen in zorginstellingen.
84
Bijlage III Thuiszorg
Clusters van uitkomstindicatoren
Kwaliteit van Leven Verbetering van de zelfzorg. Een verbetering van de zelfstandigheid van de cliënt. De cliënt kan langer gezond thuis blijven wonen. Stabiliteit of toename van de kwaliteit van leven van de cliënt. Verbetering van de algehele gezondheidsbeleving bij de cliënt. Toename of stabilisatie van het welbevinden van de cliënt. De vitaliteit van de cliënt blijft stabiel of neemt toe. De fysieke gezondheidssituatie van de cliënt blijft langer stabiel of gaat vooruit (ADL schaal) Het sociaal functioneren van de cliënt blijft langer stabiel of gaat vooruit (ADL schaal) De cognitieve functies van de cliënt blijven langer stabiel of gaan vooruit (cognitieve functieschaal). Toename of stabilisatie van de vitaliteit van de cliënt (ADL schaal). Het mentaal functioneren van de cliënt blijft langer stabiel of gaat vooruit (ADL schaal). Afname van de ernst van de depressie van de cliënt (depressieschaal). Beheersing van gezondheidsrisico’s
Afname van het voorkomen van infecties. Verminderen van het voorkomen van decubitus. Afname van het aantal gevallen van incontinentie. Afname van het aantal valincidenten. Afname van het aantal complicaties. Afname van het beroep op de huisarts met voorkoming van over- of onderzorg. Afname van het aantal gemiste diagnoses. Voorkomen van onverwachte heropnames in verpleeghuizen en verzorgingshuizen. Afname van het kathetergebruik. Beheersing van medicijndistributie Satisfactie ten aanzien van de autonomie Toename van de tevredenheid van de cliënt over de bejegening. Toename van de cliëntsatisfactie m.b.t. inspraak op geleverde zorg. Toename van de tevredenheid over de continuïteit van de hulpverlener. Verhogen van de cliëntsatisfactie over gemaakte zorgafspraken. Verbetering van de tegemoetkoming aan de wensen en verwachtingen van de cliënt. Toename van de tevredenheid over het aantal keer dat er overleg plaatsvindt. Dienstverlening sluit aan bij de behoeften van de cliënt. Toename van de 'zorg op maat'. Periodieke evaluatie van de aard van de geleverde zorg. Periodieke evaluatie van de omvang van de geleverde zorg.
Lemmens et al. 2003. De validiteit van kwaliteitssystemen in zorginstellingen.
85
Betrouwbaarheid van de organisatie Toename van de tevredenheid over de deskundigheid van de zorgverlener. Toename van de tevredenheid over de geleende hulpmiddelen. Tevredenheid over de continuïteit van de hulpverlener. Tevredenheid over de continuïteit van zorg. Toename van de tevredenheid over de wachttijd Toename van het inzicht van de cliënt in de organisatie. Geïndiceerde zorg is geleverde zorg. ‘Meten en verbeteren’ Verbetering van signalering van afwijkingen. Verbetering van signalering van tekorten. Het aantal binnengekomen klachten over de geleverde zorg laten afnemen. Toename van het aantal verbeterprojecten. Toename van het aantal probleemgestuurde projecten. Meer meldingen van incidenten en kleine fouten. Efficiëntie Toename van de productiviteit. Afname van het aantal overbodige handelingen. Budgetoverschrijding verminderen. Afname van de kosten per contactuur. Professionele kwaliteit Er raken minder huissleutels van klanten kwijt. Correcte invulling van het cliëntendossier. Aanwezigheid van de benodigde medicatie bij huisbezoek. Aanwezigheid van de juiste hulpmiddelen bij huisbezoek. Correcte toepassing van professionele richtlijnen voor alle interventies. Correcte toepassing van professionele richtlijnen voor alle aandoeningen. Geïndiceerde functieniveau is ingezette functieniveau Samenwerking Een betere rolvervulling om tot een optimale samenhang tussen zelfzorg, mantelzorg en professionele zorg te komen. Toename van de tevredenheid over de samenwerking van de ketenpartners.
Lemmens et al. 2003. De validiteit van kwaliteitssystemen in zorginstellingen.
86
Bijlage IV Apotheek
Clusters van uitkomstindicatoren
Medicatiegebruik klant Verbetering van de toepassing van het medicijn door de klant. Vergroten van het bewustzijn van de klant in waarom ze een geneesmiddel gebruiken. De klanten zijn beter gemotiveerd om op de juiste manier met hun geneesmiddelen om te gaan. Vergroten van het bewustzijn van de klant in wat het geneesmiddel is. Klanten weten beter hoe ze met hun geneesmiddelen moeten omgaan. Beter inzicht bij de klant in de bijwerkingen van een geneesmiddel. Verbetering van de schriftelijke informatievoorziening aan de klant. Verbetering van de mondeling informatievoorziening aan de klant. Toename van de therapietrouw. Verhoging van de bekendheid van het product bij de klant. Voorkomen van contra-indicatie. Verhoging van de bekendheid van de apotheek als informatieverstrekker. Klanttevredenheid Verbetering van de bejegening van de klant. Verbetering van de uitstraling van de apotheek. Verbetering van de bejegening van de klant. Toename van de tevredenheid van de klant over de deskundigheid van de zorgverlener. De klant heeft meer inzicht in wat hij van de apotheek mag verwachten. Toename van de klanttevredenheid over wachttijden. De klant krijgt wat de bedoeling is geweest van de arts. Toename van de eenduidigheid van de zorgverlening. Afname van (onnodig) herhaalde informatievoorziening aan de klant. Medicatiebegeleiding
De apotheek heeft inzicht in het geneesmiddelen gebruik van de klant. Verbetering van de gezondheidstoestand van de cliënt. Voorkomen van (her)opnames in het ziekenhuis. Vaste combinaties van geneesmiddelen worden standaard gegeven. Afname van dubbelmedicatie. ‘Adverse events’ Afname van het aantal fouten bij het afleverproces. Afname van het aantal keer dat een apotheek iets terug moet halen. Afname van het aantal fouten bij bezorging. Toename van de foutenregistratie. Verbetering van de coördinatie tussen huisarts en apotheker. De geleverde zorg is reproduceerbaar. Verhoging van de transparantie van het proces in de apotheek.
Lemmens et al. 2003. De validiteit van kwaliteitssystemen in zorginstellingen.
87
Efficiëntie Verhoging van de servicegraad. Toename van de efficiëntie. De receptafhandeling verloopt sneller. Afname van de wachttijd. Toename van de productie. Toename van het aantal recepten per assistent. Besparing van onnodige kosten. Verhoging van het gebruik van substitutiemiddelen. Transparantie
Transparantie van het zorgproces voor betrokken zorgverleners. Transparantie van het zorgproces voor de zorgverzekeraar. Verhoging van de transparantie van het proces in de apotheek.
Lemmens et al. 2003. De validiteit van kwaliteitssystemen in zorginstellingen.
88
Bijlage V Clusters van uitkomstindicatoren Ambulancedienst Continuïteit Toename van de continuïteit van zorg. Het ritformulier is correct ingevuld. Verbetering van de overdracht van informatie aan het ziekenhuis. Afname van de vertraging bij aankomst in het ziekenhuis. Verbetering van de communicatie met het ziekenhuis. Doelmatigheid
Efficiënter gebruik van financiële middelen. Budgetoverschrijding verminderen. Efficiënter gebruik van middelen. Voorkomen van onnodige kosten. Verhoging van de efficiëntie. Verbetering van de doelmatigheid van het zorgproces. Doeltreffende zorgverlening
Er worden minder herhalingsfouten gemaakt. Afname van het aantal fouten in de zorgverlening. Verergering van aandoeningen wordt beter voorkomen. Voorkomen van dubbele behandelingen bij de patiënt. Toename van de snelheid van de hulpverlening. Toename gezondheidswinst van de cliënt. Complicaties worden beter voorkomen. Invaliditeit wordt beter voorkomen. Er worden meer juiste diagnoses gesteld. De patiënt arriveert in een stabiele of verbeterde toestand bij het ziekenhuis. Verbetering van de hygiëne. Verbetering van de veiligheid van de zorgverlening. Afstemming op zorgbehoefte van de cliënt
Afname van het aantal klachten. Verbeterde afstemming van de zorg op de reële behoefte van de klant. Toename van de cliënttevredenheid t.a.v. het vervoer. Meer inzicht bij de patiënt in wat hij van de zorg kan verwachten. Betere begeleiding van patiënten. Toename van zorg op maat. Verbetering van de uniformiteit van de dienstverlening. Toename van de transparantie van de geleverde zorg.
Lemmens et al. 2003. De validiteit van kwaliteitssystemen in zorginstellingen.
89
Cliënttevredenheid Toegenomen vertrouwen bij de klantengroepen. Toename van de cliënttevredenheid t.a.v. de bejegening. Toename van de tevredenheid over de deskundigheid van de hulpverlener. Toename cliënttevredenheid t.a.v. de geleverde zorg. Toename van de cliënttevredenheid t.a.v. de informatievoorziening.
Lemmens et al. 2003. De validiteit van kwaliteitssystemen in zorginstellingen.
90
Bijlage VI
Clusters van uitkomstindicatoren CPA
Ketenkwaliteit Toename van tevredenheid bij ketenpartners t.a.v. het op tijd nakomen van de afspraken. Toename van de tevredenheid van ketenpartners t.a.v. de efficiënte hulpverlening. Toename van de tevredenheid van ketenpartners t.a.v. de snelheid van de hulpverlening. Tevredenheid van ketenpartners t.a.v. de communicatie. Tevredenheid ketenpartners t.a.v. informatieoverdracht. Tijdig inschakelen van de politie. Tijdig inschakelen van de brandweer. Continuïteit Het ziekenhuis is op de hoogte van de toestand van een spoed patiënt. Ziekenhuis ontvangt een juiste vooraankondiging van de CPA. Ziekenhuis kan bij spoed benodigde middelen klaar hebben staan. Ziekenhuis kan bij spoed benodigde mensen klaar hebben staan. Doelmatigheid Voorkomen van het onnodig uitrijden van de ambulance. Afname van het afzeggen van ritten. Inschakeling van het meest aangewezen ambulanceteam. Afname van de inzet van secundaire hulp. Kostenbesparing. Afname van onnodig inzetten van A1 ritten. Betere benutting van de capaciteit. Doelmatiger inzetten van ambulances. Toename effectieve inzet ambulances. Doeltreffende hulpverlening
Toename percentage juiste indicatiestelling. Toename juiste prioriteitstelling door de CPA. Toename van de inzet van de juiste hulp in relatie tot de vraag. Adequate inschatting van de medische situatie. Juiste formulering werkdiagnose. De juiste locatie wordt doorgegeven aan de hulpverlening. Juiste hulpverlening wordt ingezet bij de toestand van de patiënt. Juiste doorgifte van de situatie aan de hulpverlening. Voorkomen van meldingsdelay. Juiste verwerking van de melding. Juiste doorverwijzing van de cliënt bij niet noodzakelijke ambulancehulpverlening. Verbeterde inzet van de 'first responder'. Juiste inzet personeel bij een incident. Voldoende hulpverlening ter plaatse. Snellere opschaling door de CPA. Toename gezondheidswinst van de cliënt.
Lemmens et al. 2003. De validiteit van kwaliteitssystemen in zorginstellingen.
91
Tevredenheid van klanten Afname van het aantal klachten. Toename foutenregistratie. Toename cliënttevredenheid t.a.v. de bejegening. Toename van de cliënttevredenheid t.a.v. de informatievoorziening.
Lemmens et al. 2003. De validiteit van kwaliteitssystemen in zorginstellingen.
92