Vývoj národní sady ukazatelů zdravotních služeb (NSUZS) Příloha 1 - Metodika konečného vyhodnocení ukazatele
Metodika vyhodnocení ukazatelů kvality Manuál pro vyhodnocení ukazatelů kvality a výkonnosti zdravotních služeb MUDr. Petr Tůma, MUDr. Miloš Suchý
Obsah 1
Úvod ................................................................................................................................... 2 1.1 Účel tohoto manuálu ................................................................................................... 2 1.2 Metodická a technická východiska projektu ............................................................... 2 1.3 Národní sada ukazatelů kvality zdravotních služeb..................................................... 2 1.4 Obsah manuálu ............................................................................................................ 3 2 Minimum informací o ukazatelích kvality .......................................................................... 3 2.1 Co jsou ukazatele kvality a výkonnosti? ...................................................................... 3 2.1.1 Základní teze......................................................................................................... 3 2.1.2 Ukazatele kvality a ukazatele výkonnosti............................................................. 4 2.2 Dělení ukazatelů .......................................................................................................... 4 2.2.1 Ukazatele kvality struktury ................................................................................... 4 2.2.2 Ukazatele kvality procesu..................................................................................... 4 2.2.3 Ukazatele kvality výsledku ................................................................................... 5 2.3 Cíle použití ukazatelů ................................................................................................... 5 2.4 Životní cyklus ukazatele ............................................................................................... 7 2.5 Datové zdroje, validita dat........................................................................................... 7 2.6 Validita ukazatelů kvality ............................................................................................. 7 2.7 Standardizace výsledkových ukazatelů kvality ............................................................ 8 2.7.1 Postupy vedoucí ke snížení zkreslení ukazatele ................................................... 8 2.7.2 Princip standardizace (nepřímá standardizace) ................................................... 9 2.8 Statistická prezentace dat s využitím intervalu spolehlivosti ...................................... 9 2.9 Současný stav v pohledu na ukazatele, problémy k řešení ......................................... 9 2.9.1 Potřeby v dalším vývoji ukazatelů kvality............................................................. 9 2.9.2 Hlavní současné problémy ve využití ukazatelů................................................... 9 3 Panel expertů a postup při hodnocení ukazatelů ............................................................ 10 3.1 Složení panelu expertů (oponentního týmu) ............................................................ 10 3.2 Postup při vyhodnocení ............................................................................................. 10 3.3 Podklady .................................................................................................................... 11 4 Strukturované vyhodnocení ............................................................................................. 11 4.1 Skóre .......................................................................................................................... 11 1/14 26.4.2010
4.2 Strukturované vyhodnocení ukazatele - dotazník ..................................................... 12 4.3 Rozhodnutí................................................................................................................. 13 4.3.1 Přijetí ukazatele .................................................................................................. 14 4.3.2 Vyloučení ukazatele............................................................................................ 14 4.3.3 Ponechání ve fázi vývoje .................................................................................... 14
1
Úvod
1.1
Účel tohoto manuálu
Tento dokument je především praktickým návodem pro členy pracovních skupin (tzv. odborných panelů), které vyhodnocují navrhované ukazatele kvality a výkonnosti a dávají doporučení nebo nedoporučení k jejich užívání. Vedle popisu rolí jednotlivých členů těchto panelů uvádí dokument systematický způsob vyhodnocení ukazatelů. Mimo to nabízí ve své úvodní části zkrácený přehled teoretických východisek ukazatelů kvality a vysvětluje používanou terminologii.
1.2
Metodická a technická východiska projektu
Metodika vyhodnocení ukazatelů je založena na výstupech projektu Ministerstva zdravotnictví České republiky: RZ č. OZS/4/316/08, „Vývoj národní sady ukazatelů zdravotních služeb (NSUZS)“, č. j. 27253/08, identifikační č. projektu 5/08/KZP. Národní referenční centrum bylo pověřeno Ministerstvem zdravotnictví správou a dalším vývojem výstupů projektů zaměřených na řešení problémů kvality zdravotní péče (Prováděcí smlouva č. 5 k Rámcové dohodě o spolupráci ze dne 27. 5. 2008).
1.3
Národní sada ukazatelů kvality zdravotních služeb
Národní sada ukazatelů kvality zdravotních služeb (zkráceně: Národní sada ukazatelů kvality; dále NSUK) je soubor ukazatelů výkonnosti a/nebo kvality, které prošly odbornou validací, statistickým testováním a závěrečným konsensuálním vyhodnocením. NSUK prezentuje všechny testované a akceptované ukazatele ve formě Katalogu národní sady ukazatelů zdravotních služeb. Sada vznikla jako výsledek několika projektů, jejichž výstupy v průběhu posledních 6-ti let postupně poskytly metodiky vývoje ukazatelů na základě opakovaných rešerší a praktického testování ukazatelů s využitím reálných dat. NSUK vzniká na základě vlastní metodiky inspirované obdobnými metodikami velkých národních sad ukazatelů v zahraničí, především sady AHRQ (Agency for Healthcare Research and Quality). Metodika popisuje mimo jiné i tzv. životní cyklus ukazatelů sestávající z následujících fází: 1. Registrace návrhu ukazatele, formalizovaný záznam vstupních informací o ukazateli 2. Předběžné vyhodnocení ukazatele zaměřené především na užitečnost a proveditelnost 3. Sběr dat a testování ukazatele se statistickým vyhodnocením 4. Oponentura, konečné vyhodnocení ukazatele zaměřené kromě užitečnosti a proveditelnosti také na vědeckou přijatelnost a důležitost ukazatele 5. Revize ukazatele v případě, že uplyne stanovaná doba účinnosti, nebo je podán návrh ke změně v důsledku nových poznatků týkajících se předmětu ukazatele 2/14 26.4.2010
Ukazatele jsou do NSUK navrhovány sice především na základě zahraničních zkušeností, ale návrhy „tuzemského“ původu jsou považovány za rovnocenné. U ukazatelů převzatých ze zahraničí se však můžeme do jisté míry opírat o fakt, že takový standard již jednou úspěšně prošel validací a testováním v zahraničí.
1.4
Obsah manuálu
Manuál pro vyhodnocení ukazatelů popisuje proces posouzení kandidátů na ukazatele kvality obsahuje minimum obecných informací o ukazatelích kvality obsahuje strukturovaný dotazník k popisu vlastností ukazatele a vyhodnocení jeho použitelnosti
2
Minimum informací o ukazatelích kvality
Následující text je zamýšlen jako sjednocující koncepční, terminologická a metodická baze pro proces vyhodnocování ukazatelů kvality. Je určen čtenářům, kteří problematiku měření kvality pomocí ukazatelů znají. Dokument proto nemůže být považován za dostatečné a úplné vysvětlení všech aspektů spojených s měřením kvality a vyhodnocováním ukazatelů.
2.1
Co jsou ukazatele kvality a výkonnosti?
2.1.1 Základní teze Současný ve světě obvyklý koncept zjišťování a vyhodnocování výkonnosti a kvality zdravotní péče je založen na pozorováních týkajících se prostředí, v němž je zdravotní péče poskytována (obvykle nazývaným „strukturou“), způsobu, jakým je poskytována (obvykle nazývaným „procesem“) a dosažení požadovaného cíle (obvykle nazývaným „výsledkem“; někdy je vhodné rozlišovat ještě krátkodobé a dlouhodobé výsledky). V dlouhodobém vývoji metodik a užívaných ukazatelů je trvalou snahou nahradit subjektivně podmíněný pohled na kvalitu péče pohledem pokud možno objektivním. Objektivnost spočívá ve dvou prvcích: ve zjišťování a hodnocení kvality péče v její kvantitativní (měřitelné) podobě v solidních podkladech pro interpretovatelnost těchto měření. Pozorování, která splňují tyto požadavky v konvenční míře (podmíněné současnou úrovní poznání v této oblasti) a jsou vyhlášeny nějakou autoritou, která zároveň poskytuje jejich formalizovaný popis, se nazývají ukazatele1 kvality. Předpokládá se, že tyto ukazatele, přestože se vztahují jen k relativně malému počtu pacientů z celkového množství pacientů léčených konkrétním poskytovatelem, reprezentují širší úroveň jednotlivých aspektů kvality různých oblastí zdravotní péče.
1
Pojem „indikátor“ je synonymem pojmu „ukazatel“. We acknowledge that all “quality indicators” are strictly-speaking “quality performance indicators”. We have frequently applied the term “quality indicator” without reference to the “performance” qualifier. (Quality and Outcome Indicators for Acute Healthcare Services, National Hospital Outcomes, Australia 1997) 2
3/14 26.4.2010
Součástí metodik ukazatelů kvality mají být vždy doporučení, jak ukazatele kvality seskupovat, jak je vybírat pro různé účely použití a jak je interpretovat. 2.1.2 Ukazatele kvality a ukazatele výkonnosti Literatura není jednotná v definování a užití výrazů ukazatel kvality a ukazatel výkonnosti (quality indicators, performance indicators, nebo také quality performance indicators). Jisté je, že kvalita zdravotní péče a výkonnost zdravotní péče spolu úzce souvisejí. Přestože v navržené metodice rozlišujeme ukazatele kvality a ukazatele výkonnosti, je třeba mít na paměti, že toto rozlišení je arbitrární a že tzv. měřeních výkonnosti je zahrnut určitý aspekt kvality a naopak. Běžně v textu používáme obdobně jako jiní autoři2 často výraz ukazatel kvality bez odkazu na měření výkonnosti a naopak.
2.2
Dělení ukazatelů
Základní dělení již bylo zmíněno. Spočívá v rozdělení ukazatelů do tří skupin: 1. ukazatele kvality struktury 2. ukazatele kvality procesu 3. ukazatele kvality výsledku Dále je možné ukazatele dělit z různých hledisek. Z hlediska využití výsledků je důležité dělení na: 1. ukazatele (zaměřené na) jednotlivého poskytovatele („provider level“); 2. ukazatele oblastní („area level“) Měřenou a porovnávanou „oblastí“ může být okres, kraj nebo jiný celek. Ukazatele oblastní není možné spočítat pro jednotlivého poskytovatele (zejména proto, že se na procesu péče a tedy i na výsledku podílí více poskytovatelů). 2.2.1 Ukazatele kvality struktury Např. počet sester / 1 lůžko na jednotce intenzivní péče konvenčně se mezi strukturální ukazatele řadí objemové ukazatele – „volume measures“ (např. počet CABG za rok) O oprávněnosti používání objemových ukazatelů se stále vedou spory stejně jako o způsobu výpočtu (stanovení) minimálního počtu výkonů za rok pro vybrané výkony. V současné době převažuje názor, že mají být používány, ale nikdy nemají být vyhodnocovány samostatně (vždy se má přihlížet také k výsledkovým ukazatelům). 2.2.2 Ukazatele kvality procesu Např. vyšetření glykovaného hemoglobinu nejméně 1x ročně u diabetiků realizace profylaxe pooperační infekce (podle platného standardu) Procesní ukazatele by měly vždy být konzistentní s platným klinickým standardem (doporučením). Zahraniční procesní ukazatele se obvykle odkazují na konkrétní paragrafy národních „guidelines“.
4/14 26.4.2010
Procesní ukazatele až na výjimky nejsou zjistitelné z rutinně sbíraných dat (k-dávky, NZIS). Např. u ukazatele, který spočívá ve zjištění nakolik je v praxi dodrženo doporučení podat určité antibiotikum do 3 hodin po přijetí, je nutné zavést standardizovaný způsob sběru relevantních údajů (protokol, software apod.) Předností procesního ukazatele je, že poskytovatele informuje, v čem spočívá případně zjištěný nedostatek v poskytované péči. 2.2.3 Ukazatele kvality výsledku Např. nemocniční mortalita na akutní infarkt myokardu rehospitalizace po abdominální operaci reoperace apod. Některé výsledkové ukazatele jsou zjistitelné z rutinně sbíraných dat, pro jiné je nutné sbírat dodatečná data. Protože i při optimální péči dochází k jiným než optimálním výsledkům, je nutné zohlednit (eliminovat) zkreslující okolnosti spočívající v (mezi poskytovateli) nerovnoměrně rozloženém riziku pro nepříznivý výsledek. Postup, který odstraňuje takovéto zkreslení ukazatele, se nazývá standardizace ukazatele. Optimální standardizace vyžaduje data, která téměř nikdy nejsou dostupná mezi rutinně sbíranými údaji téže datové sady, ze které je odečítáno vlastní měření kvality. Slabou stránkou výsledkového ukazatele je, že neinformuje poskytovatele, kde je příčina při nepříznivém výsledku ukazatele.
2.3
Cíle použití ukazatelů
Hlavním cílem použití ukazatelů původně bylo a (podle našeho názoru) by stále mělo být interní využití poskytovatelem ke zlepšení kvality. Celosvětově je poslední roky patrný silný trend vytvářet prostředí, kde poskytovatelé jsou vyzýváni (resp. je na ně vytvářen tlak) k tomu, aby poskytli údaje k dalším použitím, často spojeným se zveřejněním a vzájemným porovnáváním výsledů. Různé cíle resp. způsoby použití můžeme srovnat do pořadí, které více méně zároveň vyjadřuje: historicky vývoj pohledu na ukazatele, tedy od původních záměrů po současný trend interní versus externí využívání, tedy od nejvíce důvěrného využívání po nejvíce otevření problematičnost využití, tedy od relativně bezproblémového až po kontroverzní způsoby využití Ukazatele kvality mohou být použity následujícími způsoby (některé se mohou překrývat): Způsob Popis Interní analýzy kvality Poskytovatel interpretuje ukazatele s podrobnou znalostí „interního“ kontextu; ukazatele proto nemusí mít povahu „konečného důkazu“; informace jsou důvěrné Externí analýzy kvality Interpretace je dodána externím dodavatelem; k interpretaci je potřebný obecný kontext; informace jsou důvěrné nebo jsou na základě 5/14 26.4.2010
Národní programy kvality
Zveřejnění; veřejné srovnání poskytovatelů
Kontrakty mezi poskytovatelem
Platby za kvalitu/výkonnost (Payment for Performance neboli „P4P“)
dohody sdíleny vyhodnocovanými subjekty Zvláštní typ externího hodnocení určený pro zřizovatele a řídící subjekty na poli zdravotnictví. Jejich primárním cílem není řešení problému jedné organizace Veřejná prezentace dat pro potřeby pacientů (vybrané údaje jsou prezentovány s výkladem tak, aby se pacient mohl rozhodovat při výběru poskytovatele) Poskytovatel se zavazuje reportovat speciální údaje o výkonnosti. Případná bonifikace je pouze za participaci (nikoliv za hodnotu ukazatele). Bonifikace je dosažení cílových hodnot ukazatele
Ať je již názor na vhodné využití ukazatelů konzervativní či liberální, je vždy nutné počítat s tím, že bude tendence ukazatel použít jinak, než bylo původně zamýšleno. Proto je důležité zmenšit riziko chybných použití tím, že se k ukazateli připojí (individualizovaný) popis vhodného a nevhodného použití.
6/14 26.4.2010
2.4
Životní cyklus ukazatele
2.5
Datové zdroje, validita dat
Datové zdroje jsou dvojího typu Tzv. administrativní data (rutinně sbíraná data v ustáleném rozhraní; k-dávky, NZIS) Dodatečná data o Registry, databáze parametrických sběrů klinických dat o Klinická data z chorobopisů o Klinická data nad rámec chorobopisů o Ankety; průzkumy spokojenosti o Operativní interní data (např. akreditace lékařů apod..) Validace dat se provádí datovými audity. Pokud se datové audity neprovádějí (jako např. v ČR), je kvalita dat velmi nejistá; nicméně kvalita je v různých „oblastech“ různá a pro některé ukazatele může být dostatečná (např. ukazatele definované výkonem).
2.6
Validita ukazatelů kvality
Validita je dvojího typu Kriteriální validita – je vyjádřitelná postupy a hodnotami jako jsou sensitivita a specificita); kriteriem validity je dosažení určité arbitrárně stanovené hranice specificity a/nebo sensitivity) Konstruktová validita - konstruktem se myslí kombinace logicky navazujících argumentů, podporujících domněnku, že ukazatel opravdu měří kvalitu. Validita procesních ukazatelů je založena především na validaci relevantního standardu spočívá v průkazu, že způsob měření vhodně detekuje procesní odchylku
7/14 26.4.2010
Validita výsledkových ukazatelů je prakticky vzato výhradně konstruktová, přičemž o mnoha již používaných ukazatelů se uvádí, že je dosti nejasná. Znamená to, že doklady o tom, že výsledkový ukazatel (dobře a spolehlivě) měří kvalitu (detekuje nekvalitu) jsou často neúplné. Validita takových ukazatelů je založena na dvou prvcích 1. na neúplných důkazech 2. na konsenzu expertů, který říká, že tyto doklady přes svoji neúplnost (rozpornost apod.) jsou dostatečné k tomu, aby se ukazatel uplatnil pro určité cíle. Znalost (resp. výběr) cíle je při validaci důležitý. Ukazatel může být pro některý cíl vhodný a pro jiný nevhodný. Validaci je nutné chápat jakou specifickou k danému způsobu použití. Například indikátory kvality pro striktně interní použití mohou detekovat jenom potenciální problémy. Naproti tomu zveřejňované údaje by měly být založeny na vysoce spolehlivých údajích (tedy s dostatečnou standardizací, vyloučením vlivu malých čísel apod.), protože je zde v sázce reputace poskytovatele, která nesmí být kompromitována kvůli metodickým nedokonalostem ukazatele.
2.7
Standardizace výsledkových ukazatelů kvality
Standardizace ukazatelů je nutnou a zároveň obtížnou kapitolou při vývoji a použití ukazatele. Je užívána především u výsledkových ukazatelů. V obecné rovině je standardizace popsána jejími základními typy (nepřímá standardizace a logistická regrese). Validace způsobu standardizace (která musí být specifická k danému ukazateli) je velmi obtížná a náročná na datové zdroje a prostředky. Validace konkrétního postupu standardizace spočívá v průkazu, že výsledek standardizace za pomoci dostupných dat (např. věk a pohlaví) dostatečně koreluje se výsledkem optimální standardizace („gold standard“) za pomoci všech dostupných dat, popisujících významné rizikové faktory přítomné v okamžiku vstupu pacienta do procesu péče, např. při příjmu pacienta (jde především o všechny významné komorbidity).
2.7.1 Postupy vedoucí ke snížení zkreslení ukazatele Zmenšení zkreslení ukazatele lze dosáhnout stratifikací A/NEBO standardizací. Stratifikace – rozklad na podskupiny (například podle věkových skupin) a provedení samostatných měření pro ně; to je nevýhodné jak z hlediska statistiky (protože podskupiny budou mít často malé počty pacientů) tak z hlediska následné interpretace (různé podskupiny mohou mít různé komparativní výsledky a nemusí být jasné, jak si poskytovatel vlastně stojí v kvalitě u dané klinické problematiky) Standardizace – matematická operace, která odstraní ovlivnění výsledku rizikovými faktory tak, aby zůstal jeden (syntetický) výsledek. Standardizace používá rozklad na podskupiny (stratifikaci) pouze jako pomocný krok.
8/14 26.4.2010
2.7.2 Princip standardizace (nepřímá standardizace) Princip nepřímé standardizace2 spočívá v rozdělení hodnot rizikového faktoru (RF) do několika skupin (kategorií), pro které se zvlášť spočtou tzv. populační specifické míry např. úmrtnosti (rehospitalizací, komplikací apod.) jako poměr počtu zemřelých a počtu hospitalizovaných pacientů v příslušné skupině rizikového faktoru. Populační specifické míry úmrtnosti jsou aplikovány na skladbu pacientů v dané nemocnici, čímž získáme očekávaný počet např. úmrtí v dané nemocnici. Poměřením skutečného a očekávaného počtu např. úmrtí je získána hodnota srovnávacího indexu (SI) Vynásobením SI a obecné např. úmrtnosti získáme (nepřímo) standardizovanou úmrtnost.
2.8
Statistická prezentace dat s využitím intervalu spolehlivosti
Vzhledem k tomu, že hodnotu ukazatele kvality pro konkrétního poskytovatele (nemocnici) ovlivňuje náhoda, je nutné prezentovat výsledek tak, aby byla vzata v úvahu pravděpodobnost (statistická míra jistoty), že výsledek je nenahodilý. K tomu je vhodné vyjádření výsledku pomocí intervalu spolehlivosti. Např. interval spolehlivosti 95% znamená, že s 95% mírou jistoty je výsledek nenáhodný.
2.9
Současný stav v pohledu na ukazatele, problémy k řešení
2.9.1 Potřeby v dalším vývoji ukazatelů kvality Dosavadní zkušenosti s vývojem a použitím ukazatelům vedou k řadě otázek, na které bude nutné hledat odpovědi postupně: Jak vytvořit spolehlivou a přitom úspornou sadu ukazatelů? Jak rozšířit měření kvality do různých typů péče a klinických oblastí a to i těch, pro které se zatím ukazatele nevyvíjejí? Je vůbec možné pokrýt všechny oblasti se zvladatelným počtem ukazatelů (metodicky, organizačně, nákladově)? Jak usnadnit manažerům a stakeholderům výběr vhodných ukazatelů a správnou interpretaci? Jak se ujistit, že měření jsou založena na spolehlivých a ověřitelných datech?
2.9.2 Hlavní současné problémy ve využití ukazatelů Výše jsou vyjmenované požadavky na rozšíření ukazatelů do „nových“ oblastí. Praxe ale přináší problémy i s existujícími ukazateli (tedy vyvinutými do oblastí, které se pro to relativně hodí). Hlavní problémy v měření kvality pomocí ukazatelů jsou následující: Nízké počty měřených událostí. Řada poskytovatelů (nemocnic) nemůže být do hodnocení zařazena pro příliš malé počty pacientů. Přitom možná právě tyto nemocnice mohou mít největší problémy s kvalitou v dané oblasti.
2
Přímá standardizace (běžná v demografických studiích) se u ukazatelů kvality téměř vůbec nepoužívá 9/14 26.4.2010
Ukazatele jsou aplikovatelné jen na část nemocnic. Řada ukazatelů lze např. aplikovat na fakultní nemocnice. Pro nemocnice střední a zejména nemocnice malé je ukazatelů méně. Některé ukazatele mají „zástupný“ charakter (neměří kvalitu, ale něco, co patrně souvisí s kvalitou). Příkladem jsou objemové ukazatele (počty výkonů). Tyto ukazatele jsou snadněji manipulovatelné a jejich aplikace naráží na potíže při hledání konsenzu o tom, zda je korelace mezi objemem a kvalitou a jak stanovit práh. Je obava, že standardizace výsledkových ukazatelů je nedostatečná, což se může projevit hlavně tehdy, jestliže dochází k velmi nerovnoměrné distribuci rizikových faktorů. To nastává zejména u velmi specializované péče. Pro některé ukazatele není zřejmá referenční hodnota („benchmark“, „correct-rate“), nebo uváděná hodnota může být znovu a znovu zpochybňována. Platí to např. pro využívání procedur (např. podíl císařských řezů). Přesun části služeb do ambulantní nebo jednodenní péče vede jednak k tomu, že ukazatel je „nestabilní“ a také k tomu, že při rozdělení ukazatelů na nemocniční a ambulantní je ukazatelem pokryta jen část oblasti a ještě k tomu v různých nemocnicích či regionech jde o jiný podíl mezi nemocniční a ambulantní sférou. Řada indikátorů je založena na datech, která se rutinně vůbec nesbírají, nebo nejsou sbírána povinně v ustálené metodice. Auditovat úplný sběr a správné kódování v dostatečném rozsahu je velmi náročné.
3
Panel expertů a postup při hodnocení ukazatelů
Panel je ustanoven k zajištění konsenzuálního názoru na vhodnost přijetí jednotlivých ukazatelů a to tak, aby konsenzus zohledňoval stanovisko: klinicky odborné systémové z hlediska metodiky ukazatelů systémové z hlediska správného poskytování zdravotních služeb a jejich úhrad
3.1
Složení panelu expertů (oponentního týmu)
Panel expertů je složen ze 4 nebo více členů následujících kategorií: Kategorie Vedoucí panelu
Počet 1
Expert
1 nebo více
Klinický expert
2 nebo více
3.2
Náplň Reprezentuje odborné stanovisko z hlediska obecné teorie měření kvality Je koordinátorem panelu, zajišťuje podkladové materiály, prezentuje strukturovaný popis kandidáta na ukazatele, řídí diskusi, zpracovává finální vyhodnocení Reprezentuje stanovisko systému zdravotnictví resp. plátců Reprezentují odborné stanovisko daného klinického oboru
Postup při vyhodnocení
Postup zahrnuje přípravu, vyhodnocení a rozhodnutí: 10/14 26.4.2010
Krok 1. Přípravná schůzka
Forma Prezenční
2. Rozeslaní finálních podkladů
Distanční
3. Vyhodnocení
Distanční
4. Závěr - rozhodnutí
Prezenční nebo distanční
3.3
Popis Experti se zúčastní metodické přípravné schůzky, na které - jsou rekapitulovány základní principy metodiky ukazatelů kvality - je popsán způsob práce panelu a postup při vyhodnocování - jsou diskutovány připravené podklady o jednotlivých ukazatelích, jejich úplnost a kvalita (vhodnost pro daný účel) a navrženo jejich ev. doplnění Vedoucí panelu připraví finální podklady k ukazateli, který má být předmětem posuzování. Tyto podklady jsou zaslány expertům. Členové panelu vyplní strukturovaný dotazník k posuzovaným ukazatelům. Na jejich základě vedoucí panelu zpracuje syntetický dokument, který je dán k dispozici expertům. Na základě výstupů předchozích kroků navrhne vedoucí panelu výsledek hodnocení (výsledek může být trojí: ukazatel je zařazen, vyřazen, ponechán ve vývoji). Výsledek hodnocení je založen na konsenzu, který je stvrzen jednotným stanoviskem všech členů odborného panelu.
Podklady
Člen panelu má k dispozici dokumentaci ke každému standardu, která sestává z následujících částí: 1. Strukturovaný a formalizovaný popis návrhu standardu obsahující mimo jiné původ návrhu, definici a odkazy na literaturu 2. Popis předběžného vyhodnocení zaměřeného na zhodnocení měřitelnosti a užitečnosti vycházejícího z informací dostupných před testováním dat 3. Výsledky testování ukazatele nad reálnými daty (jsou-li data dostupná3)
4
Strukturované vyhodnocení
Strukturované vyhodnocení je s drobnými úpravami převzato z metodiky AHRQ (hlavní odkaz: Remus D, Fraser I. Guidance for Using the AHRQ Quality Indicators for Hospital-level Public Reporting or Payment. Rockville, MD: Department of Health and Human Services, Agency for Healthcare Research and Quality; 2004. AHRQ Pub. No. 04-0086-EF)
4.1
Skóre
Škála 1 až 5 se vztahuje k jednotlivým bodům dále uvedeného dotazníku.
3
Pokud je ukazatel založen na jiných než administrativních datech, není obvykle možné zajistit tuto část podkladů) 11/14 26.4.2010
Skóre Skóre 1 skóre 2 skóre 3 skóre 4 skóre 5
4.2
Slovní vyjádření ukazatel v tomto bodě nevyhovuje ukazatel v tomto bodě asi nevyhovuje, ale není to úplně jisté, nebo úplně jednoznačné neutrální stanovisko, ukazatel v tomto bodě asi vyhovuje, ale není to úplně jisté, nebo úplně jednoznačné ukazatel v tomto bodě vyhovuje
Strukturované vyhodnocení ukazatele - dotazník
Každé položce přidělí člen panelu skóre 1 až 5. Ke každému bodu je možné připojit vysvětlující poznámku. 1 - Důležitost 1a - Klinická oblast je důležitá pro zvyšování kvality a zlepšování zdraví. 1b - Existuje poměrně významná variabilita kvality péče a tedy je prostor ke zlepšování 1c - Aspekt kvality, který by měl být zlepšen, může poskytovatel NEBO systém zdravotní péče ovlivnit. 1d - Použití ukazatele ovlivní příznivě kvalitu a nevyvolá nežádoucí motivace
Skóre
Poznámka
2 - Vědecká přijatelnost 2a – Vztah ukazatele ke kvalitě je založen na vědeckém důkaze 2b – Ukazatel je správně definovaný a přesně specifikovaný 2c – Je validní a měří deklarovaný aspekt kvality. Datové zdroje jsou vhodné pro porovnávání.
Skóre
Poznámka
2d - Dostatečný podíl ve variaci ukazatele je vysvětlitelný (různou) výkonností/kvalitou poskytovatele 2e - Ukazatel je věrohodný, a poskytuje srovnatelné výsledky v čase u stejné populace 2f – Měřené vzorky pacientů budou obvykle dostatečně velké a ukazatel rozliší skutečné rozdíly ve výkonnosti/kvalitě poskytovatelů; nepřesnost způsobená neúplným sběrem dat bude minimální 2g - Standardizační postup dostatečně odstraňuje zkreslení
12/14 26.4.2010
3 - Využitelnost a užitečnost 3a – S ukazatelem lze spojit jasný způsob jeho prezentace a uplatnění. 3b – Statistické zpracování je správné a přesvědčuje, že rozdíly v naměřené výkonnosti jsou větší, než aby mohly být vysvětleny jen náhodou 3c – Jsou dobré reference o užití v jiných zemích 3d – Bude vhodně fungovat s jinými ukazateli 3e – Bude mít vhodný vliv na ty, kteří rozhodují na poli zdravotnictví 3f - Použití ukazatele ovlivní příznivě kvalitu a nevyvolá nežádoucí motivace 4 - Proveditelnost 4a – Konstrukce ukazatele a způsob vyhodnocení jsou konzistentní; datové zdroje jsou vhodné pro porovnávání. 4b – Výpočet je proveditelný; nároky (na sběr dat a zpracování) budou vyváženy přínosem 4c - Je zajištěna důvěrnost při zpracování dat 4d – Kvalita používaných dat je známá, je dostatečná a je zřejmé, jak se bude kontrolovat (auditovat)
Skóre
Poznámka
Skóre
Poznámka
Samostatně je skórována použitelnost a užitečnost pro různé způsoby použití: Užitečnost Zveřejňování Kontrakty Kontrakty Národní Externí Interní pro participace* výsledek** programy hodnocení hodnocení Skóre 1 až 5 * Bonifikace je za participaci v systému ** Bonifikace je za dosažení cílových hodnot
4.3
Rozhodnutí
Závěr je formulován na základě konsenzu Panelu expertů. Jsou pouze 3 možnosti jak uzavřít hodnocení: 1. Přijetí ukazatele 2. Vyloučení ukazatele 3. Ponechání ve fázi vývoje Pokud Panel expertů nedojde ke konsenzu, znamená to ve výsledku ponechání ukazatele ve fázi vývoje. Ukazatel bude hodnocen znovu při dalších vhodných příležitostech, obvykle po realizaci opatření, navržených panelem (viz. níže Ponechání ve vývoji).
13/14 26.4.2010
4.3.1 Přijetí ukazatele Znamená doporučení k jeho vyhlášení a užívání. 4.3.2 Vyloučení ukazatele Znamená jeho nepřijetí a také vyloučení z dalšího testování, z dalších úprav a vyhodnocování. 4.3.3 Ponechání ve fázi vývoje znamená, že z důvodů, které musí být specifikovány, nebylo možné ukazatel akceptovat, ale zároveň jsou předpoklady, že po úpravách ukazatele NEBO na základě dalšího testování či jiného zkoumání je perspektiva, že ukazatel by mohl být akceptován. K tomuto typu rozhodnutí je vždy nutné připojit požadavek na další vývoj, např. testovat na větším souboru upravit klinickou definici změnit způsob standardizace upravit klinický standard založit na jiných datech než administrativních apod.
14/14 26.4.2010
