Evaluace spokojenosti klientů

WHO/MSD/MSB 00.2g

Sešit 6

Evaluace spokojenosti klientů

Sešit 6 . Evaluace spokojenosti klientů

1

WHO/MSD/MSB 00.2g

© Světová zdravotnická organizace, 2000

WHO Světová zdravotnická organizace

UNDCP Mezinárodní program OSN pro kontrolu drog

EMCDDA Evropské monitorovací centrum pro drogy a drogové závislosti

Tento dokument není oficiální publikací WHO, nicméně tato organizace si vyhrazuje veškerá práva. Přesto může být celý tento dokument nebo jeho části volně reprodukován, šířen a překládán, nikoli ovšem za účelem prodeje nebo v souvislosti s komerčními účely. Za názory vyjádřené v dokumentech jsou plně odpovědni uvedení autoři.

2

Evaluace léčby poruch souvisejících s užíváním psychoaktivních látek

WHO/MSD/MSB 00.2g

Poděkování Světová zdravotnická organizace by chtěla poděkovat mnoha spolupracovníkům, kteří se podíleli na přípravě této řady pracovních sešitů, a také mnoha odborníkům za neocenitelné připomínky během jejich přípravy pro Odbor zneužívání psychoaktivních látek pod vedením Dr. Mary Jansen. Finanční pomoc poskytli UNDCP/ EMCDDA/Švýcarské federální ministerstvo zdravotnictví. Původní text pro tento sešit sepsala Cam Wild (Kanada), přičemž Brian Rush (Kanada) redigoval tuto řadu sešitů v přípravných fázích.


Textové a redakční úpravy celé série provedla JoAnne EppingJordan (Švýcarsko). Na redakčních úpravách se v pozdějších fázích podílely také Munira Lalji (Světová zdravotnická organizace, Odbor zneužívání psychoaktivních látek) a Jennifer Hillebrand (Světová zdravotnická organizace, Odbor zneužívání psychoaktivních látek). Po celou dobu tvorby tohoto sešitu přispívala redakčními zásahy Maristela Monteiro (Světová zdravotnická organizace, Odbor zneužívání psychoaktivních látek).

3

WHO/MSD/MSB 00.2g

4


WHO/MSD/MSB 00.2g

Obsah Přehled sešitů

6

Co je to evaluace spokojenosti klientů?

7

Proč se evaluace spokojenosti klientů provádí?

7

Jak se evaluace spokojenosti klientů provádí?

8

Závěr a praktická doporučení

17

Poznámky k případovým studiím

19

Případová studie evaluace spokojenosti klientů Část A: Evaluace spokojenosti v rámci státního léčebného programu pro osoby přistižené při řízení pod vlivem alkoholu

21

Část B: Spokojenost klientů s rezidenčními programy léčby závislostí na návykových látkách

26

Část C: Případ komunitních programů metadonové léčby

32


5

WHO/MSD/MSB 00.2g

Přehled sešitů Tento sešit je součástí řady, jejímž záměrem je vzdělávat tvůrce plánů programů, vedoucí pracovníky, personál či další, kteří se podílejí na rozhodování v souvislosti s evaluací služeb a systémů v rámci léčby závislosti na psychoaktivních látkách. Cílem této řady je zlepšit jejich schopnost provádět činnosti související s evaluací. Širším cílem těchto sešitů je zlepšit efektivitu léčby a efektivitu nákladů s použitím dat vyplývajících z daných evaluačních aktivit.

Tento sešit se zabývá hodnocením spokojenosti klientů a zaměřuje se na:

•

důvody proč provádět hodnocení spokojenosti klientů

•

využití zjištěných hodnot spokojenosti klientů při zdokonalení programu

•

měřítka spokojenosti klientů

Úvodní sešit Rámcový sešit

Základní sešity Sešit 1: Plánování evaluací Sešit 2: Provádění evaluací Specializované sešity Sešit 3: Evaluace formou analýzy potřeb Sešit 4: Evaluace procesu Sešit 5: Evaluace nákladů Sešit 6: Evaluace spokojenosti klientů Sešit 7: Evaluace výsledku Sešit 8: Ekonomická evaluace

6


WHO/MSD/MSB 00.2g

Co je to evaluace spokojenosti klientů? Evaluace spokojenosti klientů poskytuje vynikající příležitost k zapojení klientů nebo pacientů do procesu evaluace vašeho programu. Evaluace spokojenosti klientů se mohou zaměřovat na:

• čekací dobu na jednotlivé komponenty služby

1) důvěryhodnost služeb nebo na to, jestli jsou poskytovány důsledně a spolehlivě

• frekvenci schůzek

2) přiměřenost služeb nebo vůli poskytovatelů uspokojovat potřeby klientů / zákazníků.

• „humánnost“ služeb

3) zdvořilost poskytovatelů a 4) bezpečnost služeb, včetně zabezpečení záznamů Pomocí specifických otázek je možno zkoumat názory klientů na: • fyzické prostředí služeb • ochotu personálu • informační zdroje • kompetentnost poradců • náklady na službu • význam služeb ve vztahu k jejich potřebám • dostupnost služeb


• čas strávený s poradcem

• efektivitu služeb z hlediska snižování míry jejich problémů Při vytváření zdravého prostředí pro evaluaci v rámci daného programu nebo podmínek představuje spokojenost klientů jakýsi „střední“ bod. Velmi často následuje po evaluaci procesu a analýze nákladů a předchází evaluaci výsledku a ekonomických aspektů. Měřítka spokojenosti klientů se tedy pohybují někde mezi měřítky „procesu“ a „výsledku“. Pokud se sleduje, do jaké míry jsou klienti spokojeni s kontextem, procesy a případně s náklady na léčebné služby nebo síť služeb, bylo by možné za relevantní měřítka spokojenosti považovat procesní měřítka. Ovšem pokud se více sleduje to, do jaké míry se klientům zdá, že jim program pomohl vyřešit jejich problémy, spokojenost klientů se bude krýt s měřítkem výsledku.

7

WHO/MSD/MSB 00.2g

Je dobré pamatovat na to, že spokojenost s léčebnými procesy, dodržování léčby a pozitivní výsledky léčby spolu navzájem souvisejí.

Výzkumy spokojenosti klientů mohou být pro klienty jediným prostředkem, jak se vyjádřit k poskytované službě.

„…důkazy o spokojenosti klientů samy o sobě nestačí k tomu, aby bylo možné léčbu označit za efektivní.“

8

Spokojenost klientů s léčebnými postupy může ovlivnit, ale také být ovlivněna, výsledky léčby. Klienti, kteří nejsou spokojeni s určitou službou, mohou vykazovat horší výsledky než jiní, protože chodí na méně schůzek, navzdory radám předčasně opouštějí léčbu nebo se jim nedaří dodržovat léčebné plány. Na druhou stranu klienti, kterým se po dokončení léčby nedaří příliš dobře, nemusí mít zrovna kladný vztah k léčebné službě, i když podle jiných kritérií byla na vysoké úrovni. Tyto vzájemné vlivy může být ve skutečnosti velmi složité přesně vysledovat.

Je dobré pamatovat na to, že spokojenost s léčebnými procesy, dodržování léčby a pozitivní výsledky léčby spolu navzájem souvisejí. V mnoha studiíích se ve značné míře hledala souvislost mezi hodnocením různých dimenzí spokojenosti, přičemž hodnoty zjištěné u jednotlivých dimenzí byly sečteny, čímž se dospělo k celkovému výslednému hodnocení spokojenosti. Pro poskytovatele služeb, kteří se snaží zjistit, jak by se daly vylepšit konkrétní aspekty služby, budou nicméně zajímavé i odpovědi u jednotlivých položek.

Proč se evaluace spokojenosti klientů provádí? Posuzování spokojenosti klientů dodává evaluacím léčebných služeb a systémů v oblasti užívání psychoaktivních látek důležitý „spotřebitelský“ náhled. Evaluace spokojenosti klientů mohou být vnímány jako možnost „podělit se“ s klienty o jejich zkušenosti s vaším programem. Výzkumy spokojenosti klientů mohou být pro klienty jediným prostředkem, jak se vyjádřit k poskytované službě a jak vyjádřit své názory na potřebu nových služeb. Míra spokojenosti klientů se jako indikátor kvality sociálně-zdravotních služeb často kritizuje, protože může odrážet nerealistická očekávání. I když tato kritika může být v určitých případech oprávněná, výzkumy

prováděné s klienty služeb zaměřených na duševní zdraví napovídají, že klienti jsou schopni velmi dobře rozlišovat mezi službami různé úrovně (Lebour, 1983; Sheppard, 1993). Je však také důležité si uvědomit, že důkazy o spokojenosti klientů samy o sobě nestačí k tomu, aby bylo možné léčbu označit za efektivní a dostupnou. Klienti, kteří nemají žádnou možnost srovnání, mohou být spokojeni se službami, u nichž bylo na základě objektivnějších evaluací výsledku zjištěno, že jsou „neefektivní“. Na druhou stranu mohou být klienti nespokojeni se službami, které v důsledku dosáhnou cíle léčby, tj. sníží míru užívání psychoaktivních látek, ale jsou založeny na přísných a autoritářských postupech.


WHO/MSD/MSB 00.2g

Jak se evaluace spokojenosti klientů provádí? Nejobvyklejší metodou pro zjišťování spokojenosti klientů jsou samonaváděcí dotazníky. Mohou být klientům předkládány při zahájení nebo ukončení léčby nebo kdykoli mezi tím. Mohou být rovněž předkládány v určité fázi po dokončení léčby, když jsou klientům výsledky léčby zřejmější. Dotazníky zkoumající spokojenost klientů mohou být vyplňovány hned po jejich rozdání či rozeslání nebo také později, v časovém bodě zvoleném klientem nebo personálem programu. Pokud mají být dotazníky doručeny zpět poštou, je možné k tomuto účelu poskytnout oznámkované obálky se zpáteční adresou. Také bývalým klientům mohou být dotazníky ohledně spokojenosti zasílány s oznámkovanými obálkami a zpáteční adresou. V průvodním dopise by mělo být vysvětleno, proč se dané otázky kladou a jak se budou získané informace využívat. V průvodním dopise by mělo být také uvedeno, zda budou jednotlivé odpovědi považovány za důvěrné nebo anonymní a jaké kroky budou podniknuty k zajištění takové ochrany dat. Z etických důvodů by měla být klientům osvětlena případná rizika. Mělo by být jasně uvedeno, že jejich odpovědi nebudou mít žádný vliv na jejich stávající nebo budoucí léčbu. Vedoucí programů většinou chtějí, aby se z dotazníku dalo zjistit, kdo byl příslušným respondentem, aby mohli v rámci followup fáze následně pracovat s těmi jedinci, kteří projeví zájem o službu, kterou absolvovali. V takovém případě je třeba jednoznačně ošetřit otázku ochrany osobních dat. Mezi taková opatření může

například patřit i odstranění údajů prozrazujících totožnost klienta předtím, než jsou data analyzována počítačem nebo jinými tabelárními prostředky. Více informací o těchto etických otázkách viz Sešit 2 této řady, Krok 1A, s názvem „Řešení etických otázek“. Spokojenost klientů může být také zjišťována při osobních nebo telefonických interview nebo v rámci ohniskových skupin. Tyto postupy bývají nákladnější než samonaváděcí dotazníky. Pokud se používají metody interview nebo ohniskových skupin, je lepší, pokud je realizuje osoba, která není přímo spojená s danou službou. Může to být nezávislý evaluátor, dobrovolníci nebo samotní bývalí klienti vyškolení k výkonu této funkce. Pokud musí interview nebo ohniskové skupiny vést někdo z řídících pracovníků nebo personálu programu, bude nejlepší, pokud se na spokojenost klienta nedotazuje jeho osobní terapeut, protože klient se může v takovém případě zdráhat vyjádřit se negativně o léčbě přímo před vlastním terapeutem. Interview je možno značně strukturovat, da se při něm s klientem projít stejný typ dotazníku používaný v jiných situacích jako samonaváděcí nástroj. U jiných interview a samozřejmě také u ohniskových skupin bude strukturovanost mnohem menší a získané informace budou analyzovány na kvalitativní bázi. Pokyny k práci s ohniskovými skupinami a polostrukturovanými / nestrukturovanými interview jsou uvedeny v Sešitu 1. Sešit 2 poskytuje rady, jak provádět analýzu výsledných informací.

Koncipování a provádění výzkumů spokojenosti klientů Výzkumy spokojenosti klientů jsou nejužitečnější tehdy, pokud jsou koncipovány tak, aby splnily konkrétní cíle, a pokud se při nich používá správných metod a nástrojů měření. Sešit 6 . Evaluace spokojenosti klientů

Týka se to volby výběrových procedur, časového plánu, kulturní přijatelnosti a citlivosti otázek týkajících se různých úrovní spokojenosti. 9

WHO/MSD/MSB 00.2g

Volba výběrových souborů klientů Neexistuje žádný jednoznačně správný nebo chybný způsob volby výběrových souborů pro výzkum spokojenosti klientů. Je ovšem důležité, aby se váš výběrový soubor shodoval s cíly dané evaluace.

Vaše strategie výběru klientů pro výzkum spokojenosti může ovlivnit charakter získaných výsledků. Pokud je výzkum omezen pouze na klienty, kteří dokončili léčbu, výsledky se budou pravděpodobně lišit od výsledků získaných v rámci průzkumu zahrnujícího také klienty, kteří program předčasně ukončili. Neexistuje žádný jednoznačně správný nebo chybný způsob volby výběrových souborů pro výzkum spokojenosti klientů. Je ovšem důležité, aby se váš výběrový soubor shodoval s cíly dané evaluace. Pokud je cílem získat informace o spokojenosti klientů mezi těmi, kdo dokončili léčbu, nebude zapotřebí zohledňovat klienty, kteří z léčení předčasně odešli. Pokud je ovšem cílem zjistit, jaký mají klient obecně pocit z daného

programu, bude vhodnější použít reprezentativní výběrový soubor všech klientů, kteří absolvovali přijímací proces. Ať už se rozhodnete pro jakýkoli výběrový soubor, musíte daný soubor klientů v následných zprávách jasně popsat. Musí být také jasně stanoveny faktory omezující zevšeobecnitelnost daných výsledků. Jsou například vaše výsledky zkresleny v důsledku nezahrnutí těch, kteří odpoadli v rané fázi? Jakmile se rozhodnete, jaké typy klientů do výzkumů spokojenosti zařadíte, budete se moci rozhodnout mezi různými alternativami výběru konkrétních klientů, například mezi náhodně a systematicky zvoleným výběrovým souborem. O těchto a dalších možnostech výběru je pojednáno v Sešitu 2.

Časový plán U těchto výzkumů neexistuje žádné „nejlepší“ načasování kromě toho, že je třeba zajistit shodu s cíly evaluace.

Načasování výzkumu spokojenosti klientů může ovlivnit výsledky. Klienti s pozitivním míněním během léčby nebo těsně po ní mohou změnit názor poté, co u nich dojde k relapsu. Na druhou stranu se najdou klienti, kteří si mohou začít služeb ještě více cenit poté, co se její pozitivní dopad začne projevovat ve stále větším počtu reálných životních situací. U těchto výzkumů neexistuje žádné „nejlepší“ načasování kromě toho, že je třeba zajistit shodu s cíly evaluace. Pokud je cílem zjistit pocity klientů v době propuštění z léčby, požádejte klienty o vyplnění příslušného

dotazníku těsně před jejich odchodem. Pokud ovšem chcete zjistit míru spokojenosti klientů v rámci evaluace výsledku, nechte uplynout určitou dobu a pak teprve bývalé klienty požádejte, aby vám daný dotazník vyplnili. Časový rozvrh výzkumu by měl být ve zprávách jasně uveden a mělo by být v této souvislosti pojednáno o veškerých možnostech zkreslení. Pokud například klienti vyplní dotazníky zjišťující spokojenost těsně po emotivní „absolventské“ slavnosti, může to výsledky zkreslit ve prospěch programu.

Kulturní citlivost Jednotlivé kultury se liší v tom, co očekávají od zpětné vazby ohledně veřejných a soukromých služeb. V prostředích s pevně zavedeným „zákaznickým systémem“ je možno bez problémů získat upřímnou ústní či písemnou zpětnou vazbu. V některých zemích však mohou být přímé negativní reakce považovány za nezdvořilé a stížnosti jsou sdíleny pouze s důvěrnými známými. Také přímé a odvážné otázky

10

mohou být z kulturního hlediska nevhodné (NIDA, 1993). Zkušenosti s užíváním dotazníků, interview, ohniskových skupin a dalších metod průzkumu (jakož i postoje k nim) se mohou v různých kulturách lišit. Metody užívané k získávání zpětné vazby od klientů musí zohledňovat převažující kulturní normy a snažit se o to, aby byly uplatněny postupy, které odpovídajícím způsobem posuzují názory a postoje klientů.


WHO/MSD/MSB 00.2g

Měřítka osvědčená v jedné kultuře nemusí být vhodná v kultuře druhé. Prostý překlad dotazníkových položek nezaručuje, že jednotlivé položky budou mít v různých kulturách stejný význam (Attkisson a Greenfield, 1994). Na vytvoření nových, z hlediska dané kultury přijatelných otázek může být potřeba vynaložit značné úsilí. Do procesu přípravy dotazníku by měli být zapojeni také klienti nebo jejich zástupci, aby se zaručilo, že zvolená měřítka

budou platnými indikátory spokojenosti klientů. Některé skupiny klientů mohou také považovat určité metody zjišťování spokojenosti klientů za přijatelnější než druhé. Například klienti se sníženými rozpoznávacími schopnostmi nebo ti, kteří špatně čtou, mohou preferovat osobní interview. Naproti tomu ostýchaví klienti nebo klienti s nízkou mírou self-esteem mohou před interview dávat přednost dotazníkům.

Citlivost k různým úrovním spokojenosti Pokud se spokojenost hodnotí pomocí pětibodové škály, dají se lépe rozlišit poměry klientů, kteří jsou „velmi spokojeni“, „spíše spokojeni“ nebo „středně spopkojeni“…

Mnoho výzkumů spokojenosti klientů zdravotních a sociálních služeb vykazuje vysokou úroveň spokojenosti klientů částečně také v důsledku použití necitlivých měřítek (Ruggeri, 1994). Jako příklad je možno uvést dotazníkové položky, u kterých se dá odpovědět pouze dvojím způsobem (spokojen/nespokojen). Takové otázky jakoby vyzývaly k volbě odpovědi „spokojen“

dokonce i u těch, kteří nemají vyhraněný názor nebo jsou spíše nespokojení. Pokud se však spokojenost hodnotí pomocí pětibodové škály, dají se lépe rozlišit počty klientů, kteří jsou „velmi spokojeni“, „spíše spokojeni“ nebo „středně spokojeni“ i skupiny „spíše nespokojených“ nebo „velmi nespokojených“ klientů.

Sledování projevů nespokojenosti …Klienti… mohou cítit povinnost vyjádřit vděčnost a spokojenost s poskytovanými službami.

Klienti organizací poskytujících sociálně-zdravotní služby jsou většinou vděční za pozornost, která je jim věnována, a jen neradi se vyslovují kriticky v případech, kdy tato péče vede k negativním výsledkům. Zvláště klienti s nízkým self-esteem nebo klienti, kteří jsou si vědomi rozdílu v sociálním statutu mezi jimi samými a poskytovateli služeb, mohou cítit povinnost vyjádřit vděčnost a spokojenost s poskytovanými službami. Tyto tendence mohou být překonány, pokud jsou klienti ujištěni, že záměrem průzkumu je zjistit jejich upřímné názory a že z kritiky příslušné služby pro ně nebudou vyplývat žádné následky. Toto se dá zcela zřetelně vyjádřit v rámci ústních či písemných pokynů při vyplňování dotazníku na zjišťování spokojenosti i při účasti na


interview nebo ohniskových skupinách. Klienti by měli být také co nejdůrazněji ujištěni o diskrétním charakteru daných výsledků. Je třeba aktivně pátrat po zdrojích nespokojenosti kladením otázek tohoto typu: • Byli jste s některými částmi programu spokojeni víc než s jinými? • Jak by se podle vás dal program ještě vylepšit? Sledujte také behaviorální indikátory nespokojenosti, například vysokou míru předčasného ukončení programu nebo míru neúčasti v rámci jednotlivých programů nebo schůzek s určitými poradci. Přestože nízká účast může být ovlivněna mnoha faktory, malá spokojenost klientů může být jedním z nich.

11

WHO/MSD/MSB 00.2g

Zavedené dotazníky pro hodnocení spokojenosti klientů Při svém výběru dotazníku pro evaluaci potřebujete nejdříve posoudit, zda jsou všechny aspekty spokojenosti klientů relevantní ve vztahu k hodnoceným komponentům služeb. Často se stává, že jedno léčebné zařízení realizuje různé typy služeb a aktivit. Budete se muset rozhodnout, zda váš dotazník spokojenosti klientů bude zkoumat zpětnou vazbu ohledně jednotlivých komponentů služby nebo zda se zaměříte na obecnější úroveň účasti v programu. Tuto otázku bude třeba vyřešit při hodnocení spokojenosti s poskytovanými službami v rámci široké sítě organizací. Pokud mají být výsledné informace využity k vytipování zcela specifických oblastí, v nichž by se daná služba nebo systém daly zlepšit, bude potřeba přizpůsobit váš výběr měřítek spokojenosti klientů tak, aby korespondoval s konkrétními komponenty dané služby nebo systému. To může v konečném důsledku znamenat volbu mezi standardizovanými, obecně platnými měřítky spokojenosti uveřejněnými v dostupné literatuře (viz níže) a dotazníky, které budou přizpůsobeny vaší potřebě zjistit nějaké specifické informace. Pokud se rozhodnete použít strukturovaný, samonaváděcí dotazník, můžete volit některou z již dříve publikovaných variant. U takových veřejně dostupných materiálů jsou většinou k dispozici data ohledně jejich reliability a validity v určitém prostředí. To je velká výhoda, nicméně je třeba vše zvažovat ve světle kulturních rozdílů mezi prostředím, ve kterém byla validita dotazníku prověřována, a prostředím, ve kterém jej nyní hodláte použít. Standardizované dotazníky mohou být navíc přiliš obecné na to, aby vám poskytly tak podrobnou zpětnou vazbu, kterou potřebujete, abyste mohli zdokonalit konkrétní části programu. Zpětnou vazbu, která se bude specificky vztahovat na váš program, můžete získat na základě speciálního „na míru ušitého“ dotazníku, přestože se v takových případech budete muset zabývat otázkou reliability a validity. Je také možné připojit k samonaváděcímu dotazníku otevřené otázky, 12

které se pak budou kvalitativně analyzovat. Příkladem dotazníku, který lze použít pro měření spokojenosti klientů, je Dotazník k zjišťování spokojenosti klientů (Client Satisfaction Questionnaire - CSQ-8). Je to široce používaný nástroj s publikovánými údaji ohledně jeho reliability a validity (Greenfield a Atkisson, 1989). Tento nástroj je k dispozici v několika jazycích, včetně angličtiny, španělštiny, holandštiny a francouzštiny (de Brey, 1983; Roberts et. al., 1984; Sabourin et. al., 1987). Na konci tohoto sešitu jsou rovněž uvedeny případové studie evaluací, při nichž se s CSQ-8 pracovalo. V Sešitu 1, Příloze 2, jsou uvedeny také další čtyři příklady dotazníků, které mohou být použity při zjišťování spokojenosti klientů. Údaje ohledně reliability a validity těchto dalších nástrojů ovšem neexistují. Mohou vám však pomoci ve vaší situaci nebo vás mohou inspirovat k vypracování dotazníku, který bude přesně reagovat na vaše potřeby. Zpráva Národního institutu pro problematiku zneužívánuí drog (NIDA, 1993) nazvaná „Jak dobrý je váš program léčby drogových závislostí?“ obsahuje soubor otázek týkajících se spokojenosti klientů, použitých v rámci projektu zaměřeného na snížení rizika AIDS. Další dva nástroje k zjišťování spokojenosti klienta vhodné pro služby zabývající se problematikou užívání psychoaktivních látek jsou Škála spokojenosti se službou (Service Satisfaction Scale, SSS-30, Attkisson a Greenfield, 1984) a Veronská škála spokojenosti se službou (Verona Service Satisfaction Scale, VSSS, Tansella, 1991). SSS-30 je třicetipoložková multidimenzionální škála vypracovaná na základě zkušeností se škálou spokojenosti klientů. První případová studie na konci tohoto sešitu (Část A, od Thomase Greenfielda) se zabývá SSS-30 podrobněji. Škála VSSS má 82 položek zaměřených na sedm oblastí – celkovou spokojenost, odbornost a přístup personálu, informovanost, dostupnost, účinnost intervencí a relativní zlepšení.


WHO/MSD/MSB 00.2g

Vytvoření vlastních dotazníků k zjišťování spokojenosti klientů Dobrým východiskem pro vytvoření nového dotazníku k zjišťování spokojenosti klientů přizpůsobeného na konkrétní službu nebo léčebný systém bude váš logický model programu a příslušné písemné charakteristiky vašeho programu (viz Sešit 1). Určí se tak hlavní komponenty, aktivity a léčebné procesy, pro které lze definovat míru spokojenosti klientů. Klienti mohou být dále dotazováni na spokojenost s personálem, komplexností poskytovaných služeb a aspekty fyzického prostředí. Bylo by také velmi užitečné shromáždit malé skupinky současných a bývalých klientů a zkoumat otázky, které se nejvíce týkají jejich potřeb. Tyto skupinky lze využít při testování navrhovaných dotazníkových položek a možných odpovědí. V této fázi budou také užitečné nástroje uvedené v Sešitu 1, příloze 2.

Při stanovování validity nástrojů měření spokojenosti klientů může pomoci, když se zjištěné údaje porovnají s verbálními výpověďmi nebo hodnoceními spokojenosti ze strany rodinných příslušníků nebo jiných osob, které jsou s poskytovanými službami obeznámeny. Můžete také porovnat výsledky získané na základě vámi vytvořeného dotazníku s výsledky z dotazníku jako např. CSQ-8 vyplněného stejnými lidmi. Uvedené hodnoty spokojenosti klientů mohou být také srovnávány se skutečnými projevy v chování, které vypovídají o spokojenosti se službami. Uvedenou míru spokojenosti klientů je možno dále srovnávat například se záznamy o jejich účasti na dohodnutých setkáních, o dokončení celého léčebného procesu nebo o opětovném nástupu na léčení poté, co u nich došlo k relapsu.

Využívání měřítek spokojenosti klientů během období změn v poskytování služeb Jakmile máme k dispozici reliabilní nástroje měření spokojenosti klientů, je možno je začít používat k běžným a pravidelným „kontrolám“ kvality služeb z pohledu klientů. Mohou být také používány k vyhodnocení reakcí klientů na změny uskutečněné ve způsobu poskytování služby. Mohou se například plánovat

změny zaměřené na zvýšení efektivity určité služby, ale zároveň mohou existovat obavy, že by tyto změny mohly vést ke snížení spokojenosti klientů. Zdali tomu tak je, lze zjitit vyhodnocením spokojenosti klientů před změnou a po uskutečnění změn.

Měření spokojenosti klientů při evaluacích v rámci dvou či více organizací Lze se (klientů) například dotázat, zda jsou spokojeni s dostupností informací o celém spektru služeb v dané komunitě.

Je možné posuzovat spokojenost klientů se službami poskytovanými v rámci sítě programů a nezaměřovat se pouze na zkušenost klientů s jedním poskytovatelem. Ne všichni klienti budou mít zkušenost s dalšími službami v rámci celé sítě léčebných programů. Od klientů všech služeb je ovšem možno získat užitečné náhledy na záležitosti, které mohou mít platnost v rámci celého systému.


Lze se jich například dotázat, zda jsou spokojeni s dostupností informací o celém spektru služeb v dané komunitě. Je možno je také požádat, aby zhodnotili svou spokojenost s doporučením k příslušné léčbě s ohledem na dané varianty, které jim byly předloženy. Byli rádi, že jim bylo doporučeno právě toto zařízení? Nebylo to pro ně příliš daleko?

13

WHO/MSD/MSB 00.2g

Jsou spokojeni s tím, že byli doporučeni k rezidenční léčbě, když měli možnost, aby byli zaregistrování u služby poskytující denní nebo ambulantní léčbu (a opačně)? Když si znovu projdete logický model systému léčby, mohou vás napadnout další body, které je možno zahrnout do výzkumu spokojenosti klientů. Důležitým aspektem může být například doba čekání na přesun z jednoho komponentu služby do druhého. Za pozornost rovněž stojí otázka duplicity služeb, například zda organizace v jednom systému neprovádějí při přesunu klienta z jedné služby do druhé v rámci posouzení tentýž sběr informací. Klienti, kteří vyzkoušeli dvě nebo více služeb v rámci určité sítě, mohou mít cennou představu o tom, do jaké míry jsou tyto služby koordinovány.

Na tomto místě uvádíme několik příkladů otázek zabývajících se spokojeností klientů s vzájemnou koordinovaností služeb: • Jak jste spokojení se způsobem, kterým si (názvy obou služeb) vyměňovaly informace o léčbě týkající se vašich problémů? • Jak jste spokojení s informacemi, které vám (názvy obou služeb) poskytly o léčebných programech toho druhého? • Jak jste spokojení se spoluprácí personálu (názvy obou služeb) při řešení vašich problémů? • Jaká je podle vašich zkušeností spolupráce mezi (názvy obou služeb)?

Nyní je řada na vás Použijte informace z tohoto sešitu ve vaší vlastní organizaci nebo léčebném systému. Vypracujte následující cvičení. Příklad 1 Zamyslete se nad vaším léčebným programem. Vypište pět hlavních oblastí, které chcete dále zkoumat z hlediska mínění klientů nebo pacientů. Příklad: Co si klienti myslí o vstřícnosti našich klinických pracovníků? 1) 2) 3) 4) 5)

Nezapomeňte při sestavování evaluačního plánu využít informace ze Sešitu 1 a 2. Znovu si teď tyto informace projděte, pokud jste to již neudělali. Příklad 2 Za použití informací z tohoto sešitu ohledně toho, jak koncipovat a provádět evaluaci spokojenosti klientů, učiňte následující rozhodnutí: • určete, jakou modalitu využijete ke sběru dat (dotazníky, interview, ohniskové skupiny) •

zvolte výběrovou proceduru, na jejímž základě vyberete klienty, kteří mají být předmětem průzkumu.

•

zvolte si časový rozvrh evaluace

• vytvořte si postup pro zajištění ochrany osobních dat a pravdivosti uváděných informací v odpovědích na otázky 14


WHO/MSD/MSB 00.2g

• rozhodněte, kdo vám pomůže s aplikováním dotazníků a prováděním interview / ohniskových skupin. Příklad (viz výše): • údaje budou shromážděny prostřednictvím samonaváděcích dotazníků • všichni klienti objednávající se v týdnu od 10. prosince dostanou dotazník, který budou mít za úkol vyplnit během doby, kdy budou čekat na schůzku • údaje budou shromažďovány během doby jednoho týdne, mezi 10. a 15. prosincem • klienti dostanou obálky, do kterých vloží vyplněné dotazníky, a ty poté vhodí do příslušné schránky. V úvodu dotazníku bude uvedeno následující prohlášení: • „Pomožte prosím vylepšit náš program zodpovězením několika otázek o službách, které vám byly poskytnuty.

Máme zájem o to, abyste odpovídali upřímně, ať už budou vaše reakce kladné nebo záporné. Aby jste si byli jisti, že s vašimi údaji je zacházeno jako s důvěrnými materiály, neuvádějte prosím na tomto formuláři své jméno. Až skončíte, vložte jej do obálky (přiložena), zalepte ji a odevzdejte do příslušné schránky v čekárně.“ • Protože se prostřednictvím dotazníku hodnotí spokojenost klientů s personálem, není dobré, aby se členové personálu podíleli na rozdávání a vybírání dotazníků. Na pomoc při rozdávání úvodních dopisů, formulářů k udělení souhlasu a dotazníků bude najat externí výzkumník. Tento asistent také vybere dotazníky ze schránky a uschovává je na bezpečném místě, aby k němu členové personálu neměli přístup. Nyní je řada na vás. Uplatněte stejný postup u svých evaluačních otázek.

Příklad 3 Budete si muset připravit úvodní dopis a formulář o souhlasu, ve kterém bude vysvětlen účel vaší studie. Projděte si Část 1A Sešitu 2, nazvanou Řešení etických otázek, kde najdete více informací o důležitém tématu práv účastníků evaluačního výzkumu. Obecně řečeno, všichni účastníci by měli být před zařazením do studie s předstihem požádáni o souhlas. Během této fáze byste měli vysvětlit účel, povahu a časovou náročnost jejich účasti. Nikdo by neměl být k účasti na studii nucen. Standardní praxe je, že všichni účastníci jsou vyzváni k podpisu formuláře o souhlasu, který: Sešit 6 . Evaluace spokojenosti klientů

• popisuje účel a metodu studie, • vysvětluje, co budou dělat, pokud se rozhodnou k účasti, • vysvětluje, že účast na studii je dobrovolná. Mějte na paměti, že etická komise nemusí na podepsání formulářů o souhlasu trvat v situaci, kdy výzkum obnáší minimální riziko. I v těchto případech však tazatelé musí účastníky o všem odpovídajícím způsobem informovat. Pro úplnost uvádíme v následující ukázce příklad formuláře pro udělení souhlasu. Příklad (viz výše): 15

WHO/MSD/MSB 00.2g

prováděném mezi klienty ohledně jejich spokojenosti s naším personálem. Vyplníte Žádáme vás o pomoc při vylepšování dnes dvoustránkový dotazník, což vám našeho programu tím, že vyplníte dvou- bude trvat přibližně 10 minut. Vaše účast je stránkový dotazník týkající se služeb, které naprosto dobrovolná. Můžete odmítnout vám zde byly poskytovány. Otázky budou odpovědět na jakoukoli otázku, případně směřovat na vaše názory ohledně členů kdykoli předčasně ukončit účast na studii, našeho personálu. Jejich zodpovězení vám aniž by vám tím vznikly jakékoli problémy bude trvat zhruba 10 minut. Všechny nebo aniž by to mohlo jakkoli ovlivnit vaši informace, které nám poskytnete, zůstanou léčbu v tomto zařízení. Všechny vaše přísně důvěrné a tajné. odpovědi zůstanou přísně tajné. Vaše jméno se v dotazníku neobjeví a vaše odpovědi Jestliže souhlasíte se svou účastí, pročtěte si nebudou za žádných okolností spojovány a podepište, prosím, formulář o souhlasu s vaší osobou. (přiložený) a odevzdejte jej výzkumnému pracovníkovi, od kterého jste při příchodu Pročetl(a) jsem si výše uvedené informace a tento soubor tiskovin obdrželi. Děkujeme souhlasím se svou účastí. vám za váš čas. Podpis: S pozdravem Datum: Dr. X ředitel léčebného programu Nyní je řada na vás. Pomocí výše uvedeného příkladu a dalších informací ze Sešitu 2, Část 1A, sestavte vlastní Formulář o souhlasu: úvodní dopis a formulář pro udělení Souhlasíte s účastí na průzkumu souhlasu. Úvodní dopis

Příklad 4 Proveďte pilotní test svých evaluačních nástrojů měření a postupů, abyste se ujistili, že vše funguje, jak má. Prostudujte si Část 1C Sešitu 2 s názvem „Provedení pilotního testu“, který obsahuje konkrétní informace ohledně přesného postupu. Obecně řečeno se pilotní testy zabývají těmito otázkami:

16

•

Je možno pomocí těchto otázek získat užitečné informace?

•

Mohou být tyto otázky řádně předloženy? Například nejsou příliš dlouhé či příliš komplikované na to, aby na ně mohlo být řádně odpovězeno?

•

Mohou být informace snadno zpracovány lidmi zodpovědnými za sběr dat?

•

Je třeba shromažďovat další informace?

Příklad (viz výše): Pilotní test proběhne během jednoho klinického dne. Během tohoto dne bude 10 – 15 registrujícím se pacientům rozdán dotazník. Poté budou jejich odpovědi zkoumány a bude stanoveno, zda porozuměli otázkám a zda odpovídali upřímně. Všechny osoby zapojené do distribuce formulářů a shromažďování dat budou následně vyslechnuty a budou zkoumány jejich názory ohledně možností vylepšení celého procesu a formulářů. Nyní je řada na vás. Napište, jak bude vypadat pilotní test vaší evaluační studie. Nezapomeňte si znovu projít Sešit 2!


WHO/MSD/MSB 00.2g

Závěr a praktická doporučení V tomto sešitu jsme nastínili hlavní principy a postupy evaluace spokojenosti klientů v souvislosti se službami a systémy orientovanými na problematiku užívání psychoaktivních látek. Po dokončení evaluace se budete chtít ujistit o tom, že vaše výsledná zjištění najdou odezvu v praxi. Jedním z možných způsobů je vykázat vaše zjištění písemně (popsáno v Sešitu 2, krok 4). Stejně tak je však důležité se zabývat tím, co přesně z těchto zjištění pro váš program vyplývá. Je třeba uskutečnit nějaké změny? Pokud ano, jakým nejlepším způsobem se toho dá dosáhnout? Obraťte se znovu na subjekty, u nichž se očekává, že budou s výsledky evaluace dále pracovat a předložte jim konkrétní doporučení, jež jsou na daných výstupech založena. Svá doporučení sepište, logicky je provažte s těmito výstupy a navrhněte období, během něhož by mohly být změny uskutečněny. Následující příklady ukazují, jak se dá přistupovat k dvěma různým výstupům, které pomocí této techniky získáme.

Nepříznivá zjištění

„spíše nespokojena“ s mírou vstřícnosti klinického personálu, doporučujeme, aby bylo pro všechny klinické pracovníky v rámci programu uspořádáno dvouhodinové školení zaměřené na problematiku spokojenosti klientů. Tento workshop se může uskutečnit v březnu, což je s ohledem na tento program tradičně nejméně rušný měsíc, a povede jej oblíbený a personálem respektovaný doktor Z.

Příznivá zjištění Výsledky vypovídají o tom, že klienti jsou s přístupem klinického personálu celkově „velmi spokojeni“. Doporučujeme proto, aby se ve složení klinického personálu neprováděly žádné změny a aby tato příznivá zjištění byla veřejně oznámena na příštím setkání všech pracovníků programu. Pamatujte na to, že klienti jsou zdrojem neocenitelných úhlů pohledu na úspěšnost vašeho programu. Informace, které poskytují, je důležité využít ke zlepšení léčebných služeb. Na základě pečlivého prozkoumání svých výsledků můžete vypracovat přínosná doporučení pro svůj program. Můžete tak učinit důležité kroky k vytvoření „zdravého prostředí pro evaluaci“ uvnitř vaší organizace.

Na základě zjištění, že více než čtvrtina klientů byla „velmi nespokojena“ nebo


17

WHO/MSD/MSB 00.2g

Bibliografie Addiction Research Foundation. A Directory of Outcome Measures. Toronto: Addiction Research Foundation, nedatováno. Attkisson, C.C., & Greenfield, T.K. The Client Satisfaction Questionnaire-8 and the Service Satisfaction Questionnaire-30. In: Maruish, M. (ed.). Psychological testing: treatment planning and outcome assessment. Lawrence Erlbaum Associates: San Francisco, 1994: 402-420. de Brey, H. A cross-national validation of the Client Satisfaction Questionnaire: The Dutch experience. Evaluation and Programme Planning,1983, 6: 395-400. Greenfield, T.K., & Attkisson, C.C. Steps toward a multifactorial satisfaction scale for primary care and mental health services. Evaluation and Programme Planning, 1989, 12:271-278. Kurtz, L.F. Measuring member satisfaction with a self-help association. Evaluation and Programme Planning, 1990, 13: 119-124.

Programme

Moos, R.H., & Finney, J.W. Alcoholism programme evaluations: The treatment domain. In D.J. Lettieri (Ed.), Research strategies in alcoholism treatment assessment (str.31-51). New York: Haworth Press, 1988. National Institute on Drug Abuse. How good is your drug abuse program? Resource Manual. National Institute on Drug Abuse, Rockville, MD, 1993. Nguyen, T.D., Attkisson, C.C., & Stegner, B.L. Assessment of patient satisfaction: Development and refinement of a Service Evaluation Questionnaire. Evaluation and Programme Planning, 1983, 6: 299-314. Roberts, R., Attkisson, C., & Mendias, R.M. Assessing the Client Satisfaction Questionnaire in English and Spanish. Hispanic Journal of Behavioural Science, 1984, 6: 385-396.

Larsen, D.L. Enhancing client utilization of community health services. Dissertation Abstracts International, 39, 4041B. (University Microfilms No. 7904220), 1979.

Ruggeri, M. Patientsl ‘ and relatives’ satisfaction with psychiatric services; the state of the art of its measurement. Social Psychiatry Psychiatric Epidemiology, 1994, 29: 212227.

Larsen, D.L., Attkisson, C.C., Hargreaves, W.A., & Nguyen, T.D. Assessment of client/ patient satisfaction: Development of a general scale. Evaluation and Programme Planning, 1979, 2: 197-207.

Sabourin, S., Gendreau, P., & Frerette, L. Le neveau de satisfaction des cas d’abandon dans un service universitaire de psychologie. Canadian Journal of Behavioural Science, 1987, 19: 314-323.

Lebour, J.L. Similarities and differences between mental health and health care evaluation studies assessing consumer satisfaction. Evaluation and Programme Planning, 1983, 6: 237-245.

Sheppard, M. Client satisfaction, extended intervention and interpersonal skills in community mental health. Journal of Advanced Nursing, 1993, 18: 246-259.

Lettieri, D.J., Nelson, J.E., & Sayers, M.A. (Eds.) NIAAA treatment handbook series: Alcoholism treatment assessment research instruments. Rockville, MA: National Institute on Alcohol Abuse and Alcoholism, 1985. Levois, M., Nguyen, T.D., & Attkisson, C. C. Artifact in client satisfaction assessment: Experience in community mental health

18

settings. Evaluation and Planning, 1981, 4: 139-150.

Tansella, M. (ed.) Community-based psychiatry: Long-term patterns of care in South Verona. Psychological Medicine Supplement, 19, Cambridge University Press, Cambridge,1993. Zwick, R.J. The effect of pretherapy orientation on client knowledge about therapy, improvement in therapy, attendance patterns, and satisfaction with services. Masters Abstracts,1982, 20: 307. (University MicrofilmsNo. 13-18082).


WHO/MSD/MSB 00.2g

Poznámky k případovým studiím Každá z následujících případových studií popisuje evaluace, při nichž je srovnávána spokojenost klientů na různých místech. První evaluace (Část A) se zabývá hodnocením spokojenosti klientů se státem sponzorovanou léčbou, určenou primárně pro osoby usvědčené z řízení pod vlivem alkoholu. Míra spokojenosti byla zjišťována za použití dvou škál zmíněných v tomto sešitě: CSQ-8 a SSS-30. Zatímco výstupem z nástroje CSQ 8 je jedna celková hodnota míry spokojenosti, SSS-30 hodnotí několik aspektů spokojenosti klientů. Výsledná zjištění byla použita k iniciování pozitivních procedurálních změn v příslušném zařízení. Druhá evaluace (Část B) je dobrým příkladem toho, jak lze provést evaluaci spokojenosti klientů i při omezeném množství prostředků. V tomto případě chtěl psychiatr-stážista zjistit spokojenost klientů v rámci několika různých rezidenčních léčebných programů zaměřených na problematiku užívání psychoaktivních látek. Bez velkého zázemí byl schopen svou evaluaci úspěšně naplánovat a provést. Rozdíly ve spokojenosti napříč jednotlivými středisky byly zjišťovány pomocí multidimenzionální škály SSS-30.


V rámci třetí evaluace se zkoumala spokojenost klientů ve třech různých komunitních střediscích metadonové léčby v Austrálii. Evaluátoři použili pro stanovení spokojenosti nástroj CSQ-8 a dvě kvalitativní otevřené otázky. Na jednotlivých místech byly ve spokojenosti zjištěny značné rozdíly. Tato zjištění byla dána k dispozici vedoucím těchto klinik, aby mohli sáhnout k nápravným procedurálním opatřením. Stojí za zmínku, že i když byly na základě těchto evaluací získány užitečné informace o spokojenosti klientů, ani v jednom případě nebyl zaznamenán pokus o poskytnutí informací ohledně výsledků, kterých klienti dosáhli, nebo efektivity léčby. Jak jsme již v tomto sešitě uvedli, měření spokojenosti klientů je užitečné, nicméně nelze je ztotožnit s měřením klienty dosažených výsledků nebo efektivity léčby. V určitých případech mohou být klienti spokojeni s léčbou, která je z hlediska snížení míry užívání psychoaktivních látek neefektivní. Jiné léčebné postupy mohou být zase efektivní, ale mezi klienty nepopulární. Evaluátoři musí pamatovat na to, že spokojenost klientů a výsledky klientů jsou z hlediska evaluace odlišnými pojmy.

19

WHO/MSD/MSB 00.2g

20


WHO/MSD/MSB 00.2g

Případová studie evaluace spokojenosti klientů Část A: Evaluace spokojenosti v rámci státního léčebného programu pro osoby přistižené při řízení pod vlivem alkoholu Vypracoval:

Za názory vyjádřené Thomas K. Greenfield, Ph.D. v této případové Hlavní vědecký pracovník a oblastní ředitel pro populační šetření studii zodpovídá Národní centrum pro výzkum alkoholismu . pouze její autor

Skupina pro výzkum alkoholismu (NIAAA – National Alcohol Research Center Alcohol Research Group) 200 Hearst Ave., Suite 300 Berkeley, California 94709-2130 USA

Účel evaluace spokojenosti klientů

„klienty závislé na chemických látkách“. Programu byla státem udělena licence na poskytování služeb v souvislosti s problémem řízení pod vlivem alkoholu. Také samozřejmě úzce spolupracuje se soudy, nápravnými zařízeními a státním úřadem pro motorová vozidla (DMV).

Existuje spousta důvodů, proč je spokojenost klientů s určitou službou tak velice důležitou proměnnou v celkovém procesu evaluace výsledků léčby zaměřené na zneužívání návykových látek. Především, po ředitelích a vedoucích léčebných programů zaměřených na zneužívání návykových látek se často požaduje, aby obhájili potřebnost svých programů. Mají za to, že spokojenost zákazníků je pojem, kterému dobře rozumí klienti, veřejnost, státní orgány i další instituce zajišťující přísun finančních prostředků (Greenfield, 1983). Přesně tak tomu bylo i v případě soukromého poskytovatele v malém státě na východě USA, který získal licenci na zajišťování ambulantního poradenství pro

Vedoucí představitelé programu si byli vědomi toho, že, aby jim stát a příslušné další subjekty prodloužily licenci a nadále sem směřovaly klienty, budou muset vedle objektivních výsledků vykázat i pozitivní odezvu ze strany dosavadní klientely. Vedoucí pracovníci chtěli mít navíc k dispozici údaje o specifických aspektech svého programu, aby se snahy o zvyšování kvality činnosti mohli zaměřit na oblasti, které klienty nejvíce zajímají. Na základě předchozí zkušenosti při poskytování zpětné vazby v případě studentských služeb, primární péče a ředitelů EAP byl pro tento účel zvolen multidimenzionální dotazník SSS-30 (Attkisson & Greenfield, 1994; Greenfield & Attkisson, 1989a).

Kdo klade otázky a proč chce mít takové informace k dispozici?


21

WHO/MSD/MSB 00.2g

Konkrétní program Osoby v tomto programu jsou převážně (avšak nikoli výhradně) jedinci, kteří byli již minimálně dvakrát přistiženi při řízení automobilu pod vlivem alkoholu a kterým byla soudně nařízena léčba. Provoz programu je financován čistě z účastnických poplatků, které v době provádění studie činily celkem 495 USD. Po dvou individuálních sezeních je s vhodnými perspektivními klienty sestaven léčebný plán. Mezi nutné předpoklady úspěšné léčby patří: a) ochota zabývat se podrobněji požíváním alkoholu a braním drog, zohlednění „normální míry abstinence“ b) souhlas s účastí a příslib abstinence od alkoholu a drog c) odhodlání ke spolupráci na dosažení „přiměřených cílů léčby“ d) a absence zjevných psychiatrických potíží, jež indikují jako primární problém duševní poruchu. Program obnáší přibližně 25 hodin interakčních aktivit sestávajících ze čtyř individuálních sezení, šesti osvětově zaměřených skupinových sezení a osmi devadesátiminutových skupinových sezení (maximálně 16 členů v každé skupině). Podle potřeby je možno program doplnit o další individuální a rodinné poradenství. Po 16 hodinách může soud podmíněně obnovit řidičské oprávnění. Program využívá určitých donucovacích prostředků: klienti, kteří nejsou ochotni se smysluplně zapojit, jsou označeni za „nevyhovující“ a jejich materiály doplněné o příslušný záznam jsou zaslány zpět k organizaci, která je k léčbě doporučila. Předtím, než může být klient opět zapsán do programu, musí celou věc vyřešit soud. Po ukončení léčby je během závěrečné schůzky stanoven plán následné péče. Program má své pobočky v různých okresech. V rámci evaluace byla vybrána tři pracoviště, kde se zkoumala spokojenost klientů s jejich prací. Podrobnější popis programu a způsob výběru klientů viz Greenfield (1989) a Greenfield (1994). 22

Jakých prostředků bylo zapotřebí ke sběru a interpretaci informací? Na úvod posledního sezení rozdali členové personálu klientům dotazníky. Vyplněné formuláře byly v průběhu výzkumu shromažďovány denně, a proto organizačně to znamenalo jen minimální zátěž. Dotazníky byly namnoženy na kopírce, a tak prostředky byly zapotřebí hlavně na zadávání dat, které prováděli administrativní pracovníci za použití stávajícícho softwaru dBase. Pomocí tohoto programového balíku byly vedeny záznamy o jednotlivých klientech (dotazníky neobsahovaly žádný identifikační údaj, aby nebylo možné dát je jakkoliv do souvislosti s jinými údaji o klientech). Zadávání dat zabralo asi dvě minuty na jeden dotazník a prováděli jej administrativní pracovníci zodpovědní za klientský informační systém. Protože daná služba nedisponovala technickým ani odborným potenciálem k provádění analýzy dat, byly soubory dBase uloženy na diskety a zaslány autorům příslušných škál, aby je analyzovali pomocí programu SPSS. (Vyhodnocovací klíč pro interní použítí a SPSS syntax pro načítání dat z obvyklých tabulkových formátů nebo formátů souborů relačních databází je možno obdržet od prvního z autorů škály). V každé z těchto dvou fází zabrala analýza zhruba jeden den práce a další den pak byl zapotřebí k vypracování zprávy.

Jak se sbírala data? V obou těchto případových studiích se používají nástroje k zjišťování přímé spokojenosti klientů, které představují příklady obou zmíněných strategií měření. Oba dotazníky byly navrženy tak, aby byly ve své šíři schopny postihnout míru spokojenosti s celým spektrem služeb, včetně léčby zneužívání návykových látek. Jedná se o Dotazník k zjišťování spokojenosti klientů (Client Satisfaction Questionnaire-8, Nguyen, Attkisson & Stegner, 1983; Attkisson & Greenfield, 1994; Attkisson & Greenfield, 1995b), široce


WHO/MSD/MSB 00.2g

používaný, stručný (8 položek) nástroj na měření obecné spokojenosti, použitý v první případové studii, a o Škálu spokojenosti se službou (Service Satisfaction Scale-30, Attkisson & Greenfield, 1994; Attkisson & Greenfield 1995a, 1995b; Greenfield & Atkisson, 1989a), třicetipoložkovou multidimenzionální verzi s odvozenými formami pro case management a rezidenční léčebné podmínky (Greenfield et al, 1996), včetně verze pro rodinné příslušníky (Greenfield & Atkisson, 1989b). Je k dispozici také v italštině (Ruggeri & Greenfield, 1995) a španělštině. Existují důkazy o tom, že tyto nástroje měření sociálně-zdravotních služeb se dají vhodně aplikovat při léčbě zneužívání návykových látek. Provedený výzkum vypovídá o dobrých psychometrických schopnostech obou těchto nástrojů měření (SSS-30 a CSQ-8) (Attkisson & Greenfield, 1994; Greenfield, 1989; Greenfield 1994; Greenfield & Attkisson, 1989a). Obě škály jsou dílem výzkumného programu katedry psychiatrie Kalifornské univerzity v San Franciscu (UCSF), zaměřeného na spokojenost klentů, který se již realizuje déle než čtvrt století (Attkisson & Greenfield, 1995b). Povolení k použití těchto škál, na něž se vztahují autorská práva, je možno získat od Dr. C.C.Attkissona (CSQ-8) na adrese UCSF Graduate Division, 200 West Milberry Union, 513 Parnassus Avenue, San Francisco, California 94143-0404 USA (Fax +1-415-4769690) a od Dr. Greenfielda (SSS-30) na adrese Alcohol Research Group, 2000 Hearst Ave., Berkeley, California, 94709 USA (Fax +1-510-642-7175). Obě škály mohou být vyhodnocovány a jednoduše analyzovány pomocí obvyklých statistických programů jako SPSS nebo EPI INFO, případně pomocí tabulkových programů nebo v celonárodním měřítku používaných programů pro řízení databází, jako jsou mj. Lotus 1-2-3, Excel, dBase nebo Paradox. Pokud není možné tyto programy uplatnit v rámci běžného provozu nebo pokud je zapotřebí provádět náročnější analýzy, může takovou analýzu provést externí evaluátor nebo analytik. Sešit 6 . Evaluace spokojenosti klientů

Klíč k vyhodnocení a syntax SPSS jsou k dispozici u prvního z autorů škály (Thomas Greenfield, INTERNET: [email protected]). CSQ byl zahrnut do kompendia nástrojů sestaveného Americkým národním institutem pro problematiku zneužívání alkoholu a alkoholismu (NIAAA): NIAAA Treatment Handbook Series 2: Alcoholism Treatment Assessment Research Instruments (Attkisson et. al., 1985). O CSQ i SSS bylo pojednáno v práci Lloyda Sederera a Barbary Dickeyl Hodnocení výsledků v klinické praxi (Attkisson & Grenfield, 1995a), kde jsou tyto škály uvedeny jako přílohy. Normám a psychometrickým výsledkům v souvislosti s SSS-30 a CSQ-8 je věnována samostatná kapitola v užitečné knize Marka Maruishe Psychologické testování: Plánování léčby a hodnocení výsledku (Attkisson & Greenfield, 1994). Druhé vydání této knihy obsahuje aktualizované kapitoly o CSQ-8 (Attkisson & Greenfield, v tisku) a SSS-30 (Greenfield & Attkisson, v tisku). Jelikož se jednalo o relativně nový přístup k léčbě zneužívání návykových látek, byl projekt rozdělen do dvou fází. Během první bylo rozhodnuto o provedení faktorových analýz dat z SSS-30, kterými by se potvrdily faktorové škály vytvořené již dříve v rámci programů zaměřených na duševní zdraví a primární péči (Attkisson & Greenfield, 1994; Greenfield & Attkisson, 1989a). V druhé fázi byla shromážděna data ze tří poboček programu na různých místech. S přihlédnutím k validaci byla v obou fázích aplikována škála CSQ-8 současně se škálou SSS-30. Za metodologický záměr celé studie lze považovat dimenzionální analýzy a srovnání výsledků zjištěných oběma nástroji. Z praktických důvodů bylo možné získat údaje pouze o lidech, kteří program dokončili. Oba dotazníky se měly vyplnit během posledního sezení a před odchodem vhodit do schránky u dveří. Dotazníky byly vyplňovány anonymně. V první fázi nebyly díky nedopatření shromažďovány demografické údaje. V druhé fázi byla přidána standardní demografická část SSS-30, obsahující otázky na pohlaví, věk, příjem, etnický původ, vzdálenost od místa realizace programu a míru účasti na sezeních. 23

WHO/MSD/MSB 00.2g

Tabulka 1: Vnitřní reliabilita čtyř subškál SSS-30 Koeficient reliability (Cronbachova alfa) Subškála SSS-30

Počet položek

Program zaměřený na zneužívání návykových látek

Publikované normované skupiny*

Dovednosti a přístup odborného personálu

9

0,83

0,89

Vnímaný výsledek

8

0,83

0,83

Provozní postupy střediska

5

0,74

0,74

Dostupnost

4

0,60

0,67

* Založeno na 3 normovaných skupinách – čtyři zdravotnické kliniky, služba zaměřená na duševní zdraví a program pomoci zaměstnancům (viz Attkisson & Greenfield, 1994)

Jak probíhala analýza dat? Analýzy byly provedeny za použití SPSS PC a SPSS pro Windows 7´. Data byla načtena ze souborů dBase 7´, které jsou součástí programu (SPSS může takové soubory načíst přímo). Před analýzou a vyhodnocením byly inverzní položky překódovány způsobem 5=1, 4=2, 3=3, 2=4 a 1=5 podle publikovaných subškál SSS-30 (klíč k vyhodnocování a kódování je možno získat od T. K. Greenfielda na adrese Alcohol Research Group, 2000 Hearst Ave., Berkeley, California 94709, USA). V první psychometrické a potvrzovací fázi (n=1027) byly provedeny deskriptivní analýzy, faktorové analýzy a analýzy reliability (za použití standardních programů SPSS k analyzování faktorů a reliability) položek SSS-30 a byla porovnána podobnost faktorových řešení prostřednictvím Harmonlova (1970) koeficientu kongruence vypočítaného pomocí jednoduchého tabulkového procesoru. Celková výsledná hodnota škály SSS-30 byla uvedena do korelace (SPSS korelát) s hodnotou CSQ-8. Tyto předběžné analýzy potvrdily skutečnost, že daná škála u programu zaměřeného na zneužívání návykových látek dobře funguje. V druhé fázi evaluace (n=720) byly nejdříve porovnány demografické profily klientů u každého ze tří pracovišť programu. 24

Na základě kontroly rozložení jednotlivých položek a subškál, provedené pomocí standardních frekvenčních postupů v rámci SPSS, byla poté posouzena celková spokojenost. Následně byly znovu vyhodnoceny subškály a získané hodnoty porovnány mezi všemi třemi pracovišti programu za použití standardní operace SPSS Anova (analýza rozptylu). Tím bylo možné porovnat míru spokojenosti v jednotlivých pracovištích a zároveň přihlížet k rozdílům zaznamenaným u jednotlivých pohlaví, jelikož u mužů se častěji objevuje ochota vyjadřovat nižší spokojenost než u žen (nebo jsou ve skutečnosti méně spokojeni). Nakonec byly znovu korelovány finální výsledky CSQ-8 a SSS-30.

Co bylo zjištěno? Fáze 1 Byly potvrzeny dva hlavní faktory SSS-30 zjištěné již dříve u výběrových souborů z oblasti duševního zdraví a primární péče. (Attkisson & Greenfield, 1994). Faktory dovedností a přístupu odborného personálu a vnímaného výsledku vykazovaly vysokou shodu s ekvivalentními faktory z dřívějších studií (Harmonovy koeficienty 0,88-0,93). Tyto dvě standardní faktorové subškály byly tedy pro stanovení spokojenosti klienta v tomto programu léčby zneužívání


WHO/MSD/MSB 00.2g

návykových látek užitečné. Do značné míry byly také potvrzeny již dříve zavedené faktory provozních postupů střediska a dostupnosti, takže tyto subškály byly rovněž vytvořeny. Vnitřní reliabilita u všech čtyř škál byla na přijatelné úrovni (viz Tabulka 1). Korelace mezi celkovou hodnotou SSS30 a hodnotou CSQ-8 byla nakonec 0,70, což ještě o něco zvýšilo validitu novější škály. Když jsou pro stanovení obecné spokojenosti kombinovány všechny položky, může být celkový výsledek škály použit jako měřítko obecné spokojenosti. Z nezávislých zjištění vyplynulo, že klienti, jimž byla léčba v rámci tohoto programu zaměřeného na zneužívání návykových látek nařízena soudně, byli docela spokojeni jak s přístupem a dovednostmi svých poradců (úroveň programu = 38,0 + 5,4 ve srovnání s normou 38,4 + 5,0 u poradenství v oblasti duševního zdraví), tak, byť o něco méně, s vnímaným výsledkem (úroveň programu = 29,6 + 5,6 ve srovnání s normou 32,4 + 4,0 u poradenství v oblasti duševního zdraví). Hodnota průměrné spokojenosti byla vysoká (průměr z průměru položek = 4,1), odpovídající odpovědi 1 „spíše spokojen(a)“, přestože byla nižší o polovinu směrodatné odchylky. Výsledky na úrovni jednotlivých položek ukázaly, že mnozí z klientů, kteří program dokončili (41%), nebyli spokojeni (odpovědi „spíše nespokojen(a)“ nebo „hrozné“) s cenou. Je třeba připomenout, že těmto lidem, kterým byla léčba soudně uložena za řízení pod vlivem alkoholu, bylo rovněž z rozhodnutí soudu nařízeno, že musí svou účast v příslušném programu zaplatit. Pro 17 procent lidí bylo zdrojem nespokojenosti také umístění střediska a jeho dostupnost. Připomínáme jen, že mnohým z nich byl odebrán řidičský průkaz. S ostatními aspekty programu bylo jinak nespokojeno jen malé množství klientů (pod 10 procent), Sešit 6 . Evaluace spokojenosti klientů

i když poněkud více se v jejich odpovědích vyskytovala varianta „napůl spokojen“. Bylo důležité demonstrovat shodu mezi faktory zjištěnými při léčbě zneužívání návykových látek a faktory z předchozích normovaných skupin v oblasti primární péče a duševního zdraví. Tato komparativní dimenzionální analýza zcela podle očekávání potvrdila vhodnost zachování původního složení subškál, čímž se srovnávání s výsledky a normami z jiných oblastí sociálně-zdravotních služeb ukázalo jako realistické a vhodné. Korelace mezi obecně užívaným nástrojem měření obecné spokojenosti CSQ-8 s dobře prověřenou validitou a kompozitní škálou SSS-30 navíc propůjčuje novějšímu nástroji jako měřítku spokojenosti klientů konstrukční validitu. SSS30 jako multidimenzionální měřítko ještě zvyšuje svou hodnotu pro vedoucí programů, pro které jsou její subškály zdrojem užitečné zpětné vazby ohledně silných a slabých stránek programu. Její škálování navíc vede k menší nerovnoměrnosti v rozložení jednotlivých položek, což vede k přirozenějšímu rozložení škálových hodnot než u CSQ-8 (Greenfield & Attkisson, v tisku). Toto měříto výsledku lze tedy také vhodněji využít jako závislou proměnnou při multivariačních analýzách kontrolujících demografická data a další proměnné, neboť se zvyšuje jeho citlivost k rozdílům ve výsledcích jednotlivých programů.

Fáze 2 Klientelu tvořili většinou muži (84 %) ve věku 26-35 let (46 %). Převážně se jednalo o bělochy (77 %), afroameričané tvořili 10 %. Většinou se jednalo o osoby se středoškolským vzděláním (48 %), s průměrným příjmem 20 000 - 40 000 dolarů (39 %), a žili většinou 6-10 mil od sídla daného střediska. Ve složení klientely byly v jednotlivých střediscích pozorovány určité rozdíly, přičemž na jednom místě bylo nižší zastoupení žen. Při srovnávacích analýzách, během nichž se příhlíželo k rozdílům v pohlaví 25

WHO/MSD/MSB 00.2g

(které bylo významným prediktorem), byly skutečně zaznamenány mezi jednotlivými středisky významné rozdíly (p<0,05), byť nijak markantní, ve spokojenosti s přístupem a dovednostmi personálu (pohlaví a jednotlivá místa způsobovala dohromady pouze 3 % rozptyl, takže vedoucí byli upozorněni, aby tento statisticky významný rozdíl nepřeceňovali). Rozdíl v pohlaví byl opět významný u vnímaného výsledku, avšak u jednotlivých středisek byl zaznamenán pouze trend k významnosti (p= 0,06). V protikladu k těmto minimálním rozdílům byly větší odchylky zjištěny v hodnotách spokojenosti na škále provozních postupů střediska. Na jednom místě byla výrazně vyšší spokojenost s personálem střediska, postupy, způsobem doporučování k léčbě, spoluprácí mezi jednotlivými členy personálu a nakládáním se záznamy, z čehož se dalo usuzovat, že personál služby funguje z hlediska uživatele dobře. Také míra spokojenosti s dostupností vyznívala ve prospěch tohoto střediska, byť méně výrazně. Jedno ze dvou dalších středisek však mělo klienty ze vzdálenějších oblastí. Jak byly výsledky využity? Je důležité zajistit, aby údaje poskytnuté klienty byly skutečně použity k vylepšení služeb, a dodržet tak závazek vůči klientům, že jejich informace budou k tomuto účelu využity, což jim může být odměnou za to, že si dali práci s vyplněním dotazníku.

26

Výsledky byly poskytnuty vedoucím programu v grafické podobě se znázorněnými středními hodnotami pro celé subškály i jednotlivé položky a také s porovnáním škál mezi jednotlivými středisky pro muže a ženy zvlášť. Rozložení škálových hodnot, znázorněných jako zprůměrované střední hodnoty pro jednotlivé položky, byla uvedena tak, aby bylo možné jednoduše vyčíst relativní počet nespokojených nebo „napůl spokojených“ reakcí. O tyto výsledky se mohou vedoucí snadno podělit s personálem. V tomto případě byla zpětná vazba ve většině případů pozitivní, což je vnímáno jako ocenění „dobře vykonané práce“ a tolik potřebná posila pro sféru služeb zabývajících se zneužíváním návykových látek, kde bývá fluktuace personálu velmi vysoká. Pozitivní výsledky personálu a kvalitu postupů v jednom středisku je možno hledat a napodobovat na jiných místech prostřednictvím vzájemného proškolování a selektivního „vylaďování“ postupů. Výsledky byly také použity při prezentaci daných zjištění organizacím zodpovědným za doporučování k různým typům léčby, soudům, státnímu úřadu pro motorová vozidla a akreditačním orgánům. Metodologické výsledky z fáze 1 poskytly vedoucím pracovníkům a evaluátorům důkazy o tom, že Škála spokojenosti se službou je reliabilním a validním nástrojem k posuzování spokojenosti klientů s léčbou zneužívání návykových látek.


WHO/MSD/MSB 00.2g

Část B: Spokojenost klientů s rezidenčními programy léčby závislostí na návykových látkách Za názory vyjádřené v této případové studii zodpovídá pouze její autor.

Vypracoval: Thomas K. Greenfield, Ph.D. Hlavní vědecký pracovník a oblastní ředitel pro populační šetření Národní centrum pro výzkum alkoholismu Skupina pro výzkum alkoholismu (NIAAA – National Alcohol Research Center Alcohol Research Group) 200 Hearst Ave., Suite 300 Berkeley, California 94709-2130 USA

Kdo klade otázky a proč chce mít takové informace k dispozici? Jeden stážista ze zastřešující oblastní organizace zodpovědné za financování a kontrolu řízení programů zaměřených na léčbu závislostí na alkoholu a drogách financovaných z veřejných zdrojů se zajímal o to, jakým způsobem měřit spokojenost klientů s ohledem na dřívější zkušenosti s obecnou škálou spokojenosti v oblastních komunitních střediscích duševního zdraví (OKSDZ). V rámci dřívější studie většina klientů v různých OKSDZ, jak v těch, považovaných v daném okrese za vynikající, i v těch, považovaných za slabší, uvedla odpověď převážně spokojen(a). Dané měřítko spokojenosti klientů bylo shledáno necitlivým a ředitel výzkumů od dotazníků na zjišťování spokojenosti jako prostředku k získávání validní zpětné vazby od klientů (Nebeker, 1992, str. 2) v podstatě upustil. Stážista věděl o nově vytvořené multidimenzionální škále SSS-30 (Greenfield & Attkisson, 1989a) a obrátil se na prvního z jejich autorů, aby s ním konzultoval její použití při stanovení spokojenosti klientů v rezidenční léčbě problémů spojených s užíváním návykových látek. Doufal, že na rozdíl od všeobecných měřítek, od kterých bylo v rámci daného okresu upuštěno, by mohla být multidimenzionální škála zdrojem dostatečného množství Sešit 6 . Evaluace spokojenosti klientů

variabilních dat, na jejichž základě by se daly určit rozdíly mezi jednotlivými zařízeními Nebeker (1992, str. 1). Stážista chtěl najít způsob, jak zredukovat Areactivity@, o které Lebow (1983, 1983a; 1983b) pojednal jako o prvku ovlivňujícím úroveň spokojenosti směrem nahoru, kdy data shromažďují terapeuti nebo jsou klientům otázky předčítány, místo aby na ně bylo odpovídáno písemně. Chtěl dosáhnout vysoké míry respondence a případně studovat vliv respondence na míru spokojenosti. V podstatě chtěl zjistit, zda mezi výběrovými soubory aktivních účastníků léčby ve čtyřech různých rezidenčních programech existují měřitelné rozdíly ve spokojenosti.

Jakých prostředků bylo zapotřebí ke sběru a interpretaci informací? Stážista SSS-30 sám namnožil a sám ho také předkládal. Nejdříve si zajistil souhlas okresních úřadů s provedením pilotní studie. Poté si obstaral povolení od ředitelů programu k tomu, aby mohl škálu sám klientům předkládat. Pro výběr klientů a prezentování nástroje použil metodu popsanou v dálší části, k čemuž nepotřeboval nic víc než středně velkou lepenkovou krabici. Poté, co data vybral, je zadal do počítače a konečný soubor uložil jako textový soubor 27

WHO/MSD/MSB 00.2g

ve formátu ASCII, aby s ním bylo možné pracovat v SPSS (nebo jiném statistickém programu). Nakonec si zajistil služby evaluátora, který mu asistoval při analýze dat za použití verze SPSS kompatibilní s mikropočítači IBM a výsledky zpracoval ve formě magisterské diplomové práce (Nebeker, 1992). K uskutečnění tohoto výzkumného projektu musel během daného roku samostatně vyvinout značné úsilí.

Jak probíhal sběr dat? Stážista vypracoval metodu sběru dat, kterou označil jako Agroup momentum@ a popsal ji následovně: Na základě zkoušky a omylu (při pilotní práci) se dospělo k následující metodě: (1) personál svolal schůzku (uživatelů služby), jejímž jednoznačným účelem bylo vyplnění dotazníků, (2) vysvětlil jsem, že účast na studii je dobrovolná a anonymní, (3) klientům bylo řečeno, aby vyplněné formuláře vhazovali do krabice s vyříznutým otvorem ve víku, (4) opustil jsem místnost, aby klienti mohli vyplňovat dotazníky v nepřítomnosti personálu nebo organizátora testu, (5) krabici jsem odebral okamžitě poté, co poslední klient dokončil vyplňování dotazníku (Nebeker, 1992, str. 27-28). Stážista dále poznámenává, že v případech, kdy byly dotazníky vyplňovány samostatně mimo skupinu, byla zaznamenána menší respondence (str. 28).

28

Jak probíhala analýza dat? Data byla analyzována stejným způsobem, který byl popsán ve fázi 2 předchozí případové studie. Byly vypočítány výsledné hodnoty standardních subškál, jejichž prostřednictvím se pak za použití ANOVA porovnávaly průměrné hodnoty u jednotlivých subškál mezi čtyřmi rezidenčními programy. Následně byly provedeny posthoc testy za účelem označení příčin veškerých případných rozdílů.

Co bylo zjištěno? Spokojenost klientů s programem se v různých zařízeních lišila pouze v některých subškálách. Významný celkový rozdíl v hodnotách mezi jednotlivými středisky vykazovala jedna z oblastí, a to provozní postupy a personál (F(3m 147)=4,79; p<0,01). Při post-hoc srovnáních bylo zjištěno, že jeden konkrétní program se v této oblasti liší od druhého (zprůměrované střední hodnoty položek 3,8 vs. 3,3). U vnímaného výsledku byl zaznamenán celkový trend k rozdílu (p=0,11) a v rámci post-hoc analýzy se opět ukázalo, že tytéž dva rezidenční programy se od sebe významně (p<0,5) lišily (M = 3,8 vs. 3,4). Z hlediska dostupnosti byl vysledován trend k celkové odlišnosti v téže míře. Post-hoc srovnání dané dvojice tentokrát ukázala, že nejvyšší míru spokojenosti vykazoval jiný program,


WHO/MSD/MSB 00.2g

a to statisticky (p<0,05) vyšší (zprůměrované střední hodnoty položek 3,7) než zařízení, které vykázalo nižší míru spokojenosti u ostatních dvou subškál (M=3,3). Pouze v případě přístupu a dovedností poradců nebyly mezi jednotlivými zařízeními zaznamenány žádné významné rozdíly. Výběrové soubory získané během pilotní fáze v těchto dvou zařízeních měly nižší respondenci než výběrové soubory shromážděné v každém středisku pomocí přístupu Agroup momentum ©, jehož výsledkem byla 9097%-ní respondence. Jak se předpokládalo, výběrové soubory s nižší respondencí (20-41 %) vykazovaly vyšší míru spokojenosti, a to u dvou subškál významným způsobem: přístup a dovednosti poradců (p<0,01) a dostupnost (p<0,05). V jednom ze zařízení byla u výběrového souboru s nízkou respondencí zaznamenána střední hodnota přístupu a dovedností 4,1, čili o 0,5 vyšší než kolik činí střední hodnota z úplnějšího výběrového souboru. Důležitým výstupem této malé studie bylo doložení faktu, že, pokud není v nereaktivním prostředí vynaloženo dostatečné úsilí k zajištění vysoké respondence, případně pokud je sběr dat prováděn nesystematicky nebo je eventuálně svěřen personálu, výsledky budou většinou silně zkresleny ve prospěch vyšší spokojenosti. Z etického hlediska je zásadní, aby buď externí nebo interní evaluátoři pomohli zajistit pro vyplňování dotazníků neutrální prostředí a maximálně eliminovat účast a vliv členů personálu. V jiných studiích, které dosáhly vynikajících hodnot respondence, byl zapojen dobrovolník, který oslovoval klienty v čekárně a otevřeně a přátelsky jim vysvětloval účel


studie a zdůrazňoval význam upřímné zpětné vazby pro vylepšení programu (Attkisson & Greenfield, 1994, Greenfield & Attkisson, 1989a). Je také důležité vybrat škálu, která je dostatečně senzitivní k stanovení skutečného rozdílu v míře spokojenosti klientů (Greenfield & Attkisson, v tisku). Hojně využívané všeobecné škály jsou krátké a pro organizátory programů lákavé, ale jen zřídka mívají požadované psychometrické kvality, jejichž prostřednictvím by dokázaly odhalit skutečné rozdíly ve spokojenosti. Výjimku tvoří extrémně velké výběrové soubory, které jsou někdy shromáždovány v průběhu několika let pravidelného monitoringu (Greenfield, 1983). U studií, v jejichž rámci se pracuje s malým výběrovým souborem, je citlivý nástroj naprostou nutností.

Jak byly výsledky využity? Výsledky byly poskytnuty vedoucím programů a představitelům zastřešujícího okresního orgánu. Zdá se být úsměvné, že představitelé okresu nebyli příliš překvapeni zjištěnými rozdíly, které tak jen potvrdily neoficiálně vypozorované skutečnosti na jednotlivých pracovištích programu. Hlavním výsledkem studie však bylo demonstrovat použitelnost multidimenzionální škály spokojenosti koncipované tak, aby vykazovala vyšší senzitivitu než hojně využívané obecné škály, a poukázat na důležitost zajišťování vysoké míry respondence pro objektivní zhodnocení spokojenosti klientů, zvláště pokud je zapotřebí provádět srovnání mezi různými středisky v rámci jednoho programu.

29

WHO/MSD/MSB 00.2g

Nyní je řada na vás Jaké jsou silné a slabé stránky uvedené případové studie? Uveďte tři kladné stránky a tři záporné stránky:

Silné stránky případové studie: 1

2

3

Slabé stránky případové studie: 1

2

3

30


WHO/MSD/MSB 00.2g

Bibliografie k případovým studiím Část A a B Attkisson, C.C., & Greenfield, T.K. The Client Satisfaction Questionnaire-8 and the Service Satisfaction Scale-30. In: M.A. Maruish (Ed.). Psychological testing: Treatment planning and outcome Assessment. Hillsdale, N.J.: Lawrence Erlbaum Associates, 1994. Attkisson, C.C., & Greenfield, T.K. The Client Satisfaction Questionnaire (CSQ) Scales and the Service Satisfaction Scale-30 (SSS-30). In: L.I a. D. Sederer (Eds.). Outcomes Assessment in Clinical Practice (str. 120-127). Baltimore, MD.: Williams & Wilkins, 1995a. Attkisson, C.C., & Greenfield, T.K. The Client Satisfaction Questionnaire (CSQ) Scales: A history of scale development and a guide for users. (nepublikovaná zpráva) Department of Psychiatry, University of California at San Francisco, 1995b. Attkisson, C.C., & Greenfield, T.K. The UCSF client satisfaction scales: I. The Client Satisfaction Questionnaire-8. In: M.A. Maruish (Ed.). Psychological testing: Treatment planning and outcome Assessment (2. vyd.). Mahwah, N. J.: Lawrence Erlbaum Associates, v tisku. Greenfield, T.K. The role of client satisfaction in evaluating university counselling services. Evaluation and ProgramPlanning, 1983, 6: 315-327. Greenfield, T.K. Consumer satisfaction with the Delaware Drinking Driver Program in 1987-1988. Department of Psychiatry, University of California, 1989. Greenfield, T.K. Consumer satisfaction with the Delaware Drinking Driver Program in 1993. Berkeley, CA, Alcohol Research Group, 1994. Greenfield, T.K., & Attkisson, C.C. Steps toward a multifactorial satisfaction scale for primary care and mental health services. Evaluation and Program Planning,1989, 12: 271-278. Sešit 6 . Evaluace spokojenosti klientů

Greenfield, T.K., & Attkisson, C.C. Family satisfaction with services (Report to Northwest Residential services, Inc.). University California, San Francisco, Department of Psychiatry, 1989b. Greenfield, T.K., & Attkisson, C.C. The UCSF Client satisfaction scales: II. The Service Satisfaction Scale-30. In: M.A. Maruish (Ed.). Psychological test-ing: Treatment planning and outcome Assessment (2nd ed.) Mahwah, N.J.: Lawrence Erlbaum Associates, in press. Greenfield, T.K., Stoneking, B.C., & Sundby, E. Two community support program research demonstrations in Sacramento: Experiences of consumer staff as service providers. The Community Psychologist,1996, 29: 17-21. Harmon, H.H. Modern factor analysis. Chicago: University of Chicago Press, 1970. Lebow, J.L. Research assessing consumer satisfaction with mental health treatment: A review of findings. Evaluation and Program Planning, 1983a, 6: 211-236. Lebow, J.L. Client satisfaction with mental health treatment. Evaluation Review, 1983b, 7: 729-752. Nebeker, H. Client satisfaction in four alcohol and drug treatment programs. Masters Thesis, John F. Kennedy University, 1992. Nguyen, T.D., Attkisson, C.C., & Stegner, B.L. Assessment of patient satisfaction: Development and refinement of a Service Evaluation Questionnaire. Evaluation and Program Planning, 1983, 6: 299-313. Ruggeri, M., & Greenfield, T. The Italian version of the Service Satisfaction Scale (SSS-30) adapted for communitybased psychiatric patients: Development, factor analysis and application. Evaluation and Program Planning, 1995, 18: 191-202. 31

WHO/MSD/MSB 00.2g

Část C: Případ komunitních programů metadonové léčby Za názory vyjádřené Vypracoval: v této případové Jeff Ward studii zodpovídá Katedra psychiatrie pouze její autor.

Australská národní univerzita Canberra, ACT 0200 Austrálie

Kdo klade otázky a proč chce mít takové informace k dispozici? Evaluace, kterou provádělo Australské národní centrum pro problematiku alkoholu a drog (Australian National Drug and Alcohol Center – NDARC) se zúčastnily tři kliniky s programem metadonové udržovací léčby v australském Sydney financované z veřejných prostředků. Účelem studie bylo zkoumat vztahy mezi aplikovanou léčbou, charakteristikami klientů, spokojeností klientů a výsledky léčby z hlediska užívání heroinu, kriminality a rizikového chování ve vztahu k HIV. Sledovaným výstupem v rámci této případové studie byla míra spokojenosti klientů s absolvovanou léčbou a případné proměnné související s mírou jejich spokojenosti. Otázky byly kladeny výzkumníky z NDARC v rámci širší výzkumné akce zaměřené na klinické aspekty metadonové udržovací léčby. Byla zkoumána spokojenost klientů s léčbou, protože ta se stala pro tvůrce příslušných koncepcí a poskytovatale léčby přednostním výstupem (Stallard, 1996). V rámci předchozích výzkumů se navíc zjistilo, že i v jiných oblastech zdravotní péče spokojenost klientů přímo souvisí s charakteristikami klientů, jejich využíváním služeb a lepšími výsledky léčby (Pascoe, 1983; Tanner 1981). 32

Jakých prostředků bylo zapotřebí ke sběru a interpretaci informací? Jelikož se od začátku počítalo s tím, že shromážděná data budou využita k statistickým analýzám, bylo pro potřeby interview nutné zajistit dotazník, jehož výstupem by byl jeden kvantitativní údaj o spokojenosti klienta. Bylo také žádoucí, aby se dal dotazník vyplnit rychle a aby měl ověřenou validitu a reliabilitu (tzn. aby bylo prokázáno, že dotazník opravdu měří to, co má měřit, a že funguje s požadovanou konzistencí u různých populací a v různých situacích). Příkladem takového dotazníku je osmipoložkový Dotazník k zjišťování spokojenosti klientů (Client Satisfaction Questionnaire – CSQ-8, Attkisson & Zwick, 1982). Dotazník byl zakomponován do mnohem rozsáhlejšího archu pro vedení interview, obsahujícího otázky a dotazníky hodnotící množství dalších proměnných týkajících se anamnézy klientů, jejich současného stavu a posledních zkušeností s léčbou. Bylo vytištěno přibližně 350 archů pro vedení interview a bylo uskutečněno 348 interview s klienty účastnícími se metadonové léčby na třech klinikách. Tato interview vedli školení tazatelé z NDARC.


WHO/MSD/MSB 00.2g

Jak se sbírala data? Školení tazatelé z NDARC navštěvovali všechny tři kliniky a v rámci evaluačního projektu prováděli interview s klienty přímo na místě. Klientům bylo řečeno, že shromážděné informace nebudou personálu kliniky sdělovány v žádné formě, z níž by se dalo zjistit, co konkrétní osoby při interview uvedly. Tím mělo být zajištěno, aby klienti neupravovali své odpovědi v zájmu uspokojení personálu nebo proto, aby se vyhnuli odplatě. Klienti vyplňovali CSQ-8 samostatně, což jim trvalo zhruba 5 minut. U každé z osmi položek tvořících CSQ-8 je pět možných odpovědí v rozmezí od „velmi nespokojen(a)“ až po „velmi spokojen(a)“, ke kterým je přiřazeno bodové ohodnocení od 0 do 4. Vyšší hodnota značí vyšší spokojenost s léčbou, přičemž všech osm hodnot je pak sečteno, čímž se dospěje k jedné celkové míře spokojenosti. Výsledná hodnota CSQ-8 od každého klienta, s nímž bylo provedeno interview, byla zanesena do počítače za pomoci programu SPSS pro Windows. Vyhodnocování výsledků CSQ-8 a jejich vkládání do počítače trvalo asi 6 hodin. Kromě osmi samostatných otázek tvořících CSQ-8 jsou tu ještě dvě otázky, na něž je možné dát otevřenější odpověď. U těchto dvou položek jsou respondenti požádáni, aby doplnili tyto věty: „Nejvíce se mi na tomto zařízení líbí, že...“ a „Kdybych v tomto zařízení mohl něco změnit, bylo by to...“ Tyto položky byly přezkoumány z hlediska shody v odpovědích vztahujících se k předmětné klinice a výsledky byly zaznamenány jako zdroj zpětné vazby pro personál kliniky. Tato práce trvala dalších 10 hodin.

Jak probíhala analýza dat? Data byla zadávána a analyzována pomocí programu SPSS pro Windows, verze 6.0. Při vyhodnocování dotazníků se zjistilo, že Sešit 6 . Evaluace spokojenosti klientů

6 klientů vyplnilo formulář nesprávně. Odpovědi těchto 6 klientů nebyly do analýzy zahrnuty. K analýze tedy zůstalo 342 výsledků z CSQ-8. Analýza dat proběhla ve čtyřech krocích, z nichž každý měl přinést odpověď na jiinou otázku. Podkladem pro tuto analýzu byly čtyři základní otázky: •

Jak jsou výsledné hodnoty CSQ-8 rozloženy?

•

Existují rozdíly ve spokojenosti klientů mezi všemi třemi klinikami?

•

Pokud se dané tři kliniky liší v míře spokojenosti klientů, proč a jak k těmto rozdílům dochází?

•

Který aspekt léčebného programu byl v odpovědích klientů na otevřené otázky označován jako ten, který je třeba změnit?

Jak jsou výsledné hodnoty CSQ-8 rozloženy? Jako předběžný krok v rámci analýzy dat bylo třeba prozkoumat rozložení výsledných hodnot CSQ-8 a zjistit, zda model rozložení odpovídá příslušným modelům pozorovaným u ostatních studií, kde většina účastníků studie vykazuje spíše vyšší než nižší spokojenost s poskytovanou léčbou (Stallard, 1996). Rozložení výsledků CSQ-8 v rámci studie státních metadonových klinik je uvedeno v Diagramu 1. Diagram 1 je histogramem graficky znázorňujícím počet klientů, kteří na CSQ8 vykázali příslušné hodnoty. Jak z Diagramu 1 (na následující straně) vyplývá, tvar rozložení napovídá, že stejně jako v předchozích studiích se u klientů projevuje tendence k vykazování spíše vyšší než nižší míry spokojenosti s poskytovanou léčbou. 33

WHO/MSD/MSB 00.2g

Diagram 1

Rozložení výsledků CSQ-8 (N=342) 60 50 40 30 H o 20 d n 10 o 0 t a

9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 31

Existují u klientů daných tří metadonových klinik rozdíly v míře jejich spokojenosti s léčbou? Poté, co jsme určili, že klienti absolvující léčbu na třech daných klinikách uváděli spíše větší spokojenost s léčbou, kterou podstupovali, byla na řadě další důležitá otázka, a sice, zda se vyskytly nějaké rozdíly ve spokojenosti s léčbou mezi jednotlivými klinikami. Aby bylo možné tuto otázku zodpovědět, bylo zapotřebí vypočítat střední hodnoty CSQ-8 pro každou ze tří klinik. Tyto hodnoty naleznete v Tabulce 1. Tabulka 1: Střední hodnoty CSQ-8 pro všechny tři metadonové kliniky

Klinika

34

Střední hodnota CSQ-8

A

22,8

B

24,9

C

26,3

Jak je možno vidět v Tabulce 1, střední hodnoty CSQ-8 se u klientů všech tří metadonových klinik vzájemně lišily. Klinika s označením A měla nejnižší výsledek a klinika označená písmenem C měla oproti tomu hodnotu nejvyšší. Aby se zjistilo, zda tyto rozdíly byly čistě věcí náhody či nikoli, bylo v další fázi potřeba podrobit údaje statistickému testu. Vhodným statistickým testem pro stanovení toho, zda tyto rozdíly v hodnotách naměřených prostřednictvím CSQ-8 byly či nebyly dílem náhody, je jednosměrná analýza rozptylu (ANOVA). Bylo zjištěno, že F-koeficient určující statistickou významnost ANOVA se rovná 15,18, což bylo při stanovení hodnoty p na 0,05 statisticky významné (F=15,18; df=2 340; p=0,000). To znamená, že pozorované rozdíly nebyly pouhým dílem náhody. Při určení míry vzájemných rozdílů mezi jednotlivými klinikami byl uplatněn test nejméně významného rozdílu, upravený pro opakované použití. Vyšlo tak najevo, že klienti absolvující léčbu na klinice C byli spokojenější než pacienti na klinice B a A, a dále že klienti z kliniky B byli spokojenější než klienti kliniky A.


WHO/MSD/MSB 00.2g

Pokud se dané tři kliniky liší v míře spokojenosti klientů, proč a jak k těmto rozdílům dochází? V okamžiku, kdy se zjistilo, že mezi danými třemi klinikami existuje na základě měření prostřednictvím CSQ-8 statisticky významný rozdíl ve spokojenosti s léčbou, vyvstala otázka, proč tyto rozdíly vůbec vznikly. Aby bylo možné na tuto otázku odpovědět a zjistit, zda dříve pozorované souvislosti mezi věkem, využíváním služeb, výsledkem léčby a spokojeností budou odhaleny také u klientů metadonové léčby, byl vypracován model mnohonásobné lineární regrese. V regresním modelu se výsledek (v tomto případě výsledné hodnoty CSQ-8) předvídá pomocí souboru proměnných, které se často označují jako prediktní proměnné. Tento model nám umožňuje odhadnout, do jaké míry se libovolná prediktní proměnná v daném modelu vztahuje k výsledku poté, co vezmeme v úvahu vliv všech ostatních proměnných v modelu. V této připadové studii byl jako příklad vypracován jednoduchý model. Při vytváření modelu byl použit postup doporučený Kleinbaumem (Kleinbaum, Kupper & Muller, 1988). Jak již bylo řečeno na začátku, v rámci předchozích výzkumů bylo vysledováno,

že rakteristiky klienta a výsledek léčby souvisí se spokojeností klienta. V této případové studii použijeme jako příklad pohlaví a hlášenou trestnou činnost za poslední měsíc. Předchozí průzkumy ukázaly, že ženy jsou se zdravotními službami obecně spokojenější než muži (Pascoe, 1983; Tanner, 1981), přičemž jedním z hlavních očekávaných výsledků metadonové udržovací léčby je snížení kriminality (Ward, Mattick & Hall, 1994). V Tabulce 2 níže je znázorněn regresní model. Proměnné označené jako Klinika B a Klinika C představují tzv. „fiktivní“ proměnné a značí míru vzájemné souvislosti mezi těmito dvěma klinikami a CSQ8 při srovnání s klinikou A, která je použita jako referenční kategorie. Statistický údaj F ve spodní části tabulky říká, že model jako celek je provázán se spokojeností klienta změřené pomocí CSQ8. Při pohledu na proměnné v modelu se dá zjistit, že v míře spokojenosti mezi muži a ženami není patrný žádný rozdíl. Podobně také výsledek léčby indikovaný skutečností, zda klient uvedl spáchání nějakého trestného činu v průběhu jednoho měsíce před interview, nemá žádnou souvislost se spokojeností s léčbou. V případě trestné činnosti se však hodnota p (0,059) blíží hladině významnosti (0,05) a napovídá, že bude možná potřeba tuto souvislost podrobněji prozkoumat.

Tabulka 2: Model mnohonásobné regrese k předvídání spokojenosti klientů s metadonovou léčbou Proměnné v modelu

Koeficient regrese

Standardní chyba

t

P

(Konstanta)

22,83

0,58

39,36

0,000

Klinika B

3,59

3,59

5,60

0,000

Klinika C Uvedená trestná činnost za poslední měsíc

2,24

2,24

3,45

0,001

-0,9

-0,99

-1,90

0,059

Pohlaví (1=muži)

0,37

0,37

0,75

0,455

F=8,663, p=0,000 Sešit 6 . Evaluace spokojenosti klientů

35

WHO/MSD/MSB 00.2g

I poté, co upravíme hodnoty z hlediska pohlaví a trestné činnosti, zjišťujeme, že mezi danými třemi klinikami jsou stále významné rozdíly. Smysl statisticky významných souvislostí spočívá pro kliniky v tom, že ve srovnání s klinikou A jako referenční kategorií jsou klienti jak kliniky B, tak kliniky C, s absolvovanou léčbou spokojenější.

Který aspekt léčebného programu byl v odovědích klientů na otevřené otázky označován jako ten, který je třeba změnit? Odpovědi klientů na otázky týkající se toho, co se jim líbí a co by podle jejich názoru mělo být v souvislosti s danou léčbou změněno, byly přečteny a rozděleny do tematických okruhů. Není zde bohužel dostatečný prostor k podrobnému pojednání o těchto odpovědích. Postačí nicméně jeden příklad. Jeden z hlavních bodů, kteří klienti vznášeli, byla omezená doba, po kterou je na klinikách možno získat dávky metadonu. Nejčastěji zmiňovaným aspektem, který by klienti v případě možnosti změnili, byla právě otevírací doba jednotlivých klinik.

Co se na základě studie zjistilo? Z hlediska vybraných zkoumaných proměnných v rámci této studie bylo zjištěno, že klienti navštěvující tři státní metadonové kliniky v australském Sydney jsou s absolvovanou léčbou většinou spokojeni, i když mezi mírou spokojenosti zaznamenanou u jednotlivých klinik existují statisticky významné rozdíly. Na rozdíl od studií provedených v ostatních oblastech zdravotní péče nebylo zjištěno, že by pohlaví klientů a výsledky

36

léčby byly provázány s mírou spokojenosti, byť hodnota vybraného sledovaného výsledku léčby (trestná činnost) se velmi blížila statistické významnosti, což napovídá, že by stálo za to tuto oblast dále zkoumat a stanovit, zda a za jakých podmínek může výsledek souviset se spokojeností klientů s léčbou. Je ovšem důležité poznamenat, že pro účely této studie se daná analýza záměrně omezila na malý počet proměnných a že zkoumané vztahy se mohou lišit, pokud jsou nahlíženy v kontextu vyššího počtu proměnných zahrnutých do studie.

Jak byly výsledky využity? Výsledky byly nejdříve sděleny personálu klinik, které se výzkumu zúčastnily. Jako příklad způsobu, jímž ředitelé programů využili výsledná zjištění, bude uveden jeden aspekt využití průzkumu ze strany ředitele kliniky A. Ředitel kliniky A, kde byla nejnižší úroveň spokojenosti, nebyl výsledky příliš překvapen. Nespokojenost klientů byla přisuzována nedávné změně místa kliniky a změnám ve složení personálu. Tyto faktory se také projevily v otevřených otázkách na konci dotazníku CSQ-8. Ředitel si vyžádal kopii příslušného datového souboru, aby bylo možné porovnat výsledky této první studie s průzkumy prováděnými v budoucnu pracovníky kliniky. Tímto způsobem může ředitel zhodnotit, zda plánované změny zvýší spokojenost klientů s jejich metadonovou léčbou. Výsledky studie budou také publikovány v příslušném věstníku a rozšíří tak korpus odborné literatury zabývající se klinikami poskytujícími metadonovou udržovací léčbu a spokojeností klientů obecně.


WHO/MSD/MSB 00.2g

Nyní je řada na vás Jaké jsou silné a slabé stránky uvedené případové studie? Uveďte tři kladné stránky a tři záporné stránky:

Silné stránky případové studie: 1

2

3

Slabé stránky případové studie: 1

2

3


37

WHO/MSD/MSB 00.2g

Bibliografie k případové studii Část C Attkisson, C. C., & Zwick, R. (1982). The client satisfaction questionnaire: Psychometric properties and correlations with service utilization and psychotherapy outcome. Evaluation and Program Planning, 5, 233-237. Kleinbaum, D. G., Kupper, L. L., & Muller, K. E. (1988). Applied regression analysis and other multivariable methods. (Druhé vyd.). Boston: PWS-Kent. Pascoe, G. C. (1983). Patient satisfaction in primary health care: A literature review and analysis. Evaluation and Program Planning, 6, 185-210.

38

Stallard, P. (1996). The role and use of consumer satisfaction surveys in mental health services. Journal of Mental Health, 5, 333-348. Tanner, B. A. (1981). Factors influencing client satisfaction with mental health services. Evaluation and Program Planning, 4, 279-286. Ward, J., Mattick, R. P., & Hall, W. (1994). The effectiveness of methadone maintenance treatment: An overview. Drug and Alcohol Review, 13, 327-336.


Název souboru: Sešit 6 Spokojenost.doc Adresář: C:\Documents and Settings\twz\Dokumenty\evaluation of treatment\who guidelines\czech translations Šablona: C:\Documents and Settings\twz\Data aplikací\Microsoft\Šablony\Normal.dot Název: WHO/MSD/MSB 00 Předmět: Autor: Miovsky Klíčová slova: Komentáře: Datum vytvoření: 13.4.2003 10:31 dop. Číslo revize: 2 Poslední uložení: 13.4.2003 10:31 dop. Uložil: twz Celková doba úprav: 1 minuta Poslední tisk: 13.4.2003 10:31 dop. Jako poslední úplný tisk Počet stránek: 38 Počet slov: 13 032 (přibližně) Počet znaků: 76 893 (přibližně)

Evaluace spokojenosti klientů

Recommend Documents