Desatero pro porovnávání výsledků dvou metod 21
Kapitola IV. DESATERO PRO POROVNÁVÁNÍ VÝSLEDKŮ DVOU METOD. Luděk Dohnal
Následující text nemá být "návodem" k počítání nebo hodnocení. Pokouší se pouze zachytit podstatnější myšlenky, které nacházejí uplatnění při porovnávání výsledků dvou metod, tak často prováděného v laboratořích a to nejen klinické biochemie. Pokud to bylo rozumně možné, jsou uvedeny stručné ilustrativní příklady. Účelem porovnání dvou metod je zjistit jestli výsledky testu získané jednou metodou na souboru klinických vzorek jsou, v průměru, totožné s výsledky získanými druhou metodou (7). Výsledným produktem porovnání je zpráva - report o porovnání metod. Zpráva může být určena jenom pro potřeby příslušné laboratoře, anebo pro prezentaci navenek - ústní sdělení, posterové sdělení, článek do odborného časopisu. Od účelu zprávy se odvíjí rozsah a forma. V principu ale každá zpráva má obsahovat 5 základních okruhů tém, popsaných v tabulce IV.1. Dále se budeme zabývat jenom bodem 4 a částečně 5 z této tabulky. Tabulka IV.1 Obsah reportu o porovnání výsledků dvou metod.
1. 2. 3. 4. 5.
Jaká byla motivace ke srovnání dvou metod Popis analytických metod Popis populační vzorky Hodnocení shody metod Odhad klinické ekvivalence
Porovnáváme výsledky dvou metod (např. metodu A a metodu B pro stanovení téhož analytu v týchž materiálech). Máme k disposici materiály, v nichž jsou různé koncentrace sledovaného analytu. Tyto koncentrace pokrývají alespoň přibližně rovnoměrně celý rozsah, v němž chceme znát porovnatelnost obou metod. Máme tedy na paměti, že i závěry plynoucí z našich výsledků platí pouze pro rozsah hodnot, ve kterém bylo porovnání provedeno. Jakákoliv extrapolace je přinejmenším ošidná. Obrázek IV.1 korelačního grafu (correlation plot) ukazuje, že stupnice je sice od 0 do 30, ale rozsah měření je od 1 do 25. 1. Visuální posouzení dat Na data se vždy nejprve "podíváme". Zkonstruujeme korelační graf, to jest závislost výsledků metodou A na výsledcích metodou B. Každá dvojice výsledků je tedy v tomto grafu representována jedním bodem. Skutečnosti odpovídá lépe než bod malý čtvereček resp. obdélníček když si uvědomíme, že metody A i B mají
svoji neurčitost, chceme-li nejistotu, a tak dvojice výsledků není "bod" ale "obdélníček". Z korelačního grafu usuzujeme, zda nejsou přítomny tzv. vlivné resp. vychýlené body. Bod, který je silně vychýlený ve směru pouze jedné ze souřadnic, často nazýváme odlehlý (outlier). Bod, který je vychýlený ve směru obou souřadnic, označujeme často jako extrém. Terminologie není ustálená. Vlivné body, jak praví už jejich název, mohou mít silný vliv na výsledek srovnávání. V korelačním grafu s vlivnými body (correlation plot with influence points) na obrázku IV.2 je stejných 50 bodů jako na obrázku IV.1, navíc jsou přítomny dva vlivné body, č. 51 - extrém a č. 52 - odlehlý (outlier).
Korelační bodový graf 30 Metoda_B 25 20 15 10 5 0 5
0
10
15
20
25
30
Metoda_A
Obrázek IV.1
Korelační graf s vychýlenými body 40 Metoda_B 35
51
30 25 20
52
15 10 5 0 0
5
10
15
20 Metoda_A
Obrázek IV.2
25
30
35
40
Štatistické metódy pre klinickú epidemiológiu a laboratórnu prax 22 2. Odlehlé body Problém odlehlých bodů bývá často řešen tím, že jsou ze souboru pozorování (měření) vyloučeny a to na základě odhadu (jsou patrné už na výše zmíněném korelačním grafu). Jiný vhodný způsob je zkonstruování a posouzení tzv. diagnostických grafů (6) (např. Pregibon, Williams, Mc Culloch) nebo provedení numerických testů (Dixon, Grubbs) (2). Při sestrojení krabicového grafu jsou odlehlé hodnoty (outside values) a extrémy (far out values) počítačovými programy zvlášť zakresleny. Odlehlé hodnoty jsou definovány jako hodnoty nižší než dolní kvartil mínus 1,5 násobek interkvartilového rozepětí, anebo větší než horní kvartil plus 1,5 násobek interkvartilového rozepětí. Extrémy jsou definovány obdobně s 3 násobkem interkvartilového rozepětí. Pokud je dostatečné množství dat, je někdy účelné odlehlý bod (body) vyloučit z dalšího hodnocení. Nikdy bychom však neměli vlivný bod vyloučit, aniž bychom vysvětlili příčinu jeho vzniku nebo se alespoň přesvědčili, že se jedná o artefakt (např. hrubá chyba). 3. Korelační koeficient Pokud používáme korelační koeficient, je třeba mít na paměti, že tento koeficient je pouze mírou lineární závislosti výsledků. "Pěkný" korelační koeficient (hodnota blízká jedné nebo minus jedné) ještě vůbec neznamená, že srovnávané metody dávají "pěkně" shodné výsledky. Znamená to pouze silnou lineární závislost mezi výsledky oběma metodami. "Špatný" (malý v absolutní hodnotě) korelační koeficient vůbec neznamená, že závislost je málo silná. Může (ale nemusí!) jít např. o silnou nelineární závislost, např. kvadratickou. V tab. IV.1 je toto tvrzení ilustrováno. Zatímco proměnná se svým kvadrátem koreluje ještě s hodnotou koeficientu 0.9746, se svou dvacátou mocninou koreluje už pouze s hodnotou koeficientu 0.5795, přestože jde stále o stoprocentně těsnou kausální závislost vyjádřenou matematickým vzorcem. Korelační koeficienty (coefficients of correlation) pro několik mocninných funkcí jsou uvedeny v tab. IV.2.
Lineární regrese provedená běžným způsobem je dnes součástí nejen statistických programů, ale bývá zabudována i v tabulkových kalkulátorech (spreadsheets) - např. Excel. Použití této regrese je vhodné pouze v některých případech. Řekněme, že chceme provést lineární regresi výsledků metodou A (= tzv. vysvětlované proměnné) na výsledcích metodou B (tzv. vysvětlující proměnné). Tato regrese má svoje oprávnění pouze tehdy, jestliže rozptyl (neurčitost) při získávání (měření) hodnot vysvětlující proměnné je alespoň o řád menší než rozptyl (neurčitost) při měření hodnot vysvětlované proměnné. Důvod je docela prozaický. Uvědomme si, že při výpočtu koeficientů optimální regresní čáry běžně používaným způsobem (metodou nejmenších čtverců) se vlastně hledá taková regresní čára, aby součet čtverců (druhých mocnin) odchylek jednotlivých (naměřených) bodů od této čáry byl nejmenší možný. Matematicky řečeno hledáme globální minimum. Drtivá většina algoritmů (počítačových programů) provádí měření vzdálenosti bodů od regresní čáry ve směru vysvětlované proměnné. Jinak řečeno, postup výpočtu předpokládá, že ve směru vysvětlující proměnné jsou neurčitosti jednotlivých bodů zanedbatelné oproti směru vysvětlované proměnné. Dále je třeba, aby každá proměnná měla v ideálním případě normální (Gaussovo) anebo v praxi alespoň symetrické rozdělení dat. Při troše zkušenosti to poznáme už z korelačního grafu eventuelně z histogramu příslušné proměnné. Pokud je přítomen např. extrémní bod, může jeho vliv zcela zkreslit výsledky regrese. Na obrázku IV.3 je ukázka lineární regrese (linear regression) a na obrázku IV.4 je táž regrese po přidání jediného vlivného bodu - č. 51. Z tabulky IV.3 je patrné, jak se přidáním tohoto vlivného bodu změnily parametry regresní přímky - úsek (intercept) a směrnice (slope). Pro úplnost jsou uvedeny velikosti výběrů (sample size) a korelační koeficienty (coefficient of correlation). Korelační graf s lineární regresní čárou, n = 50 30 Metoda_B
Tabulka IV.2 Korelace výběrů
--------------------------------------------------------vzorka 1 vzorka 2 Korelační koeficient --------------------------------------------------------x x 1.0000 2 x x 0.9746 10 x x 0.6958 x x20 0.5795 ---------------------------------------------------------
4. Podmínky použití lineární regrese
25 20 15 10 5 0 0
5
10
15 Metoda_A
Obrázek IV.3
20
25
30
Desatero pro porovnávání výsledků dvou metod 23
Metoda_B
25 20 15 51 10 5 0 0
5
10
15
20
25
30
Metoda_A
Obrázek IV.4
Tabulka IV.3 Regresní koeficienty, n = velikost vzorky, r = korelační koeficient
--------------------------------------------------------Obr. IV.3 Obr. IV.4 --------------------------------------------------------n 50 51 intercept 0,4225 0,8465 slope 1,0064 0,9527 r 0.9985 0.9791 --------------------------------------------------------5. Čím je lineární regrese "lineární" Při provádění lineární regrese se většinou používá přímkový model. Často může být vhodnější jiný než lineární model (kvadratický, reciproční). Lineární regrese se nenazývá lineární proto, že regresní čárou je přímka. "Lineárnost" je míněna vzhledem ke koeficientům regrese. Jinak řečeno, regresní koeficienty se v regresní rovnici vyskytuji pouze v lineární kombinaci, nemohou se vyskytnout např. jako exponent. Ještě jinak, funkce, jejímž grafickým znázorněním je regresní čára, je lineární vzhledem k regresním koeficientům. Jestliže máme vysvětlující proměnnou x, vysvětlovanou proměnnou y a koeficienty (parametry) např. a,b,c, potom např. funkční závislost, kterou všichni důvěrně známe y=a+b.x a,b ≠ 0 je funkčním vyjádřením přímky (přímkový model) a současně je tato závislost lineární vzhledem k parametrům a,b, je tedy možným modelem lineární regrese. Jiná funkční závislost y = a + b . x + c . x2 a,b,c ≠ 0 je funkčním vyjádřením kvadratické paraboly (kvadratický model) a současně je tato závislost lineární vzhledem k parametrům a,b,c a tedy je možným modelem lineární regrese. Ale např. funkční závislost y = a + b . xc a,b ≠ 0 0≠c≠1 není lineární vzhledem k parametru c a není tedy možným modelem lineární regrese, ale je možným modelem regrese nelineární.
6. Statisticky významný rozdíl Statisticky nevýznamný rozdíl mezi výsledky dvou metod znamená nejčastěji následující skutečnost. Střední hodnota rozdílů (nejčastěji počítaná jako aritmetický průměr) mezi jednotlivými páry výsledků je poměrně malá a její interval spolehlivosti (řekněme její neurčitost) s vysokou pravděpodobností zahrnuje nulu. Naopak o statistiky významném rozdílu mluvíme, pokud tento interval spolehlivosti nulu nezahrnuje. Jestliže jsou rozdíly při statistickém testování (vysoce) významné, nemusí to znamenat, že jsou tyto rozdíly významné i interpretačně. A naopak, jestliže rozdíly nejsou statisticky významné, neznamená to automaticky, že nejsou významné interpretačně. Na obrázku IV.5 jsou krabicové grafy (box and whisker plots) výsledků stanovení draslíku v séru dvěma metodami (vždy 10 paralelních měření). Pro připomenutí, střední čáry v krabicích symbolisují mediány, horní a dolní okraje krabic symbolisují dolní a horní kvartily). Box-and-whisker graphs - krabicové grafy 4,42 4,40 4,38 4,36 mmol/l
Korelační graf s lineární regresní čárou, n = 51 30
4,34 4,32 4,30 4,28 4,26 4,24 Metoda_A
Metoda_B
Obrázek IV.5.
Z obrázku a rovněž z tab. IV.3 je zřejmé, že se jedná o statisticky vysoce významný rozdíl mezi výsledky obou metod. Střední rozdíl je 0.1 mmol/l při hodnotách kolem 4.4 mmol/l. Avšak tento rozdíl je klinicky zcela nevýznamný. Proto z klinického hlediska jsou obě metody rovnocenné. Obsah tabulky IV.4 je výstupem ze statistického programu MedCalc. Tabulka IV.4 Two-Sample Analysis Results Variable : Metoda_A Metoda_B Sample size = 9 9 Lowest value = 4,3338 4,2455 Highest value = 4,4066 4,3200 Arithmetic mean = 4,3745 4,2792 95% CI for the mean = 4,3536 to 4,3954 4,2626 to 4,2958 Median = 4,3797 4,2764 95% CI for the median =
Štatistické metódy pre klinickú epidemiológiu a laboratórnu prax 24 4,3359 to 4,4039 4,2565 to 4,3060 Variance = 0,0007 0,0005 Standard deviation = 0,0272 0,0216 Relative standard deviation = 0,0062 (0,62%) 0,0050 (0,50%) Standard error of the mean = 0,0091 0,0072 --------------------------------------Paired t-test Mean difference : 0,0953 Standard deviation : 0,0369 95 % CI : 0,0669 to 0,1237 t=7,736 DF=8 P = 0,0001
7. Základní statistiky Pro každou proměnnou vždy spočítáme základní statistiky (statistické veličiny) a zamyslíme se nad tím, co nám říkají. Jejich minimální sadu tvoří velikost proměnné (počet hodnot v sadě, number of observations), aritmetický průměr (mean, average), medián, směrodatná odchylka (standard deviation), směrodatná odchylka průměru (standard error, standard error of mean), minimum, maximum, rozpětí (range), dolní (lower) kvartil, horní (upper) kvartil, šikmost rozdělení (skewness of distribution), špičatost rozdělení (kurtosis of distribution). Velikost proměnné je jakousi mírou solidnosti či věrohodnosti. Dá se říct, že nejen příliš málo výsledků, ale i příliš mnoho výsledků přináší problémy s interpretací. Aritmetický průměr je nejčastěji používanou statistikou pro výpočet střední hodnoty. Zde podotkněme jenom tolik, že je dobrým odhadem střední hodnoty m.j. jen tehdy, pokud sada hodnot, z níž je počítán, má normální (gaussovské) nebo alespoň symetrické rozdělení. Ošidnost aritmetického průměru lze parafrázovat např. takto: "Jsme dva, máme jedno upečené kuře. Sním ho celé, tobě nic nedám. Já jsem přejedený, ty jsi hladový, ale v průměru měl každý z nás půlku kuřete." Medián je výrazně lepší statistikou pro výpočet střední hodnoty právě v řadě případů, kdy z důvodů nesymetrie rozdělení aritmetický průměr selhává. Směrodatná odchylka sady výsledků je mírou neurčitosti (rozptýlení) těchto výsledků. Často se rovněž používá pojem rozptyl (variance), který je druhou mocninou směrodatné odchylky. Směrodatná odchylka průměru je mírou neurčitosti střední hodnoty (spočítané jako aritmetický průměr) téže sady hodnot. Minimum, maximum a rozpětí asi nepotřebují zvláštní komentář. Hodnoty těchto statistik nás mohou upozornit na odlehlou či extrémní hodnotu. Dolní kvartil má tu vlastnost, že seřadíme-li výsledky v sadě vzestupně podle velikosti, potom první čtvrtina výsledků je menší (nebo rovna) dolnímu kvartilu. Analogicky horní kvartil je menší (nebo roven) poslední čtvrtině takto seřazených výsledků. Šikmost je mírou sešikmení rozdělení, špičatost je mírou jeho zašpičatění. Většinou slouží k porovnání s
šikmostí a špičatostí normálního (gaussovského) rozdělení pro posouzení, zda daná sada má alespoň přibližně gaussovské rozdělení. V tabulce IV.5 Souhrnné statistiky (Summary Statistics) je ukázka základních statistik pro metodu A z dat použitých pro konstrukci obrázku IV.1. Velikost výběru (sample size), aritmetický průměr (average, mean), medián (median), rozptyl (variance), směrodatná odchylka (standard deviation),směrodatná odchylka průměru (standard error), minimum a maximum (minimum, maximum), rozpětí (range), dolní a horní kvartil (lower quartile, upper quartile), šikmost (skewness), špičatost (kurtosis). Některé z nich jsou zakresleny v grafu setříděných dat (line plot of sorted data) na obrázku IV.6. Tabulka IV.5 Souhrnná statistika
Variable
: Metoda_A
Sample size = 50 Lowest value = 0,1000 Highest value = 25,0000 Arithmetic mean = 11,4860 95% CI for the mean = 9,4154 to 13,5566 Median = 11,5000 95% CI for the median = 6,7654 to 16,0469 Variance = 53,0849 Standard deviation= 7,2859 Relative standard deviation = 0,6343 (63,43%) Standard error of the mean = 1,0304 Skewness 0,2483 Kurtosis -0,7268 ---------------------------------Chi-square test for Normal distribution : accept Normality (P=0,0930) Chi-square=12,238 DF=7) Percentiles: 2.5th = 0,6250 97.5th = 24,2500 5th = 1,0000 95th = 23,0000 10th = 2,0000 90th = 21,0500 25th = 5,0000 75th = 17,7000
Desatero pro porovnávání výsledků dvou metod 25 Bodový graf setříděných dat 25 Metoda_A, hodnoty
Horní kvartil
15
Aritmetický průměr Medián
10 5
Dolní kvartil
Rozdíl Metoda_A - Metoda_B
20
0,6 0,4
+1.96 SD
0,2
0,30
0,0 -0,2 -0,4
Mean
-0,6
-0,50
-0,8 -1,0 -1,2
-1.96 SD
-1,4
-1,30
-1,6
0 1 3 5 7 9 11 14 17 20 23 26 29 32 35 38 41 44 47 50 Pořadí
0
5
10
15
20
25
30
Pruměr páru měření Metoda_A a Metoda_B
Obrázek IV.6
Obrázek IV.7 Bland-Altmanův graf z předešlých údajů.
8. Transformace dat Reálná data často neodpovídají ani přibližně požadavku na normalitu. Protože řada statistických postupů funguje "dobře" jenom pro gaussovsky (normálně) rozdělená data, je jednou z možných i když ne nejjednodušších cest transformace dat. Transformace dat znamená, že skutečná data přepočítáme podle nějakého "vhodného" funkčního vztahu tak, aby výsledná (transformovaná) data lépe vyhovovala podmínce normality. Po provedení statistických analýz s transformovanými "normálními" daty je třeba provést zpětnou transformaci "výsledků", abychom dostali původní proměnnou.
10. Lež obyčejná, diplomatická a statistická Ani sebelepším rozborem nekvalitních výsledků nelze dosáhnout kvalitních závěrů. Nemá být účelem oslňovat nejmodernějším statistickým aparátem. Účelem má být získat z dat co nejvíce věrohodných informací. Abychom nedopadli tak, že "v průměru" na tom budeme všichni velmi dobře a současně mnoho z nás už skoro nebude vůbec.
9. Rozdílový graf Jedná se o jednoduchý graf, na jehož vodorovnou osu vyneseme průměry párů měření metodou A a B a na svislou osu rozdíly těchto párů. Je vhodné doplnit jej zakreslením vodorovné přímky, která symbolisuje nulové rozdíly (hypotetický ideální stav). Dále zakreslíme vodorovné přímky symbolisující průměrný rozdíl a hranice jeho intervalu spolehlivosti dané typicky dvojnásobkem směrodatné odchylky průměru (standard error). A konečně zakreslíme vodorovné přímky symbolisující tzv. limity shody, t.j. průměrný rozdíl zvětšený resp. zmenšený typicky o dvojnásobek směrodatné odchylky rozdílů. Z rozdílového grafu je po získání jistých zkušeností na první pohled patrná řada prakticky významných skutečností, např. zda v rozdílech je nebo není trend, zda jsou jsou rozdíly alespoň přibližně symetricky rozdělené, zda existuje mezi metodami statisticky významný rozdíl aj. Tento tzv. rozdílový graf dle Blanda a Altmana byl podrobně popsán (1, 4, 5).
LITERATURA 1. Dohnal, L.: Porovnání výsledků dvou metod. Fons, 1998, č. 2, s. 27-31. 2. Dohnal, L.: Chybějící a odlehlé hodnoty, robustní statistiky, neparametrické postupy. Fons, 1999, č. 3, s. 42-49. 3. Dohnal, L.: Porovnání. Desatero pro porovnání výsledků. Fons, 2000, č. 3, s. 27-32. 4. Hollis, S.: Analysis of method comparison studies. JIFCC, 9, 1997, č. 1, s. 8-12. 5. Hyltoft Petersen, P., Stockl, D., Blaabjerg, O. et al.: Graphical interpretation of analytical data from comparison of a field method with Reference Method by use of difference plots. Clin Chem, 43, 1997, č. 11, s. 20392046. www.clinchem.org 6. Meloun, M., Militký, J.: Statistické zpracování experimentálních dat. East Publishing, Praha, 1996, 850 s. 7. Noe, D.A.: Laboratory methods, s. 1-30, in: Noe, D.A.: The logic of laboratory medicine. 2nd edition, 2001. www. users.rcn.com/dennisanoe
Štatistické metódy pre klinickú epidemiológiu a laboratórnu prax 26
Obrázek IV.8 Rozdielový graf pre S-kreatinín meraný referenčnou metódou (REF) a porovnávanou metódou (FIELD) s rôznymi vypočítanými a zakreslenými limitmi (prevzaté z lit. 5). A. Očakávaná distribúcia 95% meraných bodov, 0 +- 2σ(δ) = +- 6,3 µmol/l (95% prediction interval); zároveň sú vyznačené čiary pre očakávanú distribúciu 68% meraných bodov, 0 +- 1σ(δ) . B. To isté ako A, ale s pridaním simulovaných „meraných“ bodov (simulované z gaussovskej distribúcie s priemerom –0,5 a σ = 3,0 µmol/l) . C. To isté ako B, ale s vyznačením štatistických 95% tolerančných limitov 95% konfidenčných limitov, 0 = 2,69σ(δ). D. To isté ako B, s pridaním kalkulovaných čiar podľa Blanda a Altmana, označujúcich priemer (d) +- 2s(d), priemer (d) = - 0,84, s(d) = 3,27 µmol/l . σ(δ) = teoretická hodnota σ odvodená v práci (5). s(d) = standard error of differences = smerodajná odchýlka rozdielov.
