MUDr. Jaroslava Ambroová, Oddìlení klinické biochemie a hematologie, Nemocnice Prachatice
Srovnání metod NT-proBNP (Roche) a BNP (Abbott) Motto: Statistika nuda je, má vak cenné údaje
aneb, jak pouívat statistické nástroje ke zpracování dat nesprávnì
w
Porovnávání metod se provádí, pokud chceme zhodnotit relativní shodu mezi dvìma metodami, které mìøí stejnou biomedicínskou velièinu. Zpùsob: Obvykle se provádí srovnání novì navrené metody s metodou referenèní nebo tzv. zlatým standardem, co je metoda, která pøedstavuje aktuálnì nejlepí metodu vzhledem k parametrùm správnosti (systematická chyba) a pøesnosti (opakovatelnost výsledkù). Srovnání (srovnávací experiment) se provádí zmìøením urèitého standardního poètu objektù obìma metodami souèasnì, co pro parametrické zpracování obvykle èiní > 50 mìøení (Hendl, 1997).
w w
K
nìco málo na úvod: Tabulka è.1 poskytuje základní seznámení s rodinou natriuretických peptidù, biomedicínskými velièinami èili entitami, jejich mìøením se srovnávané metody zabývají. Tabulka è. 2 uvádí základní fakta o srovnávaných metodách. J Pøedpoklad prvního pohledu: OBÌ MÌØENÉ VELIÈINY SE SOBÌ NEROVNAJÍ
Tab. è. 1: Základní seznámení s natriuretickými peptidy
Obrázek è.1 pøedstavuje grafické znázornìní výsledkù získaných mìøením obou sledovaných biomedicinských entit porovnávanými metodami. Tab. è. 2: Základní údaje metody: BNP (Abbott), NT-proBNP (Roche)
Obr. è. 1
J Závìr è. 1: Obrázek je dùkazem prvního pøedpokladu, a to, e trendy obou mìøených velièin se jistým zpùsobem sledují, jejich hodnoty se vak výraznì nominálnì lií: èím vyí NT-proBNP, tím vìtí rozdíl (Yeo KT, 2004).
Základní popisné statistické charakteristiky velièin namìøených porovnávanými metodami uvádí tabulka è.3. Následující tøi obrázky pøedstavují odliné zpùsoby grafického zobrazení základních popisných statistických charakteristik získaných výpoèty z dat namìøeLabor Aktuell 0304
19
ných porovnávanými metodami. Obrázek è. 2 je klasický Tukeyho krabicový graf, v nìm je zøetelný výrazný rozdíl rozptylù obou metod, pøímkami znázornìné konfidenèní intervaly obou souborù dat; èervené krouky odpovídají hodnotám, které je moné povaovat za odlehlé bez pøedchozí stratifikace dat. Tab. è. 3: Základní popisné statistické charakteristiky
Dalí èást tohoto sdìlení se zabývá nejèastìjími zpùsoby èastokráte nesprávné aplikace nástrojù statistického zpracování dat, typickými pro srovnávací experimenty.
Kapitola è. 1 - tj. obvyklé parafernálie uívané pro srovnávání metod: Obr. è. 4: Youdenùv graf
Obr. è. 2: Tukeyho krabicový graf
Obrázek è. 3 pøedstavuje bodový graf závislosti velièiny y na x.
sledují tedy grafy (obr. è. 5 a 6), které zobrazují: a) distribuèní køivku NT-proBNP vèetnì køivky normálního rozloení
Obr. è. 5: Distribuèní køivka NT-proBNP
b) distribuèní køivku BNP vèetnì køivky normálního rozloení Obr. è. 3: Bodový graf závislosti velièiny y na x
Lepí grafické zpracování namìøených dat poskytuje tzv. Youdenùv graf (obr. è. 4), v nìm lze z ètvereèkù znázoròujících namìøené hodnoty a jejich soustøedìní podél smìrnice svírající 45o s osou x zjistit pøítomnost proporcionální chyby srovnávaných metod. Zakroukovaná oblast pøedstavuje velmi názornì 95 % konfidenèní interval namìøených údajù. Dalí nezbytnou souèástí popisu mìøených entit je zjiovaní typu jejich distribuce v daném statistickém výbìru. Ná20
Labor Aktuell 0304
Korelaèní koeficient, párový t-test a regresní pøímka u Pro sumarizaci dat získaných srovnávacím pokusem je dùleité vybrat vhodné statistiky (Westgard 1974,1998). u Obvyklý odborný pøístup: parametrické metody pøedpokládající normální rozloení sledovaného parametru tj.: Pearsonùv korelaèní koeficient, párový t-test a jednoduchá regresní analýza mìøení získané referenèní metodou se povauje za nezávisle promìnnou a body prokládáme pøímkou. u Dùleité: Èetnost pouívání tìchto statistik není v pøímé souvislosti s jejich adekvátností (Pche). 1. Korelaèní koeficient u Výhoda: citlivý k náhodné chybì
Nevýhoda: a) citlivý k rozsahu rozmezí mìøení b) neodhalí pøítomnost proporcionální ani konstantní systematické chyby u
J Kouzlo: Zvìtením rozsahu mìøení dosáhneme znaèného pøiblíení korelaèního koeficientu kà1(Pche)
Obr. è. 6: Distribuèní køivka BNP
L Závìr è. 2: Mìøené entity (NT-proBNP a BNP) nemají v naem výbìru normální Gaussovské rozloení (Pche).
Snad nejvìtí chyba spoèívá v tom, e pøisuzujeme dùleitost tomu, e korelaèní koeficient je významnì rùzný od nuly. Ve srovnávacích experimentech není tento typ uvaování na místì, pøesto se údaje o této významnosti pravidelnì objevují v hodnotících zprávách. Odpùrci korelaèního koeficientu tvrdí,
e tato statistika by se nemìla nikdy pouívat pøi hodnocení dat srovnávacích experimentù!!!
a) Pearsonùv korelaèní koeficient - vzorec:
Párový t-test u Testovací statistika párového t-testu se poèítá pomocí smìrodatné odchylky diferencí sd párù mìøení a prùmìrné diference md. Tyto statistiky se uvádìjí ve zprávách spolu se t-statistikou, která se poèítá podle vzorce:
kde n je poèet mìøení u sd
Tab. è. 4: Výpoèet Pearsonova korelaèního koeficientu r z namìøených dat
b) Spearmanùv koeficient korelace poøadí u Úèel: slouí k detekci souhlasného èi nesouhlasného trendu velièin Spearmanùv koeficient korelace poøadí vzorec:
Tab. è. 5: Výpoèet Spearmanova korelaèního koeficientu poøadí (èti ró, Pche) z namìøených dat
c) Kendallùv korelaèní koeficient neparametrických testù - vzorec:
kde C= poèet konkordantních, D = poèet nekonkordantních párù
kvantifikuje náhodnou chybu zpùsobenou náhodnými chybami srovnávané i referenèní metody, ale neodráí specificky náhodnou chybu srovnávané metody, protoe ji zvìtuje náhodná chyba referenèní metody. Jestlie se velikosti náhodných chyb mìní podle úrovnì mìøení (ná pøípad, Pche), ovlivòuje to silnì hodnotu sd. Tato charakteristika pak odráí prùmìrnou variabilitu, která se obtínì interpretuje. Bohuel také prùmìrná diference md poskytuje hodnovìrný odhad systematické chyby pouze v pøípadì, kdy proporcionální chyba není pøítomna (v naich datech bohuel pøítomena je, Pche). Rada resp. návrh z pléna (Dr. F., J. Hradec, 2004): Pouít neparametrickou obdobu párového testu (Wilcoxonùv U-test). L Závìr è. 4: Prùmìrná diference obou metod se výraznì lií. Pozn. pod èarou (pro Dr. F.): Wilcoxonùv tzv. U-test se také nehodí, nebo neparametrický test ≠ bez pøedpokladù, bohuel v tomto konkrétním pøípadì není splnìn pøedpoklad stejných rozptylù porovnávaných metod!
Co dál??? K Zatímco korelace se zabývá vzájemným vztahem porovnávaných velièin, regresní analýza hledá matematický nástroj, který by závislou velièinu pøedpovìdìl na základì velièiny nezávislé... Následují proto pøíklady ménì èi více smysluplného uití rùzných regresních modelù na námi namìøená data
1. Lineární regrese u Pouití: jen v pásmu lineárního vztahu mezi obìma metodami mìøení u Pøedpoklad: konstantnost smìrodatné chyby odhadu v celém rozmezí hodnot u Nevýhoda: neuvauje náhodnou chybu referenèní metody V jednoduché regresi hledáme pøímku ve tvaru:
y = a + bx
Minimalizací souètu ètvercù odchylek bodù od hledané pøímky ve smìru kolmém na osu x vzhledem k parametrùm regresní pøímky (a,b).
kde , pøièem váhy wi jsou rùzné od jednièky pouze pøi váené regresi. Lineární regrese, graf (obr. è. 7). Srovnání obou metod lineární regresí, graf, obr. è. 8, v nìm obì mìøené velièiny mají na obou osách stejný rozsah. Standardní rezidua dle grafu, obr. è. 9, lineární regrese (rozdíly hodnot srovnávané metody od regresní pøímky).
Tab. è. 7: Párový t-test - aplikace na namìøená data Tab. è. 6: Výpoèet Kendallovy τ-statistiky (èti tau, Pche) poøadí z namìøených dat
L Tab. è. 8: Wilcoxonùv párový U-test - aplikace na namìøená data
L Závìr è. 3: Ve vech pøedchozích pøípadech jmenovaných statistik bylo nutno zamítnout o nich nulovou hypotézu a pøijmout její alternativu, co nemá ádný vliv na získání objektivního závìru o pøípadné korelaci srovnávaných metod.
Tab. è. 9: Lineární regrese, charakteristiky
Labor Aktuell 0304
21
vztahu mezi obìma metodami mìøení. Nelinearita v datech znehodnocuje odhady absolutního èlenu i smìrnice, co vede ke patnému odhadu systematické chyby na jednotlivých rozhodovacích hladinách, kde se mìøení pouívá. Odhady koeficientù regresní pøímky jsou toti velmi citlivé k vychýleným hodnotám (a ty se bohuel naich datech nacházejí, Pche). 2. Demingova regrese u Demingova metoda váené, ortogonál-
Obr. è. 7: Lineární regrese
ní regrese, která zohledòuje pøítomnost náhodných chyb u hodnocené i referenèní metody a hledá pøímku, která minimalizuje souèet ètvercù vzdálenosti bodù od ní. Vzdálenosti se mìøí pod úhlem od regresní pøímky, který je závislý na pomìru rozptylù charakterizujících náhodnou chybu obou metod. u ALE: Odhad regresního koeficientu se dìje z korelaèního koeficientu a smìrodatné odchylky => citlivé k vychýleným hodnotám.
Obr. è. 8: Srovnání metod lineární regrese
Obr. è. 11: Srovnání obou metod, Deming
Kapitola è. 2 - neparametrické nástroje srovnávání: 1. Passing-Bablokova neparametrická metoda u Výhoda: neparametrická metoda, která nepøedpokládá normální rozloení namìøených hodnot. u Výhoda: necitlivost k náhodným chybám obou metod. u Odhad regresního koeficientu se dìje z mediánu èásteèných odhadù tohoto koeficientu.
Tab. è. 10: Demingova regrese, charakteristiky
Demingova regresní pøímka, graf, obr. è. 10. Tab. è. 10: Passing- Bablokova metoda konverze, charakteristiky
Passing-Bablokova metoda konverze, obr. è. 12.
Obr. è. 9: Standardní rezidua
L Závìr è. 5: u Smìrnice svìdèí o existenci proporcionální systematické chyby sledované metody. u Rozloení standardních reziduí svìdèí o moné výhodnosti pøípadné stratifikace pøípadných dalích dat z pøedpokládaných následných srovnávacích experimentù do více ne jednoho výbìrù, napø. dle klinické klasifikace (napø. NYHA). Jednoduchá lineární regresní analýza se mùe pouít jen v pásmu lineárního 22
Labor Aktuell 0304
Obr. è. 10: Demingova regresní pøímka
Srovnání obou metod Demingovou regresí na grafu, obr. è. 11, v nìm obì mìøené velièiny mají na obou osách stejný rozsah. L Závìr è. 6: ádný markantní rozdíl ve srovnání s výsledkem lineární regrese. Smìrnice svìdèí o existenci proporcionální systematické chyby posuzované metody.
Obr. è. 12: Passing-Bablokova metoda konverze
Srovnání obou metod Passing-Bablokovou konverzí, graf, obr. è. 13, v nìm obì mìøené velièiny mají na obou osách stejný rozsah.
sloky systematické chyby u Smìrnice => existence proporcionální sloky systematické chyby u Test na linearitu: p > 0.1 (0,01>p<0,05) => potvrzuje oblasti nelineárního vztahu výsledkù obou metod u Je pøítomna tzv. heteroskedasticita v analýze reziduí a z toho vyplývá => sloitìjí vztah sledovaných velièin: potøeba stratifikace dat?, pøípadné matematické transformace? Obr. è. 13: Srovnání metod Passing-Bablok novou konverzí
2. Test na linearitu
3. Bland Altmanùv rozdílový graf adekvátnìji hodnotí nepodobnost mìøení obìma metodami. Ve srovnávacích experimentech nás pøece zajímají pøedevím rozdíly (x-y) a ne rozdíly hodnot srovnávané metody od regresní pøímky. Na osu y proto nanáíme rozdíl hodnot (x-y), získaných referenèní a srovnávanou metodou a na osu x jejich prùmìr (x-y)/2, abychom vyruili jev regrese k prùmìru a umìlou korelaci mezi hodnotami (x-y) a x.
Obr. è. 14: Test na linearitu(diagram CUSUM)
Analýza reziduí Passing-Bablok (rozdíly hodnot srovnávané metody od regresní pøímky) obr. è. 15.
Obr. è. 16: Bland Altmanùv rozdílový graf
Obr. è. 15: Analýza reziduí Passing-Bablok
J Závìr è. 7: u Prùseèík => existence konstantní
Graf na obr. è. 16, je doplnìn o 3 kontrolní èáry, které reprezentují prùmìr rozdílù, od nìho jsou zakreslené pøímky ve vzdálenosti 1,96 sd na obì strany Tyto èáry se uplatòují pøi identifikaci vychýlených hodnot, pro posouzení podobnosti metod je ale lepí èáry volit na základì pøijatých kritérií o celkové povolené chybì. L Závìr è. 8: Lineární trend patrný v poloení ètve-
reèkù svìdèí o neshodì v identitì obou metod.
Kapitola è. 3: Závìry èi uzávìry? Resumé: u Pøi srovnávání metod NT-proBNP (Roche) a BNP (Abbott) jsme obdreli soubory hodnot nominálnì odliných a neposkytujících jednoduchou matematickou funkcí srovnatelné výsledky. Dalo se to pøedpokládat, toti e nelze srovnávat hruky s jablky (Pche). u Metody poskytují pouitelné výsledky s ohledem na pøísné dodrení podmínek stanovení a interpretaci dle pøísluných, výrobcem stanovených rozhodovacích mezí. Mùj osobní uzávìr: Obì metody, by se nedají Pukvorcovou metodou srovnávat, se i na naem trhu bájeènì uplatní, nebo: 1. jedná se o metody potøebné s velkou diagnostickou negativní prediktivní hodnotou, 2. kadá z nich má své fanouky a vysokou úroveò diagnostické pøesnosti (Mueller T: Clin Chim Acta, 2004; 341: 41-8), 3. a rozhodující pro jejich uplatnìní bude: a) zájem klinikù b) CV reprodukovatelnosti, opakovatelnosti a správnosti dané metody v dané laboratoøi c) finanèní monosti. Pozn.: 1. Ke zpracování dat bylo pouito bìných PC programù Excel Analyse-it vsn 1.71 a MedCalc vsn 7.4.1.2. 2. J ,K , L = po øadì 1 standardní pozitivní, neutrální, negativní Pche.
ROCHE - mezinárodní události a komentáøe n 28/6/2004 (Basilej - výcarsko, Raritan - N. Yersey, USA): Ortho-Clinical Diagnostics (souèást Johnson & Johnson Comp.) získává èásteèná práva na klíèový kardiomarker NT-proBNP Roche.
Dohoda umoní Ortho-Clinical Diagnostics vyuít patentová práva Roche Diagnostics k vývoji, výrobì a prodeji NT-proBNP a doplnit tak svou nabídku kardiomarkerù. Vstup NT-proBNP Roche
do obchodní sítì Ortho-Clinical Diagnostics významnì pøispìje k dostupnosti a vyuití tohoto kardiomarkeru mìstnavého srdeèního selhání a akutních koronárních syndromù.
Labor Aktuell 0304
23