Hodnocení linearity kvantitativních metod Zdenek Kubíček IKEM Praha
Obsah přednášky • proč studovat a ověřovat linearitu kvantitativních testů? • definice linearity, typy nelinearity • preciznost a linearita • vzorky k ověření linearity a analytického měřícího rozsahu – sekvenční a proporcionální ředění
Obsah přednášky-pokračování • Metody hodnocení linearity • • • • • •
Vizuální posouzení linearity Statistický test „lack of fit“ EP6-A CLSI Kroll, Praestgaard, Michaliszyn Kroll korig. Hsieh
• Příklady • hs Troponin-I (Abbott), Galectin3 (Abbott)
Proč studovat a ověřovat linearitu dat/ metody • linearita je zásadní předpoklad „one point“ kalibrace • ISO 15189, 2013 : • 5.5.1.2 Verifikace postupů laboratorních vyšetření Nezávislou verifikací musí laboratoř potvrdit, prostřednictvím získání objektivního důkazu (ve formě výkonnostních charakteristik), že požadavky na výkonnost u daného postupu laboratorního vyšetření byly splněny. Požadavky na výkonnost, které se potvrzují procesem verifikace, musí být takové, které odpovídají zamýšlenému použití výsledků laboratorního vyšetření.
Linearita • kvalitativní analytická metoda je lineární, pokud existuje matematicky ověřená přímá úměrnost mezi pozorovanými hodnotami a pravými (true) hodnotami nebo aktivitami analytu – Hodnocení linearity nevyžaduje nezbytně znalost absolutní hodnot pravých hodnot, mohou být nahrazeny relativními koncentracemi (1,2,…5..)
Kalibrace vs verifikace linearity
Linearita (testování linearity) se vztahuje ke konečnému analytickému výsledku, nikoliv výstupnímu signálu přístroje.
Definice , typy nelinearity
Neprecisnost metody a linearita σ – směrodatná odchylka regrese K posouzení preciznosti:
σ c
Požadavky na vzorky • počet měřených koncentrací – ověření linearity metodou s polynomy (Kroll, EP6-A) min. 5 vzorků – zjištění měřícího rozsahu 7, 9 nebo 11 vzorků
• matrix co nejvíce podobná klinickému použití – – – – – – – –
pool biologického materiálu (sérum, moč, mok, plná krev) biologický materiál ředěný doporučený diluentem biologický materiál suplementovaný analytem (méně než 10 %) komerční referenční materiály biol. materiál ředěný fyziologickým roztokem koncentrované nebo předředěné komerční referenční materiály vodné roztoky analytu roztoky analytu v jiných rozpouštědlech
Příprava vzorků:ředění Sekvenční ředění – doporučeno CLSI EP7 (interference) je přesnější! Proporcionální ředění – doporučeno CLSI EP6-A . Ze vzorků pacientů si připravíme nízký a vysoký pool (L, H). Vhodná koncentrace H je těsně pod koncem kalibrační křivky. Z důkladně promíchaných L a H připravíme smícháním stejných objemů (např. 0,5 ml) precizně fungující pipetou vzorky M, ML,MH. M=(H+L)/2; LM= (M+L)/2; HM=(H+M)/2. Důkladně promícháme několikanásobným převrácení na Parafilmu. V testu linearity měříme každou hodnotu 2x. Vaks JE. Preparation of samples with equally spaced concentrations through mixing. Clin. Chem.1996;42(7):1074-8.
L
L=1
M
LM=2
M=3
H
MH=4
H=5
Metody hodnocení linearity Metoda
Princip
Literatura
Vizuální posouzení linearity Lack of Fit (LoF )
F-test porovnávající rozptyl pro „pooled“ rozptyl mezi opakovanými měřeními a rozptyl průměrů od regresní linie.
1
Kroll et al.(2000)
Kriterium ADL - průměrná odchylka od linearity ze všech měřících bodů mezi nejlépe odpovídajícím polynomem 2. nebo 3. řádu od přímky se srovnává s kritickou hodnotou, za předpokladu, že je dostatečná preciznosti opakovaných měření.
2
Korigovaný Kroll (2008)
Hsieh et. Al navrhují hodnotit kriterium ADL tak, aby hypotéza pro splnění linearity byla formulována jako alternativní.
3
EP6-CLSI (2003)
Odchylka od linearity ze všech měřících bodů mezi nejlépe odpovídajícím polynomem 2. nebo 3. řádu od přímky se srovnává s arbitrárně stanovenou hodnotou δ0.
4
Generalized pivotal quantities GPQ, Hsieh et al. (2009)
Kriterium SSDL (součet čtverců odchylek od linearity) jako metrika pro posouzení.
5
Metody hodnocení linearity - pokračování Metoda
Hodnocení
Vizuální posouzení linearity
Nezbytné jako první krok při testování i při exaktním statistickém postupu.
Lack of Fit (LoF )
Hlavní nehoda LoF: příliš přesné metody na analyzátorech způsobují statistickou významnost (zamítnutí H0:) tam, kde jsou odchylky od linearity laboratorrně nebo klinicky nevýznamné! Prakticky se v laboratorní medicíně nepoužívá.
Kroll et al.(2000)
Oproti protokolu CLSI EP6-A navrhuje kriterium nelinearity ADL i jeho exaktní hodnocení. K výpočtu testovacího kriteria i kritických hodnot lze použít Excel nebo R-plus.
Korigovaný Kroll (2008)
Jiná formulace nulové a alternativní hypotézy pro kriterium ADL. Je konzervativnější než postup podle Krolla (2000). K výpočtu testovacího kriteria i kritických hodnot lze použít Excel nebo R-plus.
EP6-CLSI (2003)
Odchylka od linearity ze všech měřících bodů mezi nejlépe odpovídajícím polynomem 2. nebo 3. řádu od přímky se srovnává s arbitrárně stanovenou hodnotou δ0. Jednoduché, prakticky snadno proveditelné. Chybí stanovené δ0 na klinicko-laboratorní bázi. K výpočtům postačí Excel nebo R-plus.
Generalized pivotal quantities GPQ, Hsieh et al. (2009)
Kriterium SSDL (součet čtverců odchylek od linearity) jako metrika pro posouzení. Výpočetně obtížné.
Princip CLSI EP6-A 5
CLSI EP6-A
4 3
δ0 δ0 Povolená odchylka
2
y.quad
Hodnotí se velikost odchylky mezi predikcí průměru opakovaných měření i-tého bodů nejlépe vyhovujícím polynomem (2. nebo 3. řádu) a přímky .
Linear Fit Quadratic-Best Fit
1
µ Pi − µ Li Limit: δ0
1
2
3 x
4
5
CLSI EP6-A Estimate
Std. Error
t value
Pr(>|t|)
Sigma
b0 b1
-24.795 26.835
2.51 0.757
-9.879 35.461
0 0
3.4
b0
-13.17
2.175
-6.054
0
b1 b2
16.871 1.661
1.658 0.271
10.177 6.127
0 0
b0
-5.89
4.259
-1.383
0.216
b1
6.644
5.567
1.194
0.278
b2 b3
5.561 -0.433
2.066 0.228
2.691 -1.9
0.036 0.106
Jak vybereme „best – fit“ polynom?
1.4
1.2
CLSI EP6-A x level
Measured Predict 1. Mean Order
Predict Polyn.
Difference
%Diff
1
6
2.04
5.361
3.841
188.304
2
25.7
28.875
27.214
-2.701
-9.353
3
53.1
55.71
52.389
-3.321
-5.962
4
81.45
82.545
80.884
-0.621
-0.752
5
112.3
109.38
112.701
2.801
2.561
Diference mezi
µ Pi − µ Li
EP6-A CLSI-přednosti • velikost odchylky od linearity je vyjádřena u každé koncentrace • kontrola neakceptovatelné precisnosti • testovatelný statistický model • snadno proveditelný (programovatelný) ve všech programových prostředích (Excel,R-plus)
hs-Troponin-I, Kroll et al. (2000) b0 b1 b0 b1 b2 b0 b1 b2 b3
x Level 1
Estimate -11098.35 11547.24 -10937.75 11409.583 22.943 -16458.23 19164.543 -2934.457 328.6
Std. Error 660.915 199.273 1443.177 1099.797 179.836 2551.855 3335.661 1238.082 136.7
t value -16.792 57.947 -7.579 10.374 0.128 -6.449 5.745 -2.37 2.404
Pr(>|t|) 0 0 0 0 0.902 0.001 0.001 0.056 0.053
sigma
Measured Predict 1. Mean Ord.
Predict Polyn.
Difference
%Diff
448.89
-348.434
-77.621
2.25
448.89
891.2
951.6
733.6
2
13154.65 11996.13 11996.13
765.697
6.383
3
22908.25 23543.37 23543.37
-45.886
-0.195
4
34671.85 35090.61 35090.61 -811.583
-2.313
5
46979.85 46637.85 46637.85
0.944
440.206
Galectin3, Kroll et al. (2000) Estimate Std. Error t value
Pr(>|t|)
Sigma 3.4
b0 b1
-24.795 26.835
2.51 0.757
-9.879 35.461
0 0
b0
-13.17
2.175
-6.054
0
b1 b2
16.871 1.661
1.658 0.271
10.177 6.127
0 0
b0
-5.89
4.259
-1.383
0.216
b1
6.644
5.567
1.194
0.278
b2 b3
5.561 -0.433
2.066 0.228
2.691 -1.9
0.036 0.106
1.2
Differenc e
%Diff
Measured Predict 1. Predict x level Mean Order Polyn.
1.4
1
6
2.04
5.361
3.841
188.304
2
25.7
28.875
27.214
-2.701
-9.353
3
53.1
55.71
52.389
-3.321
-5.962
4
81.45
82.545
80.884
-0.621
-0.752
5
112.3
109.38
112.701
2.801
2.561
Galektin3 -detail -
Souhrn • vzorky pro měření připravujte s maximální pečlivostí • sekvenční ředění je preciznější a pravdivější, než proporcionální ředění doporučované CLSI EP6-A • pro vyhodnocení použijte protokol CLSI EP6-A, pokud máte k dispozici hodnotu δ0 • V případě, že chybí spolehlivý údaj δ0, testujte velikost θ0 (ADL) statisticky (Kroll, Hsieh).
Co prostudovat? 1. https://onlinecourses.science.psu.edu/stat501/node/41. Dostupné 2013/03/20. 2. Kroll MH, Praestgaard J, Michaliszyn E, Styer PE. Evaluation of the Extent of Nonlinearity in Reportable Range Studies. Arch Pathol Lab med. 2000; 124:13311338. 3. Hsieh E, Liu JP. On statistical evaluation of linearity in assay validation. J. Biopharm. Stat. 2008; 18:677-690. 4. CLSI. Evaluation of the Linearity of Quantitative Measurement Procedures: A Statistical Approach; Approved Guideline. CLSI document EP6-A (ISBN 1-56238-4988). CLSI, 940 West Valley Road, Suite 1400, Wayne, Pennsylvania 19087-1898 USA, 2003. 5. Hsieh E, Hsiao ChF,Liu JP.Statistical methods for evaluating the linearity in assay validation. J. Chemometrics 2009; 23:56-63. 6. Vaks JE. Preparation of samples with equally spaced concentrations through mixing. Clin. Chem.1996;42(7):1074-8.
Komerční set :Audit MicroControl • Audit MicroCV Immunoassay linearity Set • pro kontrolu linearity kortizolu, estradiolu, FSH, feritinu, folátu, fT4, hCG, LH , progesteronu, prolaktinu, TSH, T3, T4, testosteronu a VitB12 na Siemens Centaur. • 5 koncentrací, 5x5 ml • vyhodnocení programem AUDITOR QC online na www. auditmicro.com
„Lack of fit, LoF“ • termín znamená míru neshody empirického modelu s teoretickým, nedostatek souladu • test je standardní součástí statistických balíků • základ prvního protokolu CLSI EP6-P, 5 vzorků se 4 opakovanými měřeními • F-test porovnávající rozptyl pro „pooled“ rozptyl mezi opakovanými měřeními a rozptyl průměrů jednotlivých bodů od regresní linie
„Lack of fit, LoF“ -pokračování • H0:neexistuje „lack of fit“ vs • HA: existuje „lack of fit“ • hlavní nevýhoda LoF: příliš přesné metody na analyzátorech způsobují statistickou významnost (zamítnutí H0:) tam, kde jsou odchylky od linearity laboratorně nebo klinicky nevýznamné!
Kroll et al. (2000) L
θ = ADL =
∑ (μ
- μ Li ) / L 2
Pi
i=1
μ
H0: θ ≤ θ0 vs. Ha: θ > θ0 Kroll, 2000 H0: θ > θ0 vs. Ha: θ < θ0 Hsieh, Liu , Kroll korig (2008) ADL –průměrná odchylka od linearity, L – počet koncentrací
