Za hranice nejistoty(2) MUDr. Jaroslava Ambrožová OKB-H Nemocnice Prachatice, a.s.
19.5.2014
1
TNI 01 0115: VIM EP15-A2 „User Verification of performance for Precision and Trueness“ C51-A „Expression of measurement Uncertainty in Laboratory medicine“ „Doporučení k provádění validace a verifikace analytických metod v klinických laboratořích“; KBM 1/2011
Doporučené postupy 19.5.2014
2
Lze v jediném experimentu verifikovat preciznost a současně odhadnout nejistotu měření?
Odpověď: „Za hranice nejistoty“ – KBM 2/2013
Odkazy:
CLSI EP15-A2 CLSI C51-A
Klíčová otázka č.1… 19.5.2014
3
Proces ověřování a potvrzení, že v konkrétní „L“ lze za běžných podmínek rutinní činnosti u požadovaných výkonnostních charakteristik analytické metody docílit hodnot uvedených výrobcem v aktuální verzi „IFU“ (tj. v PL)
Definice Verifikace … 19.5.2014
4
… lze provádět jen v souvislosti s výrobky uvedenými na trh v souladu se zásadami Direktivy IVD 98/79 EC disponujícími značením CE Postup a rozsah validace IVD MD je dán normou: ČSN EN 13612
Verifikaci… 19.5.2014
5
Charakteristiky výkonnosti, které se srovnávají s daty uvedenými v instrukcích výrobců (PL) nebo získanými v průběhu validace:
Opakovatelnost „O“
Mezilehlá Preciznost „MP“ Vychýlení (bias) „B“
Pracovní rozsah „PR“ Nejistota měření
Verifikace - minimální rozsah:
19.5.2014
6
NEJISTOTA
Opakovatelnost „O“ Mezilehlá preciznost „MP“ Reprodukovatelnost „R“
Instituce vydávající doporučení, pokyny a protokoly: CLSI = Institut pro standardizaci laboratorní medicíny - např.:
◦ EP05-A2b (VALIDACE) ◦ EP15-A2 (VERIFIKACE) ◦ C 51-A (NEJISTOTA)
ICH
= Mezinárodní harmonizační konference
Nejistota spojená s precizností…
19.5.2014
7
Standardizace = tam, kde existuje plná metrologická návaznost tj. ◦ Je primární kalibrátor a referenční metoda.
Harmonizace = tam, kde existuje jen částečná metrologická návaznost tj. ◦ Není referenční metoda ◦ K dispozici je jen firemní vnitřní kalibrátor s vylepšenou průměrnou hodnotnou ze všech postupů.
IFU a metrologická návaznost … 19.5.2014
8
19.5.2014
9
◦ Nepřikazují, že klinická laboratoř zavádějící nový kvantitativní test musí ověřit preciznost, pravdivost nebo provést test porovnání či studii výtěžnosti ◦ Cíl = snaha pomoci, Jak a Proč provádět relevantní, v praxi použitelné experimenty zaměřené na: Vlastní průběh testů a analýzu dat Závěr a interpretace
Doporučení, která pomáhají … 19.5.2014
10
regulační požadavky regulačních institucí ….. jsou dány normami např. ISO = konsensus účastníků dohody klinických laboratoří, výrobců a regulačních institucí
Doporučení: Referujte o použitých doporučeních/směrnicích ve svých SOP!
Doporučení /=? 19.5.2014
11
…. i velmi malé laboratoře provádějí své výpočty elektronicky Znamená to „Nechat věcem volný průběh?“ ….POZOR → vaše výsledky se mohou lišit! Rozumné volby software ke zpracování dat: ◦ Tabulkové software (ANOVA) ◦ Software dodávané výrobcem analýz/zkoušek ◦ Komerční statistické software, např.:
StatisPro … (CLSI) Analyse-it Method Evaluation Edition (Excel) EP-Evaluator ... (Data Innovations) Variance Function Program … (AACB) MedCalc (MedCalc Software, Belgium)
„Laissez-faire“?...
aneb
19.5.2014
12
Formuláře a kalkulátory programu SLP Kalkulátory na webu cskb.cz Kalkulátory v programech LIS POZOR → softwarové implementace se mohou navzájem mírně lišit v detailech a poskytovat mírně i významně odlišné statistické závěry!!!
Ryze české „laissez-passer“… 19.5.2014
13
SOP by měl informovat o použitých doporučeních ≈ pokynech, dokumentech a zdrojích informací, a zejména o implementaci důležitých detailů:
◦ Postupů specifických pro konkrétní analyt a měřicí systém ◦ Software nástrojů a technik použitých statistickému zpracování dat
Odchylky od doporučení/směrnic nutno vždy opatřit zdůvodněním Varovat se vágních interpretací a nejednoznačných závěrů
Kvantitativní test…
19.5.2014
14
…pro exaktnost testů preciznosti, výtěžnosti a porovnání jsou klíčové informace:
◦ Typ vzorku (matrice, složení) ◦ Cílové hladiny (koncentrace) měřené veličiny ◦ Účel testů:
Zdroj definitivních informací o charakteristikách preciznosti ? Základ přiřazení vztažných hodnot a nejistot vzorkům v testech výtěžnosti ? Metoda komparace vzorků pacientů?
Volba testu → účinnost:
19.5.2014
15
Lze v jediném experimentu posoudit více provozních charakteristik (preciznost & pravdivost & výtěžnost)? ◦ Jaká je účinnosti takových experimentů?
Klíčová otázka č.2: 19.5.2014
16
Smíšené pooly (čerstvých ?!) vzorků pacientů jsou jasnou 1 pro tento typ experimentů – Proč? ◦ Maximalizace významu k předpokládanému využití v L
L zpracovává více než jednu matrici vzorků a tyto matrice mohou vykazovat v testech různé charakteristiky preciznosti. Musí L do experimentů zahrnout jednu sadu 2-3 poolů každého jednotlivého typu matrice?
QC vzorky? ◦ Jejich charakteristiky preciznosti se mohou lišit od vzorků pacientů Musí L začlenit i QC vzorky do experimentů?
Jaké matrice vzorků použil výrobce při generování tabulky preciznosti v PL (jsou „tvrzení “ výrobců kontrolována?) Poskytují vodítko ... nebo matou?
Testy preciznosti - matrice vzorků:
19.5.2014
17
Poolované vzorky pacientů obecně nemohou mít známé cílové hodnoty. ◦ Výjimka: Pooly, které byly rutinně zpracované uživatelskou (starou) stávající metodou pro účely QC
QC vzorky? Mají „známé hodnoty“, ale ... ◦ Jsou řazeny nízko v hierarchii žebříčku referenčních materiálů a obvykle nemají dostupné informace o nejistotě ◦ V celkové zátěži L mají podružný význam a výrobci je obvykle nezahrnují do tabulek v PL ◦ Použití QC vzorků obecně představuje nežádoucí kompromis jak v testech zaměřených na preciznost tak pro studie výtěžnosti Závěr: testy preciznosti a výtěžnosti dle EP15 A2 lze provádět současně, ale nikoliv se stejnými vzorky!!!
Testy výtěžnosti - matrice vzorku…
19.5.2014
18
Typ vzorku – vzorky musí být komutabilní Vlastnost vztažné hodnoty — určuje potenciální způsob využití testu výtěžnosti Nejistota „U“ známé hodnoty měřené veličiny - EP 15 A2 uvádí tři případy určení „verifikačního intervalu" kolem vztažné hodnoty (oblasti přijatelnosti): A. „U“ je v nějaké formě uvedena B. „U“ je počitatelná ze surových dat při měření vzorků jako SD/ √n : ◦ z testů způsobilosti, kde n je počet zúčastněných laboratoří ◦ z QC programů respektující peer-skupiny (nemusí být považováno za uspokojivou volbu) C. „U“ není k dispozici – pak U = 0: ◦ Př.: výrobce kontrolního materiálu uvede cílovou hodnotu a "rozmezí" (nebo SD), ale neuvede n
Testy výtěžnosti
– informace o nejistotě… 19.5.2014
19
Vhodné koncentrace („měřené veličiny") pro testy: ◦ Klinicky relevantní meze: ◦ Lékařské rozhodovací meze, cut-off, předpokládané terapeutické (akční) meze ◦ Referenční intervaly („normální rozmezí“) - několik skupin? ◦ Celý rozsah v metodě uváděného měřeného intervalu? ◦ Hladiny uvedené v tabulkách preciznosti v PL ◦ Vhodné pro verifikace preciznosti (ale ne pro klinicky zaměřené úvahy) Testy verifikace preciznosti a výtěžnosti ◦ Co lze zjistit při testování pouhých 2-3 hladin vzorků ?? Testy porovnání ◦ Na jakých koncentracích se má analýza provádět, aby poskytla smysluplný odhad relativního vychýlení nebo % bias?
◦ Částečně závisí na spektru vzorků pacientů, které jsou aktuálně k dispozici
Cílové hladiny - problém všech testů… 19.5.2014
20
Rozsah posuzování „MP“ v L závisí na okolnostech, za nichž se uživatel zamýšlí metodu používat. Cíl: posoudit vliv náhodných jevů na těsnost shody opakování analytického postupu. Za významné neopomenutelné příspěvky variability se považují: čas (v rozsahu dní), operátor, zařízení atd. a jejich vliv není nutno studovat separátně. Preferuje se soulad se zvolenou experimentální předlohou (validačním vzorem ~ protokolem).
Mezilehlá preciznost 19.5.2014
21
Nedostatečné = odhadovat preciznost metod v „L“ jen stanovením „O“ v jedné sérii ~ „preciznost v sérii“ Nezbytné = odhadnout celkovou intralaboratorní preciznost ~ „MP“
Definice – norma ČSN ISO 5725 (1,3) Dokumenty CLSI EP05-A2 a EP15-A2b
Odhad preciznosti 19.5.2014
22
MP se může lišit v průběhu analytického rozsahu metody nejméně 2 hladiny • Každá hladina se vyšetřuje po dobu ≥
20 dnů, vždy duplikát, 2 série/den, série jsou odděleny ≥ 2 hodinami • V každé sérii ≥ 1 kontrolní vzorek, jiný než ten, který se případně používal pro stanovení MP. • V sériích nebo dnech nutno měnit vzájemné pořadí zkušebních materiálů pro MP a QC • Každá série obsahuje ≥ 10 vzorků pacientů (simulace skutečného provozu) Pozn: „≥“ znamená „minimálně“ 80 vzorků
EP05-A2 ≈ validace výrobce 19.5.2014
23
Experiment se provádí 5 dnů se 3 replikáty, nejméně na 2 hladinách ◦ Pozn.: Každý test začíná vyloučením extrémních hodnot (Grubbsův test) = takové hodnoty, u nichž absolutní rozdíl mezi replikáty převyšuje 5,5 násobek SD stanovené v předběžném testu preciznosti tyto jsou odmítnuty, prošetřena a odstraněna jejich příčina před opakováním další série
◦ EP15-A2 = měření 30 vzorků ◦ EP15-A3 = měření 50 vzorků
EP15-A2 ≈ verifikace v L 19.5.2014
24
EP15-A2 se obecně používá k ověření, že metoda provádí v souladu s tím, jak tvrdí výrobce odhad nepreciznosti dle výše uvedeného výpočtu se musí srovnávat s tvrzením výrobce. Pokud SD „O“ a „MP“ v L < SD výrobce, pak uživatel prokázal, že preciznost je v souladu s tvrzením výrobce a žádné další výpočty nejsou nutné. Pokud dosažené hodnoty v L > než uvádí výrobce, nutno testem zjistit, zda je tento rozdíl je statisticky významný !?!
Hodnocení výsledků
19.5.2014
25
Kde: n je počet opakování za den sr = odhad preciznosti v sérii ~ opakovatelnosti sb = odhad preciznosti mezi sériemi ~ z rozptylu denních průměrů
Odhad celkové „MP“ v L: 19.5.2014
26
Příklad odhadu „MP“ dle EP15-A2: Vápník výsledky na hladině 1 (mmol / l). Série / den
Replikát 1
Replikát 2
Replikát 3
1
2,015
2,013
1,963
2
2,019
2,002
1,979
3
2,025
1,959
2,000
4
1,972
1,95
1,973
5
1,981
1,956
1,957
1. Opakovatelnost ~ preciznost v sérii Výpočet průměru opakování z každého dne; pak od každého výsledku odečteme průměr z daného dne a dále mocninu výsledné hodnoty. Např. v 1. dni = průměr ze tří hodnot (2,015 + 2,013 + 1,963) / 3 = 19.5.2014 2 1,997. Takže 1. den počítáme: (2.015-1.997) = 0,00032.
27
Tabulka 2 Průměr dne 1,997 2,000 1,995 1,965 1,965
konečné výsledky. (R1 2 průměr) 0,00032 0,00036 0,00092 0,00005 0,00027
(R2 2 průměr) 0,00026 0,00000 0,00127 0,00022 0,00008
(R3 2 průměr) 0,00116 0,00044 0,00003 0,00006 0,00006
Součet čtverců rozdílů je 0,0055, a výpočet opakovatelnosti ~ preciznosti v sérii, kde D = 5 a n = 3
Další krok: výpočet preciznosti mezi sériemi ~ z rozptylu denních průměrů dle rovnice 19.5.2014
28
Tab. č. 3: Sumace pro zbývající dny Průměr dne 1.997 2.000 1.995 1.965 1.965
0.000162 0.000247 0.000108 0.000371 0.000384
Součet mocnin rozdílů dává celkem 0.00127 Rozptyl denních průměrů
Preciznost mezi sériemi 19.5.2014
29
Celková „MP“ ~ EP15-A2
Aplikace hodnot z příkladu:
19.5.2014
30
ANOVA (one-way)
19.5.2014
31
ANOVA…
19.5.2014
32
Srovnávat srovnatelné hodnoty! (např. s aktuálním TMU resp. Dmax SEKK)
Odhad nejistoty měření 19.5.2014
33
Odhad v experimentu (SD) "O" ~ Preciznost v sérii Preciznost mezi sériemi
"MP„ ~ Celková preciznost
Deklarace výrobce (SD)
0,023 1,15 % 0,022 1,1%
Rozdíl 0,001 0,05%
0,0178
?
?
0,026 1,3%
0,024 1,2%
0,002 0,1%
Vyhodnocení „MP“ ~ EP15-A2 19.5.2014
34
Statistika: kritická, verifikační hodnota „O“~ EP15-A2
kde: σr = deklarovaná opakovatelnost. C = 1-α / q procento bodů z Chi-kvadrát distribuce. α = % chybného odmítnutí a q = počet testovaných hladin v = počet stupňů volnosti a je v tomto případě rovna D • (n-1)
0,023 ≤ 0,031 mmol/l 19.5.2014
35
Statistika: kritická, verifikační hodnota „MP“~ EP15-A2
Kde: σl je deklarovaná intra-laboratorní ~ celková SD T je efektivní počet stupňů volnosti pro intra-laboratorní odhad preciznosti - kalkulátorem dle vztahu:
0,026 ≤ 0,031 mmol/l19.5.2014
36
19.5.2014
37
