Validace a verifikace molekulárně biologických metod v analýze humánního a extrahumánního genomu - hledání racionálního konsensu místo hry s čísly P. Hložek1, M. Sittová1, M. Dendis1, J. Mrázek2 GeneProof a.s.1 ZDRAVOTNÍ ÚSTAV se sídlem v Ostravě2
Jaké vztahy je možno definovat mezi validací a verifikací?
Validace výrobcem Deklaruje schopnost PCR soupravy poskytovat klinicky relevantní (klinikou vyžadovaná) a použitelná data…
Verifikace uživatelem Potvrzuje schopnost PCR soupravy parametrů uvedených ve validaci…
dosahovat
Při ideálním stavu je tedy výsledek: Verifikace parametrů uživatelem
= parametrům uvedeným při Validaci výrobcem
Jaká je realita tohoto tvrzení v případě komerčně dostupných PCR diagnostik?
Vztahy validace a verifikace
POPIS PARAMETRŮ PCR SOUPRAVY
Vztahy validace a verifikace
„LÍBIVÉ“ VÝSTUPY
POUŽITELNÝ VÝSLEDEK
STATISTICKY KOREKTNÍ VÝSTUPY
Vztahy validace a verifikace
?
?
„LÍBIVÉ“ VÝSTUPY
STATISTICKY KOREKTNÍ VÝSTUPY
POUŽITELNÝ VÝSLEDEK
Vztahy validace a verifikace Dosažení vysoké citlivosti PCR testu za nesmyslných podmínek (izolace z 10 ml klinického materiálu…)
„LÍBIVÉ“ VÝSTUPY
POUŽITELNÝ VÝSLEDEK
? PRAKTICKÁ POUŽITELNOST ?
STATISTICKY KOREKTNÍ VÝSTUPY
Vztahy validace a verifikace Dosažení vysoké přesnosti měření kalibrací v triplikátech
„LÍBIVÉ“ VÝSTUPY
POUŽITELNÝ VÝSLEDEK PRAVDIVÝ VÝSLEDEK
? PRAKTICKÁ POUŽITELNOST ?
STATISTICKY KOREKTNÍ VÝSTUPY
Vztahy validace a verifikace
„LÍBIVÉ“ VÝSTUPY
POUŽITELNÝ VÝSLEDEK
Verifikace v koncové laboratoři uživatele
STATISTICKY KOREKTNÍ VÝSTUPY
Vztahy validace a verifikace
„LÍBIVÉ“ VÝSTUPY
POUŽITELNÝ VÝSLEDEK PRAVDIVÝ VÝSLEDEK
Validace parametrů výrobcem
STATISTICKY KOREKTNÍ VÝSTUPY
Kde vzniká prostor k „pokřivení“ parametrů validací uváděných výrobci?
Vstupní parametry
Provedení testů
Statistické vyhodnocení
Interpretace výsledků
Volba:
Volba:
Volba:
libovolného izolačního postupu pro test
počtu opakování detekce
typu statistického hodnocení
vlastního provedení experimentu
vlastní interpretace výsledku
libovolného typu analytu pro test
VALIDACE PARAMETRŮ VÝROBCEM: Nemají jednotný rámec a předpisy pro testování a proto pak…
VALIDACE PARAMETRŮ VÝROBCEM:
-mohou podléhat tlakům trhu na parametry citlivosti a přesnosti měření -mohou podléhat marketingu v politice tendrů
PODLE VALIDACE PARAMETRŮ VÝROBCEM:
-mohou podléhat tlakům trhu na parametry citlivosti a přesnosti měření -mohou podléhat marketingu v politice tendrů
VALIDACE PARAMETRŮ VÝROBCEM:
BOHUŽEL ČASTO NEPOSLOUŽÍ JAKO RELEVANTNÍ NÁSTROJ PRO ORIENTACI V KVALITĚ PCR DIAGNOSTIK
Podle jakých parametrů je tedy nejlepší postupovat při srovnání PCR diagnostik?
Použitelnost validace a verifikace Souprava A
Souprava B
CE IVD
CE IVD
Použitelnost validace a verifikace Souprava A
Souprava B
Verifikace pomocí EHK (EQA)
Verifikace pomocí EHK (EQA)
Plnohodnotný a nezávislý způsob srovnání dvou výrobců PCR souprav v provozu konkrétní laboratoře
Použitelnost validace a verifikace Souprava A
Verifikace parametrů v laboratoři uživatele
Souprava B
Existence harmonizujících doporučení *
Verifikace parametrů v laboratoři uživatele
Plnohodnotný způsob srovnání dvou PCR souprav v konkrétní laboratoři
*
Doporučení Validace a verifikace analytických metod v klinických laboratořích. Datum vydání: 16.11.2004, Status doporučení: aktuální, Autoři: Bedřich Friedecký, Luděk Šprongl, Josef Kratochvíla
Použitelnost validace a verifikace Souprava A
Validace parametrů výrobcem
Souprava B
?
?
Validace parametrů výrobcem
Porovnání souprav podle parametrů uvedených výrobcem je často problematické z důvodů:
1. Nejednotných vstupů pro testy 2. Nejednotného statistického zpracování 3. Nejednotné interpretace výsledku
Při porovnávání dvou PCR diagnostik se nelze spolehnout pouze na parametry uvedené výrobcem a je nutno provést verifikaci deklarovaných parametrů ve vlastní laboratoři.
Reálný příklad problému srovnání dvou PCR diagnostik podle parametrů validace uvedených výrobcem
Validace LoD Chlamydia trachomatis Souprava A
Souprava B
Mez detekce (Limit of Detection) V případě obou výrobců stanoven pomocí Probit analýzy (standardní postup pro tento účel)
Validace LoD Chlamydia trachomatis Souprava A
Souprava B
0,3 kopie/µl
1,5 kopie/µl Cumulative Plot for CHT PLUS SYSTEM Weibull - 95% CI Probit Data - ML Estimates
Table of S hape S cale M ean S tDev M edian IQ R
100
Percent
80 60 40 20 0 0,0
0,5
1,0 1,5 2,0 Concentration/µl
2,5
3,0
S tatistics 0,791343 0,394048 0,449991 0,573943 0,247973 0,513781
Validace LoD Chlamydia trachomatis Souprava A
Souprava B Souprava A LoD výrazně nižší oproti soupravě B.
0,3 kopie/µl
1,5 kopie/µl Cumulative Plot for CHT PLUS SYSTEM Weibull - 95% CI Probit Data - ML Estimates
Table of S hape S cale M ean S tDev M edian IQ R
100
Percent
80 60 40 20 0 0,0
0,5
1,0 1,5 2,0 Concentration/µl
2,5
3,0
S tatistics 0,791343 0,394048 0,449991 0,573943 0,247973 0,513781
Reálný limit detekce? Chlamydia trachomatis Souprava A
Souprava B
0,3 kopie/µl
1,5 kopie/µl
Připraven verifikační test Hypotéza: LoD souprava A < LoD souprava B
Verifikace LoD Chlamydia trachomatis Vzorek moči
Souprava B
1 ml
Souprava A
Chlamydia trachomatis +++
Označení vzorku
0
31
32
33
34
35
36
37
38
39
40
Ředění
0
1:1 1:1 1:1
1:1
1:1
1:1
1:1
1:1
1:1
1:1
Počet izolací
6
6
6
6
6
6
6
6
6
6
6
Opakování PCR
6
6
6
6
6
6
6
6
6
6
6
Verifikace LoD Chlamydia trachomatis Souprava A
Souprava B
Očekávaný výsledek:
LoD souprava A < LoD souprava B Označení vzorku
0
31
32
33 34 35 36 37 38
39
40
SOUPRAVA A
6
6
6
6
6
6
6
3
1
0
0
SOUPRAVA B
6
6
6
6
4
2
1
0
0
0
0
Opakování PCR
6
6
6
6
6
6
6
6
6
6
6
Verifikace LoD Chlamydia trachomatis Souprava A
Souprava B
Dosažený výsledek
LoD souprava A - ? - LoD souprava B Označení vzorku
0
31
32
33 34 35 36 37 38
39
40
SOUPRAVA A
6
6
6
6
6
6
6
3
1
0
0
SOUPRAVA B
6
6
6
6
6
6
5
4
2
0
0
Opakování PCR
6
6
6
6
6
6
6
6
6
6
6
Verifikace LoD Chlamydia trachomatis Souprava A
Souprava B Cumulative Plot for events Normal - 95% CI Probit Data - ML Estimates
Gage GeneProof QIAGENE
100
Percent
80
Table of S tatistics M ean S tDev -0,339829 0,597241 -0,476248 0,597241
60 40 20 0 -2,0
-1,5
-1,0
-0,5 0,0 LOGTEN(conc)
0,5
1,0
Statisticky bylo prokázáno, že soupravy mají s pravděpodobností 95% stejný LoD.
LoD Chlamydia trachomatis Souprava A
Souprava B
Kde leží příčina tak rozdílných výsledků validace parametru LoD výrobci?
Analýza parametrů VALIDACE Souprava A
Souprava B POUŽITELNÝ VÝSLEDEK
Vstupní kontrola v testu Provedení testu Statistické vyhodnocení Interpretace výsledku
Analýza parametrů VALIDACE Souprava A „LÍBIVÉ“ VÝSTUPY
Souprava B STATISTICKY KOREKTNÍ VÝSTUPY
Vstupní kontrola v testu
Vstupní kontrola v testu
Provedení testu
Provedení testu
Statistické vyhodnocení
Statistické vyhodnocení
Interpretace výsledku
Interpretace výsledku
Analýza parametrů VALIDACE Souprava A „LÍBIVÉ“ VÝSTUPY
Souprava B STATISTICKY KOREKTNÍ VÝSTUPY
Souprava A
Souprava B
Na základě parametru uvedeného ve VALIDACI nelze porovnat LoD soupravy A versus B
VALIDACE PARAMETRŮ VÝROBCEM:
BOHUŽEL ČASTO NEPOSLOUŽÍ JAKO RELEVANTNÍ NÁSTROJ PRO ORIENTACI V KVALITĚ PCR DIAGNOSTIK
Je možné vytvořit systém validace parametrů výrobcem tak, abychom dostali do rukou „použitelný obraz“ o fungování PCR diagnostika a nikoliv jen „účelová data“?
Experimentální model validace CMV PCR popisuje přesnost měření PCR kitu bez vlivu izolace* popisuje odchylky měření v rozsahu 1010 – LoD (c/ml) * Model počítá přesnost měření PCR Kitu za předpokladu účinnosti izolace 100%
1,50
Validace měření CMV - c/ml
Odchylka měřené hodnoty - c/ml - log10
1,25
1,00
0,75
0,50
0,25
0,00
-0,25
-0,50
-0,75
-1,00
10 9,5 9,0 8,5 8,0 7,5 7,0 6,5 6,0 5,5 5,0 4,5 4,0 3,5 3,3 3,0 2,4 2,1 1,1 0 -1,25
Nominální hodnota - c/ml-log10
1,50
Validace měření CMV - c/ml
Odchylka měřené hodnoty - c/ml - log10
1,25
1,00
PŘESNOST MĚŘENÍ +/- 0,25 log10
0,75
0,50
0,25
0,00
-0,25
-0,50
-0,75
-1,00
10 9,5 9,0 8,5 8,0 7,5 7,0 6,5 6,0 5,5 5,0 4,5 4,0 3,5 3,3 3,0 2,4 2,1 1,1 0 -1,25
Nominální hodnota - c/ml-log10
1,50
Validace měření CMV - c/ml
Odchylka měřené hodnoty - c/ml - log10
1,25
1,00
PŘESNOST MĚŘENÍ +/- 0,5 log10
0,75
0,50
0,25
0,00
-0,25
-0,50
-0,75
-1,00
10 9,5 9,0 8,5 8,0 7,5 7,0 6,5 6,0 5,5 5,0 4,5 4,0 3,5 3,3 3,0 2,4 2,1 1,1 0 -1,25
Nominální hodnota - c/ml-log10
1,50
Validace měření CMV - c/ml
1,25
Odchylka měřené hodnoty - c/ml - log10
Pravděpodobný LoD 1,00
0,75
0,50
0,25
0,00
-0,25
-0,50
-0,75
-1,00
10 9,5 9,0 8,5 8,0 7,5 7,0 6,5 6,0 5,5 5,0 4,5 4,0 3,5 3,3 3,0 2,4 2,1 1,1 0 -1,25
Nominální hodnota - c/ml-log10
VALIDACE CMV PCR 1,50
Odchylka měřené hodnoty - c/ml - log10
1,25
1010 c/ml - 103 c/ml (+/- 0,25 log10)
1,00
103 c/ml - 102 c/ml (+/- 0,5 log10)
0,75
LoD JE ZHRUBA 102 c/ml = LIMIT KVANTIFIKACE (+/- 0,5 log10)
0,50
0,25
0,00
-0,25
-0,50
-0,75
-1,00
10 9,5 9,0 8,5 8,0 7,5 7,0 6,5 6,0 5,5 5,0 4,5 4,0 3,5 3,3 3,0 2,4 2,1 1,1 0 -1,25
Nominální hodnota - c/ml-log10
Testování hypotézy Verifikace parametrů uživatelem
= parametrům uvedeným při Validaci výrobcem
Verifikace CMV PCR Pomocí panelu EQA: QCMD Cytomegalovirus 09 AUG 2013
Izolace z 200 µl s elucí do 50 µl*
* GeneProof PathogenFree DNA Isolation Kit
Sample 10,00 2,00 8,00 9,00 7,00 1,00 3,00 6,00 4,00
Matrix Sample content QCMD Plasma CMV(RS80)-clinical 3,19 Plasma CMV (AD169) 3,92 Plasma CMV(RS75)-clinical 2,58 Plasma CMV(RS80)-clinical 2,31 Plasma CMV (AD169) 2,91 Plasma CMV (AD169) 2,93 Plasma CMV (AD169) 2,64 Plasma CMV (AD169) 2,16 Plasma CMV (AD169) 1,90
Jakou přesnost měření můžeme očekávat u těchto vzorků na základě parametrů uvedených ve validaci?
1,50
Odchylka měřené hodnoty - c/ml - log10
1,25
1,00
0,75
Sample 10,00 2,00 8,00 9,00 7,00 1,00 3,00 6,00 4,00
Matrix Sample content QCMD GeneProof CMV Diff QCMD/GP Plasma CMV(RS80)-clinical 3,19 2,40 0,18 Plasma CMV (AD169) 3,92 3,32 -0,12 Plasma CMV(RS75)-clinical 2,58 2,59 -0,28 Plasma CMV(RS80)-clinical 2,31 3,88 0,05 Plasma CMV (AD169) 2,91 2,94 -0,03 Plasma CMV (AD169) 2,93 3,01 -0,08 Plasma CMV (AD169) 2,64 2,71 -0,07 Plasma CMV (AD169) 2,16 2,09 0,08 Plasma CMV (AD169) 1,90 1,90 -0,01
Validace
0,50
0,25
0,00
-0,25
-0,50
-0,75
-1,00
10 9,5 9,0 8,5 8,0 7,5 7,0 6,5 6,0 5,5 5,0 4,5 4,0 3,5 3,3 3,0 2,4 2,1 1,1 0 -1,25
Nominální hodnota - c/ml-log10
1,50
Odchylka měřené hodnoty - c/ml - log10
1,25
1,00
0,75
Sample 10,00 2,00 8,00 9,00 7,00 1,00 3,00 6,00 4,00
Matrix Sample content QCMD GeneProof CMV Diff QCMD/GP Plasma CMV(RS80)-clinical 3,19 2,40 0,18 Plasma CMV (AD169) 3,92 3,32 -0,12 Plasma CMV(RS75)-clinical 2,58 2,59 -0,28 Plasma CMV(RS80)-clinical 2,31 3,88 0,05 Plasma CMV (AD169) 2,91 2,94 -0,03 Plasma CMV (AD169) 2,93 3,01 -0,08 Plasma CMV (AD169) 2,64 2,71 -0,07 Plasma CMV (AD169) 2,16 2,09 0,08 Plasma CMV (AD169) 1,90 1,90 -0,01
Validace
0,50
0,25
0,00
-0,25
-0,50
-0,75
-1,00
10 9,5 9,0 8,5 8,0 7,5 7,0 6,5 6,0 5,5 5,0 4,5 4,0 3,5 3,3 3,0 2,4 2,1 1,1 0 -1,25
Nominální hodnota - c/ml-log10
Odchylka měření - c/ml - log10
0,75
Sample 10,00 2,00 8,00 9,00 7,00 1,00 3,00 6,00 4,00
Matrix Sample content QCMD GeneProof CMV Diff QCMD/GP Plasma CMV(RS80)-clinical 3,19 3,32 0,18 Plasma CMV (AD169) 3,92 3,88 -0,12 Plasma CMV(RS75)-clinical 2,58 2,59 -0,28 Plasma CMV(RS80)-clinical 2,31 2,48 0,05 Plasma CMV (AD169) 2,91 2,94 -0,03 Plasma CMV (AD169) 2,93 3,01 -0,08 Plasma CMV (AD169) 2,64 2,71 -0,07 Plasma CMV (AD169) 2,16 2,09 0,08 Plasma CMV (AD169) 1,90 1,90 -0,01
Verifikace
0,5
0,25
0
-0,25
-0,5
3,19 -0,75
3,92
2,58
2,31
2,91
2,93
2,64
Nominální hodnota - c/ml-log10
2,16
1,89
Odchylka měření - c/ml - log10
0,75
Sample 10,00 2,00 8,00 9,00 7,00 1,00 3,00 6,00 4,00
Matrix Sample content QCMD GeneProof CMV Diff QCMD/GP Plasma CMV(RS80)-clinical 3,19 3,32 0,18 Plasma CMV (AD169) 3,92 3,88 -0,12 Plasma CMV(RS75)-clinical 2,58 2,40 -0,28 Plasma CMV(RS80)-clinical 2,31 2,59 0,05 Plasma CMV (AD169) 2,91 2,94 -0,03 Plasma CMV (AD169) 2,93 3,01 -0,08 Plasma CMV (AD169) 2,64 2,71 -0,07 Plasma CMV (AD169) 2,16 2,09 0,08 Plasma CMV (AD169) 1,89 1,90 -0,01
Verifikace
0,5
0,25
0
-0,25
-0,5
3,19 -0,75
3,92
2,58
2,31
2,91
2,93
2,64
Nominální hodnota - c/ml-log10
2,16
1,89
QCMD Cytomegalovirus 09 AUG 2013 This maximum score was achieved by 7,8% of all datasets (167 datasets was analysed)
Verifikace pomocí EQA = Validaci výrobcem DO 103 c/ml (+/- 0,25 log10)
103 c/ml – LoD (+/- 0,5 log10)
Verifikace CMV PCR Pomocí testu v laboratoři uživatele: (Provedeno: Mgr. Jakub Mrázek, Zdravotní Ústav se sídlem v Ostravě)
AcroMetrix® CMV Quality Controls for Transplant Virus Testing Izolace z 200 µl s elucí do 100 µl* (série kvantitativně popsaných vzorků - 10 izolací/10 PCR měření v 10 dnech)
* QIAamp MinElute Virus Spin Kit
Acrometrix (c/ml) log10 Den 1 2 3 4 5 6 7 8 9 10
5,97 4,27 2,97 2,27 1,97 Výsledek měření (přepočteno na c/ml) log10
Jakou přesnost měření můžeme očekávat u těchto vzorků na základě parametrů uvedených ve validaci?
5,97
4,27 2,97 2,27 Výsledek měření – log10 5,92 4,39 3,06 2,39 5,84 4,39 3,04 2,33 1,50 5,76 4,32 3,06 2,78 5,96 1,25 4,40 3,08 2,32 5,81 4,22 2,86 2,67 5,82 1,00 4,24 2,84 5,98 4,34 2,98 2,36 5,76 0,75 4,08 2,88 5,93 4,31 3,12 2,57 0,50 5,87 4,30 3,13 2,60
Odchylka měřené hodnoty - c/ml - log10
Acrometrix – log10 Den 1 2 3 4 5 6 7 8 9 10
1,97
Validace
2,41 2,52 2,12 2,28 2,53
2,42
0,25
0,00
-0,25 -0,50 -0,75 -1,00
10 9,5 9,0 8,5 8,0 7,5 7,0 6,5 6,0 5,5 5,0 4,5 4,0 3,5 3,3 3,0 2,4 2,1 1,1 0
-1,25
Nominální hodnota - c/ml-log10
5,97
4,27 2,97 2,27 Výsledek měření – log10 5,92 4,39 3,06 2,39 5,84 4,39 3,04 2,33 1,50 5,76 4,32 3,06 2,78 5,96 1,25 4,40 3,08 2,32 5,81 4,22 2,86 2,67 5,82 1,00 4,24 2,84 5,98 4,34 2,98 2,36 5,76 0,75 4,08 2,88 5,93 4,31 3,12 2,57 0,50 5,87 4,30 3,13 2,60
Odchylka měřené hodnoty - c/ml - log10
Acrometrix – log10 Den 1 2 3 4 5 6 7 8 9 10
1,97
Validace
2,41 2,52 2,12 2,28 2,53
2,42
0,25
0,00
-0,25 -0,50 -0,75 -1,00
10 9,5 9,0 8,5 8,0 7,5 7,0 6,5 6,0 5,5 5,0 4,5 4,0 3,5 3,3 3,0 2,4 2,1 1,1 0
-1,25
Nominální hodnota - c/ml-log10
5,97 5,92 5,84 5,76 5,96 5,81 5,82 5,98 5,76 5,93 5,87
4,27 2,97 2,27 Výsledek měření – log10 4,39 3,06 2,39 4,39 3,04 2,33 4,32 3,06 2,78 4,40 3,08 2,32 4,22 2,86 2,67 4,24 2,84 4,34 2,98 2,36 4,08 2,88 4,31 3,12 2,57 4,30 3,13 2,60
Odchylka měřené hodnoty - c/ml log10
Acrometrix – log10 Den 1 2 3 4 5 6 7 8 9 10
Verifikace
1,97 2,41 2,52 2,12 2,28 2,53
2,42
CMV - Acrometrix
0,75 0,50 0,25
0,00 -0,25 -0,50 -0,75
5,97
4,27
2,97
2,27
Nominální hodnota - c/ml-log10
1,97
5,97 5,92 5,84 5,76 5,96 5,81 5,82 5,98 5,76 5,93 5,87
4,27 2,97 2,27 Výsledek měření – log10 4,39 3,06 2,39 4,39 3,04 2,33 4,32 3,06 2,78 4,40 3,08 2,32 4,22 2,86 2,67 4,24 2,84 4,34 2,98 2,36 4,08 2,88 4,31 3,12 2,57 4,30 3,13 2,60
Odchylka měřené hodnoty - c/ml log10
Acrometrix – log10 Den 1 2 3 4 5 6 7 8 9 10
Verifikace
1,97 2,41 2,52 2,12 2,28 2,53
2,42
CMV - Acrometrix
0,75 0,50 0,25
0,00 -0,25 -0,50 -0,75
5,97
4,27
2,97
2,27
Nominální hodnota - c/ml-log10
1,97
Acrometrix – log10 Den 1 2 3 4 5 6 7 8 9 10
5,97 5,92 5,84 5,76 5,96 5,81 5,82 5,98 5,76 5,93 5,87
4,27 2,97 2,27 Výsledek měření – log10 4,39 3,06 2,39 4,39 3,04 2,33 4,32 3,06 2,78 4,40 3,08 2,32 4,22 2,86 2,67 4,24 2,84 4,34 2,98 2,36 4,08 2,88 4,31 3,12 2,57 4,30 3,13 2,60
1,97
Verifikace
2,41 2,52 2,12 2,28 2,53
2,42
Verifikace uživatelem = Validaci výrobcem 105,97c/ml - 102,97c/ml (+/- 0,25 log10)
102,27c/ml – LoD (+/- 0,5 log10)
Odchylka měřené hodnoty - c/ml - log10
1,50
Model validace měření CMV
1,25
VERIFIKOVÁN V ROZSAHU 106 c/ml - LoD
1,00
0,75
0,50
0,25
0,00
-0,25
-0,50
-0,75
-1,00
10 9,5 9,0 8,5 8,0 7,5 7,0 6,5 6,0 5,5 5,0 4,5 4,0 3,5 3,3 3,0 2,4 2,1 1,1 0 -1,25
Nominální hodnota - c/ml-log10
Pozadí snahy výrobce o vydání „co nejlepšího“ výsledku VALIDACE je často ovlivněno vnějším tlakem, a proto mějme na paměti, …
…že jsme to my všichni, kdo musíme požadovat od výrobce soupravy vytvoření plně porovnatelných a tedy jednotných výstupů validací…
…jejichž výsledkem je laboratorní hodnota, se kterou je schopna pracovat jak laboratoř, tak klinik u lůžka
Děkuji za pozornost
