Precisie en juistheid, wat moeten we zelf nog doen anno 2011 “beter goed gejat dan slecht verzonnen”
•
Dr. M. (Marco) Treskes, laboratoriumspecialist klinische chemie en hematologie
5-10-2011
1
kwaliteitsborging • Grote winst gemaakt in de afgelopen decennia – Apparatuur betrouwbaarder en robuuster (wel meer gesloten) met vele kwaliteitschecks op reagens, sample integriteit (indices, level, clot en bubble detectie) – CCKL accreditatie – Calibratie 2000 – CE normering – Kortom… kopen, aanzetten en gewoon gaan met die banaan …?
5-10-2011
2
kwaliteitsborging … dat nou ook weer niet.
kritisch observeren, instellen, trainen en bijsturen “Dirigent van het analytische proces”
5-10-2011
3
Validatie van analysesysteem (of nieuwe parameter) • Gebruik goed vastgelegde (in gecertificeerde laboratoria uitgevoerde) validatie resultaten van collegae • Gebruik gestandaardiseerde validatie protocollen • Wees kritisch ! – Wat is het analytische principe – Waar zitten mogelijke bottle necks in analyse, sample soort en stabiliteit, interfererende componenten
• b.v. - Wanneer is EP5 nog zinvol ? - Toegestane interferentie?
5-10-2011
(wat is een run, wat is een dag?) (welke parameter, welk level?)
4
Validatie van analysesysteem (of nieuwe parameter) • Nieuw analysesysteem en/of parameter – Wat zijn kritische factoren voor stabiliteit meetsysteem • Systeem aan/uit? Reagens (lot) wissel? Calibratie?
– Herleidbaarheid calibrator – Imprecisie profiel (CV op meerdere, belangrijke concentratie niveaux) – Meetbereik, lineariteit
5-10-2011
5
Familiarisatie-periode met overall CV en patientvergelijk voldoende ? HbA1c 3e gen vs 2e; Tergooi Blaricum en Hilversum
HbA1c 3e gen vs 2e; Tergooi Blaricum en Hilversum 10,0
100
8,0
90 80 y = 1,0109x 70 60 50 40 30
3e gen. - 2e gen. HbA1c mmol/mol
3e generatie HbA1c mmol/mol
y = 1,0297x
6,0 4,0 2,0 0,0 20
30
40
50
60
70
80
90
100
-2,0 -4,0 -6,0 -8,0
20 20
30
40
50
60
70
80
2e generatie HbA1c m mol/m ol
5-10-2011
90
100
-10,0 2e generatie HbA1c m m ol/m ol
6
Familiarisatie-periode met overall CV en patientvergelijk voldoende ? roche cobas vit D gen.2 vs HPLC
roche cobas vit D gen.2 vs HPLC 200
160
40
140
20
cobas-HPLC (nmol/l)
c o ba s (n m o l/l)
60
y = 0,9522x
180
120 100 80 60 40
0 0
50
100
150
200
-20 y = -0,0478x
-40 -60
20 -80
0 0
50
100 HPLC (nmol/l)
5-10-2011
150
200
-100
HPLC (nmol/l)
7
Inklaren QC of calibrator
• Interne QC (non assayed) zelf waarde toekennen met stabiel analyse systeem (onder interne en externe QC) – Nb bloedgas QC vaak erg ruime grenzen (> state of the art)!
eigen sd toekennen !?
5-10-2011
8
Inklaren QC of calibrator • Calibrator is i.h.a. herleidbaar naar primair referentiemateriaal of methode • Target firma verifieren en bij een (te) groot verschil uitwijken naar een andere verificator voordat je iets doet met de target of een instrumentfactor (let op borging/herleidbaarheid/traceerbaarheid) • SKML data niet de consensus maar wel de (eventuele) referentie waarde te gebruiken als borgingspunt.
5-10-2011
9
Juistheid en Precisie • In het algemeen is de interne QC om de stabiliteit van het systeem te monitoren en borgen:
• CV en trendanalyse. Westgard regels, 6Sigma benadering 5-10-2011
10
Juistheid en Precisie • In het algemeen is de externe QC om de juistheid van het systeem te monitoren en borgen:
• Methode-verschillen? Commuteerbaarheid monstermateriaal? 5-10-2011
11
Voorbeeld van een “probleem” (nou ja, uitdaging) uit de recente praktijk
• Nieuwe generatie D-dimeer reagens. • 1e kleine validatie – 2 weken patientvergelijk (n=100) met 2 levels QC dagelijks met een hercalibratie halverwege. – CV en verschilplot uitzetten
5-10-2011
12
verschil 2e-1e gen D-dim eer
D-dimeer 2e vs 1e generatie
0,5
5,0 4,5
Absoluut Verschil (g/l)
4,0 D-Dimer Gen 2
0,3
y = 0,9111x - 0,1451 R2 = 0,9739
3,5 3,0 2,5
n
2,0 1,5 1,0 0,5
0,1 -0,1 0,0
0,5
1,0
1,5
2,0
2,5
3,0
-0,3 -0,5 -0,7 -0,9
0,0 0,0
1,0
2,0
3,0
D-Dim er Ge n 1
5-10-2011
4,0
5,0
-1,1 Concentratie
13
Probleem (uitdaging) vervolg • Acceptabel ????????
D-dimeer vnl gebruikt als (gevoelige) uitsluitende parameter bij lage verdenking DVT met een klinisch gevalideerde cut off waarde. Daar kun je je geen 15% verschuiving in veroorloven zonder goede borging van de juistheid.
5-10-2011
14
Onaangename verrassing vervolg • Verhaal fima is dat de reagens/platform combi ca 15% omhoog is gaan schuiven ergens in de laatste jaren… • Hoe verifieer je dat ?????
5-10-2011
15
Trend in externe QC ???? D-dimeer ECAT samples < 2 mg/l 2006-Q1 2011
D -d im e e r m g /l
2,10 1,90
vidas tinaquant I
1,70
tinaquant II
1,50
Liatest TGH
1,30 1,10 0,90 0,70 0,50 0,30
8 -0 11
9 -7 10
9 -2 10
7 -0 10
3 -5 09
6 -2 09
7 -0 09
5 -6 08
8 -4 08
8 -0 08
6 -5 07
1 -4 07
2 -2 07
7 -0 07
9 -3 06
-2 06
06
-0
7
2
0,10
sample nr
5-10-2011
16
Trend in externe QC ???? D-dimeer ECAT samples < 2 mg/l 2006-Q1 2011 gen 1 vs groep gen 2 vs groep tergooi vs groep tergooi vs vidas Lineair (tergooi vs groep)
1,50 1,40 1,30
ratio 's
1,20
y = 0,0051x + 0,9424
1,10
2
R = 0,1545
1,00 0,90 0,80 0,70 0,60
9
9
7
3
6
7
5
8
8
6
1
2
7
8 -0 11
-7 10
-2 10
-0 10
-5 09
-2 09
-0 09
-6 08
-4 08
-0 08
-5 07
-4 07
-2 07
-0 07
2
9 -3 06
-2 06
06
-0
7
0,50
sample nr
5-10-2011
17
Vergelijking frequentieverdeling 2011 vs 2005 d-dimeer verdeling 1e helft jaar 2005 vs 2011 1e generatie reagens
2005%
20% 2011%
procent
15% populatie 1 2005
10%
poulatie 1 2011
5%
Polynoom (populatie 1 2005)
0%
Polynoom (poulatie 1 2011)
0
0,2
0,4
0,6
0,8
1
1,2
1,4
1,6
d-dimeer <= ... mg/l
5-10-2011
18
Probleem/uitdaging vervolg D-dimeer vergelijk juli-september 2011 TQ 2
STA D-dim
y=x
Lineair (STA D-dim)
Lineair (TQ 2)
Lineair (y=x)
D-dim gen 2 en STA (mg/l)
6,00 y = 1,0207x + 0,0216
5,00 4,00
y = 0,8728x - 0,2012
3,00 2,00 1,00 0,00 0,00
1,00
2,00
3,00
4,00
5,00
6,00
D-dim gen 1 cobas (mg/l)
5-10-2011
19
Probleem/uitdaging vervolg
D-dim gen 2 en STA (mg/l)
D-dimeer vergelijk juli-september 2011 TQ 2
STA D-dim
y=x
Lineair (STA D-dim)
Lineair (TQ 2)
Lineair (y=x)
1,00 0,90 0,80 0,70 0,60 0,50 0,40 0,30 0,20 0,10 0,00
y = 1,0207x + 0,0216
y = 0,8728x - 0,2012
0,00 0,10 0,20 0,30 0,40 0,50 0,60 0,70 0,80 0,90 1,00 D-dim gen 1 cobas (mg/l)
5-10-2011
20
Probleem/uitdaging vervolg D-dimeer vergelijk juli-september 2011 TQ2-TQ 1
STA-TQ1
Lineair (STA-TQ1)
Lineair (TQ2-TQ 1)
0,20 D-dim gen 2 en STA (mg/l)
y = 0,0177x - 0,0104 0,10 0,00 0,00 0,10 0,20 0,30 0,40 0,50 0,60 0,70 0,80 0,90 1,00 -0,10 y = -0,1752x - 0,2186 -0,20 -0,30 -0,40 -0,50 D-dim gen 1 cobas (mg/l)
5-10-2011
21
Dupliceerbaarheid tussen 2 systemen (calibraties)
cobas 1 vs cobas 2 ; 2e gen TQ 2 y = 1,0329x - 0,0259 R 2 = 0,9894
cobas 2 (mg/l)
1,5
1
0,5
0 0
0,5
1
1,5
2
cobas 1 (m g/l)
5-10-2011
22
Probleem/uitdaging vervolg
• En nu ????
5-10-2011
23
kwaliteitsborging
kritisch observeren, instellen, trainen en bijsturen “Dirigent van het analytische proces”
5-10-2011
24
