Kvalita v laboratorní a kontrolní praxi Část: Mezilaboratorní porovnání (testy způsobilosti, certifikace materiálů, validace metod)
Vladimír Kocourek
Praha, 2014
Mezilaboratorní porovnávání Různé názvy:
Mezilaboratorní test, Mezilaboratorní studie, Mezilaboratorní porovnání zkoušek, Kruhový test (round test, round robin, okružák), Test způsobilosti, Certifikační studie, Mezilaboratorní validace
Mezilaboratorní porovnávání
1
6
2
6
P 5
1
P
3
4
nedestruktivní zkouška: vzorek „obíhá“ (např. X-ray)
2
5
3
4
destruktivní zkouška: vzorek se distribuuje paralelně
Testování způsobilosti
Validace metody
certifikace materiálu
práce laboratoří
analytická metoda
vlastnosti materiálu
počet laboratoří
libovolný
8 a více (min.5)
neurčeno
výběr laboratoří
jakékoli
jen zkušené
jen zkušené
libovolná
přesně určená
různé nezávislé
doporučuje se
vhodná jednotnost
nutné
vliv na důvěru v laboratoř
značný
malý
malý
cílové hodnoty
X, σ, (z)
r, R
X →µ
ISO 13528:2005 ČSN EN ISO 17043
ISO 15725 (draft 2011)
ISO Guide 35 (2006)
TYP MPZ: hodnotí se
metoda uvést návaznost
protokol
Účel testování způsobilosti PT ? Primárním cílem testů způsobilosti (PT) je poskytnout laboratořím pomoc při zjišťování a odstraňování nepřijatelně velkých nepřesností ve výsledcích. THE INTERNATIONAL HARMONIZED PROTOCOL FOR THE PROFICIENCY TESTING OF ANALYTICAL CHEMISTRY LABORATORIES (IUPAC Technical Report).
MICHAEL THOMPSON, STEPHEN L. R. ELLISON, AND ROGER WOOD: Pure Appl. Chem., Vol. 78, No. 1, pp. 145–196, 2006.
Důvody k pravidelné účasti ? Podpora důvěry managementu laboratoře a analytiků Srovnání s ostatními laboratořemi Verifikace použité metody – odchylka (bias) Součást prokazování (řízení ?) kvality výsledků Identifikace problémů v laboratoři Zlepšování Povinnost vyplývající ze zákona nebo smluvních požadavků zákazníka (např. při úřední kontrole potravin) Splnění akreditačních požadavků (ČIA, EA,…)
Některé národní akreditační organizace (evropské): Comité Francais d’Accréditation (COFRAC) Český institut pro akreditaci (ČIA) Danish Accreditation (DANAK) United Kingdom Accreditation Service (UKAS) Swedish Board for Accreditation and Conformity Assessment (SWEDAC) Deutsche Akkreditierungsstelle (DAkkS) Slovenská národná akreditačná služba (SNAS)
Organizace mezilabor. testu způsobilosti (PT) Příprava a verifikace testovacího materiálu
Distribuce zprávy participantům
Distribuce testovacího materiálu participantům
Vyhodnocení a zpráva
Analýza testovacího materiálu Zpracování výsledků
Hodnocení úspěšnosti v PT
z-score Individuální hodnota z-skóre pro každý výsledek:
z=
x − Xˆ
σ
p
x = hlášená hodnota koncentrace analytu v testovacím materiálu X = vztažná hodnota (považovaná za správnou)
σp = cílová hodnota směrodatné odchylky od X
Hodnocení úspěšnosti v PT Klasifikace podle z-skóre:
|z|≤2
Vyhovující
2<|z|≤3
Problematické (95 %)
|z|>3
Zcela nevyhovující (99 %) 4 3
z-Scores
2 1
Zcela nevyhovující – FP ! Problematické – FP ?
Vyhovující
0 -1 -2 -3 -4
Vyhovující Problematické – FN ? Zcela nevyhovující – FN !
Hodnocení výsledků PT - statistika 1. Odhad vztažné hodnoty (Xref) známá (referenční) hodnota – std. přídavek, CRM,… medián všech výsledků (po vyloučení neplatných) aritmetický průměr výsledků po vyloučení odlehlých střední hodnota referenčních (expertních) laboratoří střední hodnota zkušených laboratoří používajících standardizovanou referenční metodu (ISO, EN, DIN…)
Hodnocení výsledků PT - statistika Odhad vztažné hodnoty (Xref)
Průměr = 0,116
Medián = 0,160 Fig.. 1 - MTZL V/6 z-score ARSENIC (Xref = 0.160 mg/kg)
4
4
2
2
0,227
0
0,160
-2
0,093
0,116
0
-2
-4
z-score
z-score
Fig. 1 - MTZL V/6 z-score ARSENIC ( Xref = 0.116 mg/kg)
-4 7
2
8
13
11
14
5
9
1
Laboratory No.
12
10
4
3
6
7
2
8
13
11
14
5
9
1
Laboratory No.
12
10
4
3
6
Hodnocení výsledků PT: vliv metody Estimation of the asigned value (Xref) – method bias
Nejistota vztažné hodnoty - možnosti 1a. Xref je vypočtena jako medián výsledků laboratoří, z nichž každá uvede vlastní odhad nejistoty: (ISO 13528:2005)
p…počet expertních laboratoří ui …standardní nejistota výsledku i-té laboratoře
1b. Xref je vypočtena jako (robustní) průměr výsledků Xrob (nejistoty se neberou do úvahy):
uX =
σ rob n
(FAPAS, harmonized protocol)
Nejistota vztažné hodnoty When the number of participants is smaller than about 15, even the statistical uncertainty on the consensus (as the standard deviation) will be undesirably high. (THOMPSON M., ELLISON S.L.R., WOOD R.: Pure Appl. Chem., Vol. 78, No. 1, 2006, p. 145)
ISO 13528:2005 Guidelines for limiting the standard uncertainty of the assigned value: Pokud:
uX ≤ 0.3 × σp
(kde
σ
p
je cílová směrodatná odchylka pro daný PT)
pak je nejistota vztažné hodnoty (reference value) zanedbatelná a nemusí být při interpretaci výsledků PT brána do úvahy.
Hodnocení výsledků PT - statistika 2. Nastavení cílové hodnoty přesnosti (σp): „The standard deviation for proficiency assessment may be set at a value required for a specific task of data interpretation, or it may be derived from a requirement given in legislation…“ směrodatná odchylka reprodukovatelnosti sR z mezilaboratorního porovnání metody na srovnatelné úrovni (zpravidla uvedeno v normalizované metodě zkoušení)
hodnota vypočtená z obecného modelu reprodukovatelnosti podle Horwitze - Horwitzova křivka (RSDR =2(1-0,5*log c)) směrodatná odchylka založená na odhadu nejistoty hodnota stanovená předpisem (legislativou, normou aj.) - např. stanovení alkoholu hodnota odvozená z předpokládaného použití zákazníkem „fitness for purpose“
Obecná kriteria pro („worst case“) opakovatelnost
Thompson M.: Analyst 125 (2000)385-386
c < 0,12 ppm;
σp = 0.22
General criteria – precision and trueness AOAC/FAO/IAEA/IUPAC: Guidelines for single-laboratory validation of analytical methods for tracelevel concentrations of organic chemicals.
Report of the AOAC/FAO/IAEA/IUPAC Expert Consultation on Single-laboratory validation of Analytical Methods for Trace-level
Hodnocení výsledků PT - statistika Příklady cílových hodnot σ (jako RSD v %): Hladina
σ (%)
Zdroj
3 µg/kg
38
Horwitz
Vitamin B2
24 mg/kg
20
ČSN EN
Dusičnany
150 mg/kg
7,5
Horwitz
Cyklamát
195 mg/kg
3,1
ČSN EN
3.25
1,5
ČSN
11.48 %
0,87
ČSN
Analyt Ochratoxin A
pH ethanol
Test způsobilosti VI/11 (2000): PCB a OCI v rybí svalovině PT VI/11: PCB 180 3 2
0 -1 -2
Laboratoř
27
36
38
40E
43E
37
23
31E
39E
35E
34E
41
25
44E
42
22E
32
24
28
-3 30
z-sko re
1
Hodnocení výsledků PT - statistika „Individuální“ z-skóre
z=
x − Xˆ
σ
z ∈ <-2;+2>
p
„Do not set up any „social ladder“ of laboratories based on z-scores within -1; +1“
Kombinovaná z-skóre: vážená suma 1) každému z-score pro jednotlivé analyty se přidělí index ωlZl takto:
2) Vypočte se WSZ jako průměr hodnot ωlZl:
z ∈ <-2;+2>
Hodnocení výsledků PT - statistika Kombinovaná z-skóre
RSZ = ∑ zi / n i
SSZ = ∑ zi i
2
Rescaled Sum of Z-scores, citlivé na systematickou chybu / trendy
Sum of Squared Z-scores, citlivé na náhodné chyby a odlehlé hodnoty
„Před kombinováním hodnot z-skóre je nutno odstranit hodnoty vzniklé ze zjevných omylů a selhání - to může jen laboratoř sama !
Test způsobilosti VI/11: PCB a OCI v rybí svalovině
PT VI/11: RSZ pro PCB 3
2
RSZ
1
0
-1
-2
-3
30
28
27
39
41
34
22
43
42
40
44
Laboratoř
32
35
36
25
37
31
23
24
38
Test způsobilosti VI/11: PCB a OCI v rybí svalovině
PT VI/11: SSZ pro PCB 30 25
kritickáhodnota pro z=3 20
SSZ
15 10 5 0 30
38
28
24
27
23
31
36
25
32
37
Laboratoř
43
39
40
41
42
34
22
44
35
„Fit For Purpose“ zhodnocení a nejistota
zL =
x − Xˆ
zL-score specifické pro daný účel definovaný laboratoří
σ
(např.
zL ∈ <-2;+2>
L
ζ=
σL = 20% jako RSD)
x − Xˆ ux + uX 2
2
zeta-score: z-score odrážející rozdíly vztažené ke standardní nejistotě odhadnuté laboratoří
zeta ∈ <-2;+2>
En =
x − Xˆ Ux 2 + UX 2
En-score: zeta-score vypočtené z rozšířené nejistoty
En ∈ <-1;+1>
Hodnocení výsledků PT - nejistoty
VŠCHT – příklad výsledků, rezidua pesticidů: FAPAS/ EU-PT
Matrice
identifikované/kvantifikované analyty
z-skore
Mouka pšeničná
Chlorpyrifos-methyl Pirimiphos-methyl Deltamethrin Lambda cyhalotrin Permethrin
-0.8 +0,1 0.0 -1.0 0.1
FAPAS
citrony
Diazinon Fenitrothion Metalaxyl Methidathion
-0.2 -0.3 -0.1 -0.3
FAPAS
salát
Lambda cyhalotrin Metalaxyl
-2.1 -1.2
FAPAS
jablka
Pirimiphos-methyl Propargit Tetradifon
+0.4 -0.5 +0.6
FAPAS
rajčata
Azoxystrobin Bromopropylat Chlorothalonil Diazinon Dimethoát Endosulfanová skupina Imazalil Metalaxyl Procymidon Thiabendazol
-1.7 -0.6 +0.2 0.0 -0,8 +0.7 -0.5 0.0 1.1
EU-PT06
Přehled účasti v PT a nápravných opatření v případě neúspěšného parametru
FAPAS Series 19, Round 37
Matrice: citrony
Analyt: metalaxyl
z-skore: -0.1
Lab. kód: 034
FAPAS Series 19, Round 37
Matrice: citrony
Analyt: fenitrothion
z-skore: -0.3
Lab. kód: 034
FAPAS Series 19, Round 35 Matrice: salát Analyt: lambda-cyhalotrin z-skore: -2,1 Eluční profil pesticidů na GPC (PL gel [60 x 0,2 cm, 10 um]) jímaná frakce 14.5- 31 ml 70%
relativní odezva
50%
30%
10%
-10%
0
1
2
3
4
5
6
7
8
9
10 11 12 13 14 15 16 17 18 19 frakce [ml]
difenylamin
metalaxyl
cyhalothrin-lambda
koextrakty
fenitrothion-NPD
Lab. kód: 075
FAPAS Series 19, Round 35 Analyt: lambda-cyhalotrin
Matrice: salát
z-skore: -2,1 (nekorigováno)
Elution profile of pesticides on GPC (PL gel [600 x 7.5 mm, 10 um]) fraction 14.5 - 31 ml
relative response
70%
50%
30%
10% -10% 0
1
2
3
4
5
6
7
8
9
10 11 12 13 14 15 16 17 18 19 frakce [ml]
difenylamin
metalaxyl
cyhalothrin-lambda
koextrakty
fenitrothion-NPD
FAPAS Series 19, Round 32 „Baby Food“ test ⇒ identifikace pesticidů na nízkých hladinách MRL = 10 µg/kg
Matrice: mrkvové pyré
Lab. kód: 003
g / 100 g vzorku Saturates (SFA) mono- unsaturates poly-unsaturates total trans*) total omega 3 total omega 6 *) nad LOQ byly jen
assigned na 100 % ze 100 na value sigma tuku 59,12 % tuku 14,78 20,08 31,74 0,294 5,57 25,93 FAPAS
0,739 20,65 12,21 1,004 28,70 16,97 1,587 45,49 26,89 0,097 0,20 0,12 0,278 8,02 4,74 1,297 37,43 22,13 FAPAS Výsledek měřenípřepočet
C18:2Δ9c,12tC18:2Δ9t,12c
z-skore: report -3,48 -3,10 -3,05 -1,78 -2,99 -2,93 report
ze 100 na z-skore 69,5 % tuku korigované 14,35 -0,58 19,95 -0,13 31,62 -0,08 0,14 -1,57 5,57 0,01 26,02 0,07 na skutečný obsah tuku
EURL-PROFICIENCY TEST-FV-14, 2012: Pesticide Residues in Pear Homogenate (organized by EU-RL for pesticides in fruit and vegetables, Almería, Spain)
Hodnocení laboratoří podle: 1. Individuálních z-skore (z-skore + FFP skore) 2. Počtu analytů zahrnutých do používaných metod 3. Počtu správně identifikovaných analytů (TP) 4. Počtu nesprávně identifikovaných analytů (FP) 5. Vážených sum z-skore (jen expertní)
Účast v mezilaboratorních testech EU-RL Ověřování kvality produkovaných dat - např. EUPT (European Commission’s Proficiency Testing Program )
VŠCHT Praha Ústav Chemie a Analýzy Potravin 3. nejlepší výsledek
Účast v mezilaboratorních testech EU-RL Ověřování kvality produkovaných dat - např. EU-PT (European Commission’s Proficiency Testing Program )
VŠCHT Praha Ústav Chemie a Analýzy Potravin 3. nejlepší výsledek
Některé dokumenty: THE INTERNATIONAL HARMONIZED PROTOCOL FOR THE PROFICIENCY TESTING OF ANALYTICAL CHEMISTRY LABORATORIES (IUPAC Technical Report). MICHAEL THOMPSON, STEPHEN L. R. ELLISON, AND ROGER WOOD: Pure Appl. Chem., Vol. 78, No. 1, pp. 145–196, 2006.
ČSN EN ISO/IEC 17043:2010
Všeobecné požadavky na zkoušení způsobilosti navrhování, výběr materiálů, metod a postupů, provádění a vyhodnocování, zprávy, komunikace s účastníky, zajištění důvěrnosti, požadavky na management, statistické metody EA-4/18:2010 Návod k určení úrovně a četnosti účasti ve zkoušení způsobilosti (Guidance on the level and frequency of proficiency testing participation, 2011) viz http://www.european-accreditation.org
