Kvalita v laboratorní a kontrolní praxi Část 3: Chyby a hodnocení výsledků měření Vladimír Kocourek
Praha, únor 2015
Zkoušení (analýza) v laboratoři Výroba Výzkum a vývoj (R&D) Obchodování (dodávání) Ochrana zdraví a životního prostředí
1710
1910
2010
Zkoušení potravin pro kvalitu a bezpečnost Kvalita a bezpečnost
Analýza potravin
Chemické složení potravin
Chemické reakce v potravinách
Výživa a zdraví
Chemická / potravinářská výroba - provoz Požadavky na měření / analýzu: Opakovatelnost měření • monitoruje se vývoj reakčního procesu • zjišťuje se kolísání (fluktuace) procesu Pravdivost měření je trochu méně důležitá Dostatečná frekvence analýz Minimální náklady a úsilí Přehledné výsledky/ protokoly
Obchodování - dodávání Požadavky na měření / analýzu: Přesnost (zejména pravdivost): výrobek je ve shodě se specifikacemi Prokázání platnosti metody: všeobecně uznávané metody, validace, návaznost k referencím Reprodukovatelnost: výsledky jsou srovnatelné, bez ohledu na to, která laboratoř zkoušku provádí Konsistentnost: bez rozporů, stejný vzorek → stejný výsledek
Vzájemné uznávání výsledků různých laboratoří
Sjednání analytického servisu: 1 SPECIFIKACE VZORKU – druh vzorku – počet vzorků, popř. frekvence vzorkování – hmotnost (objem) vzorků – obal, uzavření – označování, vstupní dokumentace – archivace vzorků, vracení 2 CENA, platební podmínky, odpovědnost 3 TERMÍN DODÁNÍ VÝSLEDKU, PROTOKOL 4 PARAMETRY (přesnost, mez stanovitelnosti,..)
„Dobrý analytický výsledek“ Vhodný pro daný účel: Umožňuje provést rozhodnutí Presentovaný ve srozumitelné formě Konsistentní a úplný Dodaný včas …a za přiměřenou cenu
Přesný (pravdivý a precizní) Postihující i malé množství sledované látky S prokazatelnou vazbou k referencím
Analytický „interval spolehlivosti“ každé měření je spojeno s chybami každá střední hodnota by proto měla být doplněna údajem o nejistotě jejího odhadu [např. X ± x g/l] Při prokazování, že vzorek je ve shodě se specifikacemi je nutné vzít do úvahy interval spolehlivosti (nejistotu) hodnoty výsledku Příklad: • analýza (metoda) poskytla hodnotu výsledku ± 1,5% • je požadován obsah analytu ve vzorku min. 97% • aby byla jistota, že obsah analytu je >97%, musí být výsledek analýzy nejméně 98,5 %
Přesnost měření / zkoušek Data jsou „vysoké kvality“, pokud jsou vhodné pro jejich zamýšlené použití v provozu , rozhodování a plánování. (JM Juran).
Přesnost měření / zkoušek
Přesnost měření / zkoušek MĚŘENÍ jako snaha trefit CÍL …
pravá hodnota (pravdivá hodnota měřené veličiny)
Terč - cíl (target)
Měření
Přesnost výsledků měření / zkoušek
systematická chyba
pravdivost
přesný výsledek: precizní a pravdivý
nepřesný výsledek: precizní ale vychýlený
preciznost náhodné rozptýlení
Distribuce naměřených hodnot veličiny Histogram
Probability Distribution Function (Gauss)
1. There is a strong tendency for the variable to take a central value; 2. Positive and negative deviations from this central value are equally likely; 3. The frequency of deviations falls off rapidly as the deviations become larger.
Pravděpodobnostní rozdělení náhodných chyb – tzv. „normální“ – „Gaussovo“ Charakterizováno střední hodnotou a směrodatnou odchylkou náhodného výběru
frequency
s qk
q
Rozptyl střední hodnoty výběru V ( q ) = s
s (q
s (q
k
2
( q ) =
)
s
2
(q ) n
distribution of the mean
)
distribution of the single values of one individual de determination of q
mean
Systematické chyby měření
Zešikmená data: život bývá log-normální
Environmentální kontaminanty v potravinách, Citlivost jedinců v populaci vůči působení chemické látky, Výsledky opakované analýzy těsně nad LOQ, Počty zaměstnanců podle výše platu
Výběrové charakteristiky Výběrový průměr:
1 n x = ∑ xi n i =1
Odhad směrodatné odchylky:
Medián: hodnota, která dělí řadu podle velikosti seřazených výsledků na dvě stejně početné poloviny. Výhodou mediánu jako statistického ukazatele je fakt, že není tolik ovlivněn extrémními (nebo odlehlými) hodnotami.
Modus: hodnota, která se v daném statistickém souboru vyskytuje nejčastěji. Modus lze použít i na kvalitativní výsledky: např. modus ze souboru „žlutá, zelená, červená, modrá, žlutá, zelená, červená, fialová, zelená, hnědá” je:...............
Intervalové odhady s definovanou pravděpodobností Interval spolehlivosti (průměru):
Pološířka intervalu spolehlivosti:
Intervalový odhad průměru: (n opakování, hladina spolehlivosti α)
x − t1−α / 2 (ν )
s n
Obsah vody: Interval hodnot:
≤ µ < x + t1−α / 2 (ν )
11,02 ± 0,22 % 10,80 až 11,24 %
s n
Charakteristiky souboru dat (robustní odhady) Odhad robustních statistik z kvartilů:
Gastwirthův medián: Interkvartilové rozpětí: (n opakování, α=0,05)
Winsorizace dat – korekce: (nechceme-li odlehlé hodnoty vylučovat)
Logaritmická transformace: (jako log-normální rozdělení)
maximální a minimální hodnota v uspořádaném souboru se nahradí hodnotou sousední – nejmenší druhým nejmenším a největší druhým největším. Trend se zachová, extrémní hodnoty ztratí svou váhu. hodnoty se převedou na logaritmy, zpracují se jako normálně rozdělené a takto získané charakteristiky se tranformují zpět („odlogaritmují)
Přesnost měření / zkoušek Co všechno obsahuje výsledek analýzy X ?
X
=
µ
+
ε
+
Σδ
µ...pravá (pravdivá) hodnota ε...systematická chyba - stejná velikost a znaménko δ...náhodné chyby – v součtu mění velikost a znaménko
Přesnost = Pravdivost (ε) + Preciznost (δ) Accuracy = Trueness (ε) + Precision (δ)
Co je to „chyba výsledku analýzy (měření)“ Chyba měření (measurement error): (ε + Σ δ) = X – µ Chyba měření je rozdíl mezi hodnotou naměřenou (X) a hodnotou pravou (µ). …zahrnuje vždy chybu systematickou (ε) a náhodné vlivy (δ). Problém: často neznáme dost dobře µ a tedy ani chybu systematickou a tudíž ani celkovou...zase nejistota. Nejistota ?
Pravdivost výsledku měření Systematická chyba (ε + Σ δ) = X – µ systematická chyba výsledku je rozdílem mezi průměrným výsledkem z velkého počtu opakování a pravou hodnotou (true value) někdy je nazývána vychýlení (bias) v analytické chemii se zjišťuje např. jako průměrná výtěžnost (cx/c0)
Pravá hodnota - true value ...je hodnota charakterizující dokonale definovanou veličinu za podmínek existujících v okamžiku, kdy je uvažována… Je to ideální pojem - obecně nemůže být dokonale poznána ! pro praxi se proto nahrazuje REFERENČNÍ HODNOTOU
Referenční hodnota Realizuje se zpravidla prostřednictvím referenčního materiálu 1. střední hodnota dle definitní metody 2. teoretická hodnota (ze složení čisté látky) 3. expertní mezilaboratorní porovnání zkoušek 4. známé množství analytu přidané do matrice 5. střední hodnota základního souboru měření
Náhodná chyba výsledku složka chyby, která se v průběhu řady zkoušek téhož znaku mění nepředvídatelným způsobem – kolísá okolo střední hodnoty nelze ji odstranit jakoukoli korekcí ! Některé zdroje náhodných chyb: metoda laboratoř (prostředí) zařízení a materiály (nádobí, přístroje, činidla…) analytik časové rozmezí
Náhodná chyba výsledku vyjadřuje náhodné rozptýlení hodnot okolo střední hodnoty vyjadřuje se jako PRECIZNOST (precision) výsledků opakovaného měření za určitých podmínek vypočte se jako směrodatná odchylka σx z řady opakování nemá nic společného s pravou (referenční) hodnotou !
Náhodná chyba výsledku za různých podmínek působí různé náhodné vlivy preciznost výsledků (precision) je různá 1. extrém: co nejméně odlišností při opakování: OPAKOVATELNOST (jak se to daří opakovat mně) 2. extrém: co nejvíce odlišností při opakování: REPRODUKOVATELNOST (jak se to daří zreprodukovat jinde)
Náhodná chyba výsledku podmínky OPAKOVATELNOSTI: stejná metoda, laboratoř, analytik, zařízení, přístroje, standardy, chemikálie, kalibrační křivka, v krátkém časovém rozmezí („paralelky“) podmínky REPRODUKOVATELNOSTI : zpravidla stejná metoda ale jiná laboratoř a tedy všechny ostatní faktory jiné. a což takhle něco mezi ? podmínky MEZILEHLÉ PRECIZNOSTI : zpravidla stejná metoda i laboratoř ale v dlouhém časovém období (dlouhodobá opakovatelnost)
Ilustrace variability výsledků: dva různí pracovníci Standard
Integrace 2
Integrace 1
40
200
150
30
A22.872 re a: 21 4 Ar 5.3 23.152 - 1-MePyr ea 2 :2 10 3. 88
50
LU
25.004 - B[a]A
60
FLD1 A, Ex=248, Em=374, TT (C:\DATAHP~1\FLD154-4\DATA02\MT021016\048-3301.D)
A22.872 re a: 25 7 23.152 - 1-MePyr Ar 7.7 ea 6 :2 99 7. 03 23.591 Ar - BaA ea :9 68 9. 11
24.530 - 1-MePyr
FLD1 A, Ex=248, Em=374, TT (C:\DATAHP~1\FLD154-4\DATA02\MJKOLONY\MDER2.D) FLD1 A, Ex=248, Em=374, TT (C:\DATAHP~1\FLD154-4\DATA02\MT021016\048-3301.D) LU
LU
200
150
100
100
50
50
0
0
20
10
23.75
24
24.25
24.5
24.75
25
25.25
25.5
25.75 min
21.5
22
22.5
23
23.5
24
24.5
min
21.5
22
22.5
23
23.5
Rozdíl mezi výsledky – 42 % (koncentrační hladina ppb)
24
24.5
min
Ilustrace vlivu přístroje na mezilehlou preciznost výsledků 5.47 100
6.22
6.35
6.07
Analýza vzorku na dvou přístrojích stejného typu
6.84 7.05 %
7.65 7.54 8.10 9.67
0 5.40
5.60
8.00
5.80
6.00
6.20
6.40
8.50
6.60
6.80
9.00
7.00
7.20
7.40
9.50
7.60
7.80
8.00
10.00
8.20
8.40
8.60
10.50
8.80
9.00
11.00
9.20
9.40
9.60
11.50
9.80
Mez opakovatelnosti (r) Vypočte se ze směrodatné odchylky opakování analýzy stejnou metodou na stejném vzorku (homogenním) za podmínek opakovatelnosti:
r = f . √2 . σr r = 2,8 . sr Použití: Jsou-li výsledky zatíženy pouze přijatelnou náhodnou chybou (H0), pak rozdíl mezi výsledky dvou opakování nesmí být větší nežli r : |x1-x2| ‹ r
Opakovatelnost (sr) Postup 1: provede se řada opakování (n = 8 až 15) na tomtéž homogenním vzorku za podmínek opakovatelnosti, vypočte se směrodatná odchylka Postup 2: různé ale podobné vzorky se za podmínek opakovatelnosti analyzují dvojmo a vypočtou rozpětí, vypočte se směrodatná odchylka:
sr2 = Σ Di2/(2n)
Příklady použití: Stanovení dusíku – Kjeldahl, pro 3 % obsahy: r = 0,14 %
I. Výsledky analýzy: x1 = 2,96 %; x2 = 3,19 % 3,19 – 2,96 > 0,14 ! Tedy ještě další opakování: x3 = 2,92 %; 3,19 vyloučíme (???) 2,96 - 2,92 < 0,14 Výsledkem X je průměr platných opakování: X = (x1 + x3)/2 = 2,94 %; D1,3 < 0,14
II. Výsledky analýzy: x1 = 3,18 %; x2 = 3,36 % D1,2 = 0,18 > 0,14 ! Tedy ještě další opakování: x3 = 3,25 %; 3,25 - 3,18 < 0,14 a 3,36 – 3,25 < 0,14 Výsledkem X je průměr platných opakování: X = (x1 + x2 + x3)/3 = 3,26 %; D1,3 < 0,14 a D2,3 < 0,14
Příklady použití: Stanovení dusíku – Kjeldahl, pro 3 % obsahy: r = 0,14 %
ještě II.
Výsledky analýzy: x1 = 3,18 %; x2 = 3,36 %; x3 = 3,25 %;
Rozpětí souboru je 0,18 % : jaká je kritická hodnota pro 3 opakování ?
r3 = f . √3 . σr r3 = 3,3 . sr Rozpětí našeho souboru je 0,18 % > r3 = 0.17 Možná příčina ? 1. nehomogenní vzorek, 2. nezvládnutá metoda 3. špatně určená opakovatelnost
!
Opakovatelnost (r) Význam - odpověď na otázku: "lze rozdíl mezi výsledky opakování vysvětlit náhodným kolísáním (rozptýlením) anebo se analytický systém ocitl v nezvládnutém stavu ?" Standardně se uvádí mez opakovatelnosti pro α = 0,05 pro α = 0,01 se násobí koeficientem 1,29 pro α = 0,10 se násobí koeficientem 0,82
Reprodukovatelnost (R) Význam - odpověď na otázku: "lze rozdíl mezi výsledky získanými na tomtéž vzorku jinou laboratoří vysvětlit náhodným rozptýlením anebo nejsou výsledky laboratoří srovnatelné ?"
R = 2,8 . sR Použití: Jsou-li výsledky zatíženy pouze přijatelnou chybou, pak rozdíl mezi výsledky dvou laboratoří nesmí být větší nežli R : |X1-X2| ‹ R Nelze ovšem říci, který ze dvou výsledků je „pravdivější“ …
Reprodukovatelnost (R) Skládá se ze dvou složek: σ2r - rozptyl výsledků uvnitř laboratoře σ2L - rozptyl výsledků mezi laboratořemi
σ2R = σ2r + σ2L Způsob zjištění R: 1. experimentálně na základě mezilaboratorního porovnání zkoušek (MPZ) 2. odhadem z Horwitzova/Thompsonova empirického vztahu „Horwitz“ …
Reprodukovatelnost (R) - Horwitz 50
H o r w it z o v a k ř iv k a
40
Preciznost
CV (%)
30
20
10
0 1
100
Koncentrace
10 000 ppb
1 000 000
10 0 0 0 0 0 0 0
Reprodukovatelnost (R) - Horwitz Relativní směrodatná odchylka – variační koeficient: s klesající koncentrací analytu roste CV závislost na druhu analytu, typu vzorku a analytické metodě je méně důležitá
CVR = 2(1-0,5*logX) X je koncentrace analytu vyjádřená jako hmotnostní zlomek ! Thompson:
Pro X < 1,2*10-7 (tedy pod 0,12 mg.kg-1) má být CVR asi 22 % Pro X > 0,14 (tedy nad 14 %) je CVR = 0,01*X0,5
Reprodukovatelnost (R)
Reprodukovatelnost (R) - Horwitz Požadavky na preciznost ve stopové analýze: Koncentrace (ppb)
CVr (%) Codex Alimentarius
CVR (%) Horwitz
<1
35
> 45
1 - 10
30
32 -45
10 - 100
20
22 – 32
> 100
15
< 22
Pravdivost (Výtěžnost - Recovery) Příklad požadavků na výtěžnost ve stopové analýze: Koncentrace (ppb)
Dolní mez (%)
Horní mez (%)
<1
50
120
1 - 10
70
120
10 - 100
75
110
> 100
80
110
OPAKOVATELNOST, REPRODUKOVATELNOST (repeatability, reproducibility) závisí pouze na rozdělení náhodných chyb, nemá žádný vztah k hodnotě pravé, resp. referenční. Příklad: Nejvyšší přijatelné rozdíly mezi výsledky dvou analýz za podmínek opakovatelnosti a reprodukovatelnosti (EN 123931:1998) Koncentrační hladina [mg/kg]
Absolutní rozdíl mezi 2 opakováními [mg/kg]
Absolutní rozdíl mezi 2 laboratořemi [mg/kg]
0,01 0,1 1
0,005 (50 %) 0,025 (25 %) 0,125 (12 %)
0,01 (100 %) 0,05 (50 %) 0,25 (25 %)
Mezilehlá opakovatelnost Příklad požadavku na maximální hodnoty variačních koeficientů pro intralaboratorní preciznost („dlouhodobá opakovatelnost“) (Rozhodnutí Komise 2002/657/EC: stanovení prvků)
Koncentrace (mg/kg)
Variační koeficient (%)
≤ 10 až 100
20
100 až 1000
15
≥ 1000
10
Mezilehlá opakovatelnost Příklad hodnot variačních koeficientů pro opakovatelnost, intralaboratorní preciznost a reprodukovatelnost: z výsledků mezilaboratorní studie (validace) metody. (ISO 15753: Stanovení PAU v rostlinných tucích a olejích)
PRAVDIVOST (Trueness) celková systematická chyba - měřítkem je odchylka výsledků od skutečné hodnoty, zjišťuje se jako výtěžnost
Výtěžnost: Rec = Xs/Cref 100 %
R
RA = RB SA A
B
>
SB
NAŘÍZENÍ KOMISE (ES) č. 401/2006 kterým se stanoví metody odběru vzorků a metody analýzy pro úřední kontrolu množství mykotoxinů v potravinách
NAŘÍZENÍ KOMISE (ES) č. 401/2006 kterým se stanoví metody odběru vzorků a metody analýzy pro úřední kontrolu množství mykotoxinů v potravinách
PRAVDIVOST (Trueness) měření / analýzy t - test pravdivosti vzhledem k referenční hodnotě N = 11 8,4 m 1 2 3 4 5 6 7 8 9 10 11
xi 8 8,5 8,3 8,1 8,6 8,2 7,8 8,2 8,4 8,8 8,3
X= L1 = rozptyl: s= CV = t=
8,29091 8,10220 0,07891 0,28091 3,38814 1,28802
(X - xi)^2
t-krit 95
t-krit 90
chí - krit
4,303 3,182 2,776 2,571 2,447 2,365 2,306 2,262 2,228 2,131 2,228 výběr: L2 = 8,47961 horní mez: 0,26066 horní mez: 0,51055 %
2,920 2,353 2,132 2,045 1,943 1,895 1,860 1,833 1,812 1,753 xxxxxxx
0,103 0,352 0,711 1,150 1,640 2,170
0,08463 0,04372 0,00008 0,03645 0,03645 0,09554 0,00826 0,24099 0,00826 0,01190 0,25917
3,330
m..referenční hodnota N..počet opakování xi...výsledek měření X...průměrná hodnota L1..dolní mez IS L2..horní mez IS
Srovnání postupů měření / analýzy A - extrakce: Soxhlet, hexan 8 h B - extrakce: 3 x 20 min UF, hexan, Na2SO4
N 1 2 3 4 5 6 7
postup A 37,83 38,18 36,84 37,61 37,96 38,05 37,77
postup B 37,44 35,82 36,01 37,20 38,27 36,83 35,86
Excel ANALYSIS TOOL Dvouvýběrový t-test s nerovností rozptylů Stř. hodnota Rozptyl Směr. odch. sr t Stat P(T<=t) (1) t krit (1) P(T<=t) (2) t krit (2)
Sh-hexan UF/síran 2 hod 37,75 36,78 0,20 0,87 0,44 0,93 2,500 0,017 1,833 0,034 2,262
Dvouvýběrový F-test pro rozptyl Stř. hodnota Rozptyl Pozorování Rozdíl F P(F<=f) (1) F krit (1)
Sh-hexan UF/síran 3 hod 37,749 36,776 0,196 0,866 7,000 7,000 6,000 6,000 0,226 0,047 0,233
chyba měření
měření
náhodná chyba
systematická chyba známá systematická chyba korekce
hodnota výsledku
zbývající chyby
nejistota výsledku
výsledek měření
neznámá systematická chyba
Definice nejistoty měření (Uncertainty) Parametr spojený s výsledkem měření charakterizující rozptýlení hodnot, které mohou být důvodně připsány měřené veličině. Odhad přiřazený k výsledku zkoušky a charakterizující interval hodnot, o němž se tvrdí, že uvnitř něho leží pravá hodnota
