Směrnice 1/2011 Statistické vyhodnocování dat, verze 4 Verze 4 je shodná se Směrnicí 1/2011 verze 3, pouze byla rozšířena o robustní analýzu
1. Statistické metody pro zkoušení způsobilosti Cílem statistické analýzy výsledků zkoušek při zkouškách způsobilosti je charakterizace výběrového rozdělení dat, odhad jeho parametrů a následně vyhodnocení výkonnosti jednotlivých účastníků. Algoritmus pro vyhodnocování zkoušek způsobilosti: Krok 1. Posouzení/vyhodnocení velikosti souboru dat/výsledků: 1.1 malé soubory (velikost souboru 5 až 15 výsledků) – Hornův postup 1.2 větší soubory (velikost n > 16) – jiný postup (krok 2). Krok 2. Ověření předpokladu normálního rozdělení Krok 3. Volba postupu statistické analýzy 3.1 normální rozdělení bylo potvrzeno – test na odlehlé hodnoty: 3.1.1 potvrzen výskyt odlehlých hodnot – robustní analýza pro určení parametrů rozdělení 3.1.2 nepotvrzen výskyt odlehlých hodnot – výpočet statistik výkonnosti (momentové charakteristiky pro normální rozdělení) 3.2 normální rozdělení nebylo potvrzeno – test na odlehlé hodnoty (údaje se nevylučují) a robustní analýza. V případě, že již při vypsání programu zkoušení způsobilosti je rozhodnuto o volbě postupu podle bodu 3.2, krok 2 se neprovádí. Pro zjišťování vybočujících a/nebo odlehlých výsledků jsou používány numerické testy odlehlých hodnot [1], pro hodnocení malých souborů (výběrů) je používán Hornův postup [5]. Při předpokladu odlehlých hodnot se používají robustní odhady [3], [6].
2. Numerický postup zjišťování odlehlých hodnot 2.1 Cochranův test Cochranův test je testem vnitrolaboratorních proměnlivostí (variability) a používá se pro detekci odlehlého rozptylu s2. Cochranův test se používá u těch zkoušek způsobilosti, kdy jsou účastníky předávány minimálně 3 jednotlivé výsledky v daném programu/zkoušce. Pro testování odlehlosti je nulovou hypotézou předpoklad, že testovaná hodnota není odlehlá. Cochranova statistika C je dána vztahem:
C=
2 s max p
∑s i =1
kde:
smax si p
(1)
2 i
je největší výběrová směrodatná odchylka z dané množiny hodnot, jsou výběrové směrodatné odchylky stanovené z výsledků jednotlivých účastníků (laboratoří), je počet účastníků (laboratoří).
Kritické hodnoty Cochranova testu jsou uvedeny v ČSN ISO 5725-2 [1]: a) je-li testová statistika menší než pětiprocentní kritická hodnota nebo je-li této hodnotě rovna, považuje se testovaná entita za správnou; Směrnice 1/2011 Statistické vyhodnocování dat, verze 4
str. 1/9
b) je-li testová statistika větší než pětiprocentní kritická hodnota a menší než jednoprocentní kritická hodnota nebo je-li této hodnotě rovna, nazve se testovaná entita vybočující hodnotou (označeno jednou hvězdičkou); c) je-li testová statistika větší než jednoprocentní kritická hodnota, nazve se testovaná entita odlehlou hodnotou (označeno dvěma hvězdičkami).
2.2 Grubbsův test Grubbsův test – jedno odlehlé pozorování Grubbsův test je testem mezilaboratorní proměnlivosti (variability) (použití pro n > 2) a používá se pro detekci odlehlé hodnoty uvnitř skupin (výsledků laboratoře) a/nebo detekci odlehlé střední hodnoty jednotlivých skupin. Pro testování odlehlosti je nulovou hypotézou předpoklad, že testovaná hodnota není odlehlá. Z dané množiny údajů xi pro i = 1, 2, …, p, uspořádané vzestupně podle velikosti, se vypočte Grubbsova statistika Gp a/nebo G1:
Gp =
xp − x s
(2)
nebo
x − x1 s
(3)
1 p ∑ xi p i =1
(4)
G1 = kde
x=
a
s=
1 p ( x i − x )2 ∑ p − 1 i =1
(5)
Kritické hodnoty Grubbsova testu jsou uvedeny v ČSN ISO 5725-2 [1]: a) je-li testová statistika menší než pětiprocentní kritická hodnota nebo je-li této hodnotě rovna, považuje se testovaná entita za správnou; b) je-li testová statistika větší než pětiprocentní kritická hodnota a menší než jednoprocentní kritická hodnota nebo je-li této hodnotě rovna, nazve se testovaná entita vybočující hodnotou (označeno jednou hvězdičkou); c) je-li testová statistika větší než jednoprocentní kritická hodnota, nazve se testovaná entita odlehlou hodnotou (označeno dvěma hvězdičkami). Grubbsův test – dvě odlehlá pozorování Pro testování, zda by dvě největší pozorování nemohla být odlehlými hodnotami, se vypočítá Grubbsova testovaná statistika G:
G=
s 2p−1, p s 02
(6)
kde: Směrnice 1/2011 Statistické vyhodnocování dat, verze 4
str. 2/9
p
s 02 = ∑ (xi − x )
2
(7)
i =1
p−2
s 2p −1, p = ∑ (xi − x p −1, p )
2
(8)
i =1
x p −1, p =
1 p −2 ∑ xi p − 2 i =1
(9)
Pro testování dvou nejmenších pozorování adekvátně platí:
G=
s12, 2
(10)
s 02
kde: p
s12, 2 = ∑ (xi − x1, 2 )
2
(11)
i =3
x1, 2 =
1 p ∑ xi p − 2 i =3
(12)
Kritické hodnoty Grubbsova testu jsou uvedeny v ČSN ISO 5725-2 [1]: a) je-li testová statistika menší než pětiprocentní kritická hodnota nebo je-li této hodnotě rovna, považuje se testovaná entita za správnou; b) je-li testová statistika větší než pětiprocentní kritická hodnota a menší než jednoprocentní kritická hodnota nebo je-li této hodnotě rovna, nazve se testovaná entita vybočující hodnotou (označeno jednou hvězdičkou); c) je-li testová statistika větší než jednoprocentní kritická hodnota, nazve se testovaná entita odlehlou hodnotou (označeno dvěma hvězdičkami). Poznámka: Jestliže nebude u souboru výsledků prokázáno normální rozdělení, lze Grubbsovým testem vylučovat maximálně dva odlehlé výsledky.
3. Statistická analýza 3.1 Momentové charakteristiky Použití: v případě, kdy byl přijat předpoklad normálního rozdělení výsledků/dat. Odlehlé hodnoty: pro identifikaci odlehlých hodnot se použije Cochranův test pro zjišťování odlehlých hodnot (kap. 2.1) nebo Grubbsův test pro zjišťování odlehlých hodnot (kap. 2.2). Klasické parametry Aritmetický průměr Rozptyl Směrodatná odchylka
Odhad střední hodnoty pro normálně rozdělená data. Odhad rozptylu. Druhá odmocnina z rozptylu.
Směrnice 1/2011 Statistické vyhodnocování dat, verze 4
str. 3/9
3.1.1 Stanovení vztažné hodnoty Jako vztažné hodnoty zkoušky způsobilosti se určují aritmetický průměr Xref a výběrová směrodatná odchylka s. Vztažné hodnoty se určují jako konsenzuální hodnoty účastníků s uvážením vlivu odlehlých hodnot (výpočet z výsledků účastníků po odstranění odlehlých hodnot):
1 n ∑ xi n i =1
X ref =
s= kde:
n xi
1 n ∑ (xi − X ref n − 1 i =1
(13)
)
2
(14)
je počet výsledků jednotlivých laboratoří, jsou výsledky jednotlivých laboratoří.
3.1.2 Odhad rozptylů Počítají se tři odhady rozptylů: rozptyl opakovatelnosti, mezilaboratorní rozptyl a rozptyl reprodukovatelnosti. Rozptyl opakovatelnosti
∑ (n p
s rj2 =
i =1
ij
∑ (n
− 1) s ij2
p
i =1
ij
− 1)
(15)
Poznámka: Ve zvláštním případě, kdy jsou všechna nij = n = 2, lze použít jednodušší vztah:
1 p (yij1 − yij 2 )2 s = ∑ 2 p i =1 2 rj
(16)
Mezilaboratorní rozptyl
s Lj2 =
s dj2 − s rj2 nj
(17)
kde
s dj2 =
p ⎤ 1 p 1 ⎡ p 2 2 2 ( ) ( ) ( ) n y y n y y nij ⎥ − = − ∑ ∑ ∑ ij ij j ij ij j ⎢ p − 1 i =1 p − 1 ⎣ i =1 i =1 ⎦
(18)
a p ⎡ ⎤ nij2 ⎥ ∑ ⎢ p 1 ⎢∑ nij − i =p1 ⎥ nij = p − 1 ⎢ i =1 ⎥ nij ⎥ ∑ ⎢ i =1 ⎣ ⎦
Směrnice 1/2011 Statistické vyhodnocování dat, verze 4
(19)
str. 4/9
Poznámka: Ve zvláštním případě, kdy jsou všechna nij = n = 2, lze použít jednodušší vztah:
s Lj2 =
s rj2 1 p 2 ( ) y y − − ∑ ij j 2 p − 1 i =1
(20)
Rozptyl reprodukovatelnosti
s Rj2 = s rj2 + s Lj2
(21)
Mez opakovatelnosti r: hodnota, o níž lze předpokládat, že s pravděpodobností 95 % pod ní bude ležet nebo jí bude rovna absolutní hodnota rozdílu mezi dvěma výsledky zkoušek získanými za podmínek opakovatelnosti [2]:
r j = 2,8 ⋅ s rj
(22)
3.2 Robustní analýza Je-li odůvodněný předpoklad, že výsledky experimentu shodnosti budou obsahovat odlehlé hodnoty, má se dát přednost robustním metodám pro statistickou analýzu. Použití: v případě, kdy nebyl přijat předpoklad normálního rozdělení výsledků/dat. Odlehlé hodnoty: použijí-li se robustní metody, mají se na údaje aplikovat testy odlehlých hodnot (Grubbs). Nicméně údaje se v důsledku těchto testů nemají vylučovat. Klasické parametry Robustní směrodatná odchylka Robustní aritmetický průměr
Odhad robustní směrodatné odchylky s* = K.median (|xi – median(x)|), kde K = F-1(0,75) = 1,482602. Odhad robustní střední hodnoty x* = median (xi)
Pro robustní analýzu statistických dat se používá algoritmus A podle ISO 13528 [3] a ČSN ISO 5725-5 [6]. Tento algoritmus poskytuje robustní hodnoty průměrů a směrodatných odchylek údajů, na které se použije (žádné hodnoty se v důsledku použití Grubbsova testu nevylučují). 1. krok – stanovení pořádkových statistik: Údaje o rozsahu p, vzestupně srovnané podle velikosti, se označí:
x1 , x 2 ,......., xi ,......., x p Robustní průměr a robustní odhad směrodatné odchylky těchto údajů se označí x* a s*. 2. krok – výpočet robustních charakteristik: Vypočtou se počáteční hodnoty robustních charakteristik x* a s* jako:
x ∗ = medián hodnot xi
Směrnice 1/2011 Statistické vyhodnocování dat, verze 4
(i = 1, 2, …, p)
(23)
str. 5/9
s ∗ = 1,483 × medián hodnot xi − x ∗
(i = 1, 2, …, p)
(24)
3. krok – úprava hodnot robustních charakteristik: Hodnoty robustních charakteristik x* a s* se upraví následovně. Vypočte se:
δ = 1,5s ∗
(25)
Poznámka: hodnota podle ISO 5725-5 je označena φ. Pro každou hodnotu xi (i = 1, 2, …, p) se vypočte:
⎧ x ∗ − δ , pro xi menší než x ∗ − δ ⎫ ⎪ ⎪ xi∗ = ⎨ x ∗ + δ , pro xi vetší než x ∗ + δ ⎬ ⎪ x , pro ostatní přřípad ⎪ ⎩ i ⎭
(26)
Vypočtou se nové hodnoty charakteristik x* a s* ze vztahů: p
x∗ = ∑ i =1
∗
xi∗ p
s = 1,134
(27)
p
∑ i =1
(x
∗ i
)
− x∗ ( p − 1)
2
(28)
Robustní odhady charakteristik x* a s* lze odvodit iterací, tj. opakováním výpočtů podle vztahů (27) a (28) několikrát, dokud nejsou změny odhadů charakteristik od jednoho výpočtu k následujícímu malé, tj. nejsou-li změny od jedné iterace k následující na třetím platném místě robustní standardní odchylky a robustního aritmetického průměru. Poznámky: 1) Toto je jednoduchá metoda programovatelná na PC. 2) Alternativní metoda, která nezahrnuje iterace, a tedy ji lze snadněji použít při ručním výpočtu, se odvodí na základě zjištění, že rovnice (27) a (28) lze psát jako:
x ∗ = x ′ + 1,5 ×
(s )
∗ 2
=
(uU
− u L )s ∗ ( p − u L − uU )
( p − u L − uU − 1) × (s ′)2 ⎛ ( p − 1) 1,5 2 ( pu L − puU − 4u L uU ) ⎞ ⎟⎟ ⎜⎜ − 2 ( p − u L − uU ) ⎠ ⎝ 1,134
(29)
(30)
kde: uL ... je počet údajů xi, pro než je xi < x* – δ ... je počet údajů xi, pro než je xi > x* + δ uU ' ' x a s … jsou průměr a směrodatná odchylka (p – uL – uU) údajů xi, pro než |xi – x*| ≤ δ.
Směrnice 1/2011 Statistické vyhodnocování dat, verze 4
str. 6/9
Jsou-li uL a uU známy, lze tyto vztahy použít přímo k výpočtu charakteristik x* a s*. Jeden přístup je zkoušet různé možnosti systematicky (tj. zkusit uL = 0, uU = 0; dále uL = 0, uU = 1; dále uL = 1, uU = 0; uL = 1, uU = 1, a tímto způsobem pokračovat) dokud se nenalezne platné řešení, při němž se aktuální počty údajů, které se od x* liší o více než 1,5 s*, rovnají hodnotám uL a uU použitým pří výpočtu. Jinou možností je použít iterativní metodu k nalezení přibližného řešení, a pak řešit rovnice (29) a (30), aby se nalezlo přesné řešení.
3.3 Hodnocení malých souborů Pro hodnocení malých souborů se používá Hornův postup. Postup se používá u malých souborů pro 5 až 15 platných výsledků. Klasické parametry Pivotová polosuma Pivotové rozpětí Interval spolehlivosti
Odhad polohy. Odhad rozptýlení/rozptylu. Intervalový odhad střední hodnoty.
Statistické zpracování je založeno na pořádkových statistikách, kdy se podle počtu výsledků určí hloubka pivotů, pivotová polosuma jako odhad parametru polohy a pivotové rozpětí jako odhad parametru rozptýlení. Součin pivotového rozpětí a kvantilu rozdělení TL pro 1 – α = 0,975 udává interval spolehlivosti střední hodnoty. Hloubka pivotu
⎛ n +1 ⎞ ⎟ ⎜ H = int ⎜ 2 ⎟ ⎜ 2 ⎟ ⎟ ⎜ ⎠ ⎝
nebo
⎛ n +1 ⎞ +1⎟ ⎜ 2 ⎜ ⎟ H = int 2 ⎜ ⎟ ⎜ ⎟ ⎝ ⎠
(31)
(32)
kde n je počet výsledků. Pro výpočet hloubky pivotu se použije vztah, podle kterého bude hodnota hloubky pivotu celé číslo. Dolní pivot
x D = x( H )
(33)
Horní pivot
x H = x( n +1− H )
Směrnice 1/2011 Statistické vyhodnocování dat, verze 4
(34)
str. 7/9
Pivotová polosuma
PL =
xD + xH 2
(35)
Pivotové rozpětí
RL = x H − x D
(36)
Náhodná veličina k testování
PL x + xH = D R L 2( x H − x D )
TL =
(37)
Náhodná veličina k testování TL má přibližně symetrické rozdělení a jeho vybrané kvantily jsou uvedeny v [5]. 95% interval spolehlivosti střední hodnoty
PL − RL t L;0,975 (n) ≤ μ ≤ PL + RL t L;0,975 (n)
(38)
Kvantily tL pro 1 – α = 0,975 rozdělení TL jsou uvedeny v [5]. Pro soubory s počtem platných výsledků 10 až 15 se použije postup hodnocení podle čl. 3.1 nebo 3.3, a to podle toho, podle kterého z hlediska počtu vyloučených hodnot (výsledků) bude hodnocení příznivější (menší počet vyloučených výsledků).
4. Hodnocení výkonnosti 4.1 Hodnocení výkonnosti porovnáním s normovanou hodnotou reprodukovatelnosti
− R / 2 ≤ X ref ≤ + R / 2
(39)
Pro třídění výsledků účastnických laboratoří se použijí kritéria: xi ∈ X ref − R / 2; X ref + R / 2 .. výsledek laboratoře je uspokojivý (vyhovující výkonnost),
xi ∉ X ref − R / 2; X ref + R / 2
.. výsledek laboratoře je neuspokojivý (nevyhovující výkonnost).
4.2 z-score
z=
xlab − X ref s
Směrnice 1/2011 Statistické vyhodnocování dat, verze 4
(40)
str. 8/9
kde:
xlab je výsledek zúčastněné laboratoře, Xref je vztažná hodnota, s je výběrová směrodatná odchylka vypočtená z výsledků účastníků.
Pro třídění výsledků účastnických laboratoří se použijí kritéria: |z| ≤ 2,0 .. výsledek laboratoře je uspokojivý, výkonnost laboratoře je vyhovující, 2,0 < |z| < 3,0 .. výsledek laboratoře je problematický, výkonnost laboratoře je problematická, |z| ≥ 3,0 .. výsledek laboratoře je neuspokojivý, výkonnost laboratoře je nevyhovující.
5. Literatura [1]
[2] [3] [4] [5] [6]
ČSN ISO 5725-2: Přesnost (správnost a shodnost) metod a výsledků měření – Část 2: Základní metoda pro stanovení opakovatelnosti a reprodukovatelnosti normalizované metody měření, 1997. ČSN ISO 3534-1: Statistika – Slovník a značky – Část 1: Obecné statistické termíny a termíny používané v pravděpodobnosti, 2010. ISO 13528: Statistical methods for use in proficiency testing by interlaboratory comparisons. ISO, 2005. ČSN EN ISO/IEC 17043: Posuzování shody – Všeobecné požadavky na zkoušení způsobilosti, 2010. Meloun, M., Militký, J.: Statistické zpracování experimentálních dat. Plus Praha. Praha, 1994, str. 176 – 178. ČSN ISO 5725-5: Přesnost (správnost a shodnost) metod a výsledků měření – Část 5: Alternativní metody pro stanovení shodnosti normalizované metody měření, 1999.
Zpracoval:
Ing. Petr Koška, Ph.D.
Schválil:
Ing. Jaroslav Vodička
Datum účinnosti:
2. 3. 2015
Směrnice 1/2011 Statistické vyhodnocování dat, verze 4
str. 9/9
