Chybějící a odlehlé hodnoty 43
Kapitola VIII. CHYBĚJÍCÍ A ODLEHLÉ HODNOTY. Luděk Dohnal
Většinou se předpokládá, že data jsou „pěkná“, např. normálně rozdělená, neobsahují anomální hodnoty a žádný výsledek nechybí. Ve skutečnosti potřebujeme často zpracovávat „nepěkná“ data, např. taková, která obsahují opisovačské chyby, nepředpokládaně extrémní výsledky anebo je jejich rozdělení sešikmené. O tom, jak pracovat s takovými daty, pojednává tento článek (14). 1. Chyby při opisování Chyby při opisování dat mohou být běžně korigovány, jestliže se provádí zavedená a dobře fungující kontrola jakosti před tím, než se provádí statistické zpracování. Data mohou být např. zadána nezávisle na sobě (dva různí pracovníci na dvou různých počítačích) dvakrát a zkontrolována elektronickým porovnáním dvou takto vzniklých datových souborů. Existuje též řada testů na odlehlé hodnoty (viz níže), které mohou být použity k detekci anomálních hodnot před tím, než budou data dále statisticky zpracována. Tyto testy však nemohou odstranit potřebu zajišťovat dobrou kontrolu jakosti. Spíš je třeba je chápat jako dodatečnou kontrolu jakosti. 2. Chybějící data Ať naplánujeme měření sebelépe, vždycky se stane, že něco nevyjde a důsledkem bývá chybějící údaj. Řada statistických postupů v případě chybějících dat selhává buď zčásti nebo úplně. Vždycky je samozřejmě nejlepším řešením experiment opakovat a získat úplnou sadu dat. Někdy to ale není proveditelné, zvláště když měření je třeba provést v předem daných časových relacích nebo když cena opakovaného měření je neúnosně velká. Pro takové případy je potřebné mít po ruce alternativní řešení. Současné statistické programové balíky poskytují pro řešení problému chybějících dat alespoň jednu ze tří metod: 2.1. Vyloučení neúplně popsaných objektů (casewise deletion) Ze statistického zpracování se vyloučí data od všech objektů, u nichž chybí byť jen jediný údaj (casewise deletion). Např. při kalibraci pro stanovení kovů pomocí AAS se používá řada standardních roztoků (kalibrátorů), které jsou pro nás ve statistickém smyslu objekty. Z nich každý obsahuje několik kovů o různých koncentracích - viz tab. 1. Jednotlivé kovy jsou ve sta-
tistickém smyslu proměnné, jednotlivé jejich koncentrace jsou hodnotami těchto proměnných pro daný objekt (kalibrátor). U některých kalibrátorů chybí údaj o koncentraci hliníku. Při aplikaci výše uvedeného postupu budou vyloučena VŠECHNA kalibrační data získaná s použitím těch kalibrátorů, pro něž není koncentrace hliníku uvedena. Naznačený postup je při práci s neúplnými daty dost častý, avšak nezaručuje korektní řešení. Obzvlášť při zpracování vícerozměrných datových sad se může přihodit, pokud jsou chybějící hodnoty rozloženy náhodně vzhledem k objektům i k proměnným, že skončíme vyloučením převážné většiny naměřených hodnot. Tabulka VIII.1 Vyloučení neúplně popsaných objektů (casewise deletion)
kalibrátor 1 kalibrátor 2 kalibrátor 3 kalibrátor 4
Al
B
Fe
Ni
567 234
94.5 72.1 34.0 97.4
578 673 674 429
23.1 7.6 44.7 82.9
Casewise deletion. Bude provedena statistická analysa pouze redukované sady dat.
kalibrátor 2 kalibrátor 4
Al
B
Fe
Ni
567 234
72.1 97.4
673 429
7.6 82.9
2.2. Vyloučení pouze neúplných párů (pairwise deletion) Tento způsob můžeme použít jako alternativu předchozího postupu v případech, když se parametry, např. korelační koeficienty, počítají postupně pomocí jednotlivých párů proměnných. Např. při zjišťování výtěžnosti analytického postupu (recovery) můžeme zkoumat, jak výtěžnost souvisí s dobou trvání extrakce, teplotou, velikostí částic, polaritou rozpouštědla atd. Jestliže nám chybí jedno měření polarity rozpouštědla (viz tab. 2), pak použitím metody vyloučení neúplných párů (pairwise deletion) bude pro výpočet korelačního koeficientu v již uvedeném příkladu zrušena pouze
Štatistické metódy pre klinickú epidemiológiu a laboratórnu prax 44 dvojice polarita/výtěžnost pro vzorek 1. Výpočty hodnot ostatních korelačních koeficientů, t.j. výtěžnost vs. doba trvání extrakce a výtěžnost vs. velikost částic, tím nebudou ovlivněny. Tabulka VIII.2 Vyloučení neúplných párů (pairwise deletion), r - korelační koeficient, n - počet datových párů v korelaci
výtěžnost (%)
vzorek 1 93 vzorek 2 105 vzorek 3 99 vzorek 4 73
extrakční čas (min.)
velikost index částic polarity (mm) rozpoušt.
20 120 180 10
90 150 50 500
Tabulka VIII.3 Nahrazení chybějící hodnoty střední (průměrnou) hodnotou (mean substitution)
kalibrátor 1 kalibrátor 2 kalibrátor 3 kalibrátor 4
Al
B
Fe
Ni
567 234
94.5 72.1 34.0 97.4
578 673 674 429
23.1 7.6 44.7 82.9
Mean substitution. Statistická analysa byla provedena s pseudo kompletními daty bez ohledu na to, jak velká je chyba při nahrazení chybějících hodnot průměry.
1.8 1.0 1.5 .
Pairwise deletion. Statistickou analysu ovlivnila pouze jedna vyloučená dvojice hodnot pro výpočet korelace výtěžnost vs polarita
r n
výtěžnost vs výtěžnost vs extrakční čas velikost částic
výtěžnost vs index polarity
0.728886 (4)
0.033942 (3)
-0.87495 (4)
I vylučování neúplných párů může vést k vážným problémům. Např. jestliže existuje, byť skryté, systematické rozložení chybějících dat (jinak řečeno, pokud chybějící data nejsou rozmístěna v matici výsledků náhodně), může vést tento postup k vychýlení (bias) vypočítaných korelačních koeficientů. Jednotlivé korelační koeficienty jsou totiž spočítány pomocí údajů z různých podmnožin objektů a tedy obecně pomocí sad údajů (proměnných) různé délky (n). 2.3. Nahrazení chybějící hodnoty střední hodnotou (mean substitution) Při tomto postupu jsou všechny chybějící hodnoty v každé proměnné nahrazeny střední hodnotou této proměnné (viz tab. 3). Datová sada se nyní jeví jako kompletní, ovšem za cenu značných nevýhod. Variabilita datové sady je uměle snížena. Snížení je přímo úměrné počtu chybějících bodů. To vede k podhodnocení rozptylu resp. směrodatné odchylky. Náhrada střední hodnotou může rovněž významně ovlivnit hodnoty některých dalších statistik, jako např. statistik lineární regrese (3), zvláště tehdy, jestliže korelace je silná.
kalibrátor 1 kalibrátor 2 kalibrátor 3 kalibrátor 4
Al
B
Fe
Ni
400.5 567 400.5 234
94.5 72.1 34.0 97.4
578 673 674 429
23.1 7.6 44.7 82.9
Na obr. VIII.1 je uveden příklad ilustrující použití všech tří postupů při výpočtu matice korelačních koeficientů. Korelační koeficienty (3) r jsou počítány pro každý možný pár 5 proměnných označených A až E. Povšimněte si, jak se hodnota r může zvětšovat, zmenšovat nebo dokonce změnit znaménko v závislosti na tom, který postup byl použit k ošetření chybějících údajů (viz korelační koeficienty proměnných A vs B). 3.4. Dopočítané hodnoty (imputation) Tento postup zpracování neúplných dat (4, 5) se používá stále častěji. Nebývá ale součástí statistických programů. Typický způsob dopočítání je lineární interpolace. Obecněji vzato jsou dopočítané hodnoty vlastně predikcí (předpovědí), která je založena na zpracování souboru dat stejných vlastností, který je kompletní (žádné údaje nechybějí). Pro každou chybějící hodnotu je vypočteno celkem m možných hodnot a m takto vzniklých kompletních datových sad se analysuje postupně zvoleným statistickým postupem. Ze vzniklých m pomocných výsledků se vytvoří pool, z něhož určíme konečný výsledek a jeho statistickou nejistotu. Tento postup funguje dobře, pokud chybějící data mají náhodné rozdělení a pokud model použitý pro predikci dopočítaných hodnot je rozumný.
Chybějící a odlehlé hodnoty 45 4. Extrémní hodnoty, nepravidelně roztroušené (stragglers) a odlehlé hodnoty (outliers) Extrémní hodnoty jsou definovány jako hodnoty, které se nacházejí tak daleko od všech ostatních hodnot daného souboru, že vzniká podezření, že by mohly být z jiného základního souboru anebo že jsou důsledkem (hrubé) chyby měření (6). Extrémní hodnoty někdy rozdělujeme na tzv. nepravidelně roztroušené (stragglers), tedy hodnoty, které jsou detekovány na hladině spolehlivosti 95% až 99%, a na tzv. odlehlé hodnoty (outliers), které jsou detekovány na hladině spolehlivosti větší než 99%. Extrémní hodnoty svádějí k tomu, aby byly odstraněny ze souboru dat. Je rozšířená domněnka, že mají špatný vliv na vypočtené statistiky. Např. že falešně zvyšují hodnotu směrodatné odchylky jako míry rozptylu dat nebo že mohou způsobit vychýlení (bias) počítaného průměru. Existuje zlaté pravidlo, které říká, že ze sady dat se nikdy nemá vyloučit nějaká hodnota pouze ze statistických důvodů. Mezi tyto statistické důvody patří i testy na odlehlé hodnoty. Testy na odlehlé hodnoty vám řeknou, na základě nějakých jednoduchých předpokladů, kde máte s největší pravděpodobností technickou chybu (chyby). Neřeknou vám však, že ten či onen výsledek (bod) je "špatný". I když je hodnota silně vybočující, může se jednat o (byť částečnou) správnou informaci (1). Takovou hodnotu lze označit jako "špatnou" a vyloučit pouze na základě dostatečných odborných zkušeností anebo jestliže se podaří aspoň zčásti zjistit její příčinu. A nyní jak testovat data na odlehlé hodnoty. Pokud máme dobré důvody domnívat se, že data mají "normální" (gaussovské) rozdělení, pak máme k disposici řadu postupů pro zjišťování odlehlých hodnot. Tyto testy (někdy též nazývané Q-testy) objektivním způsobem identifikují extrémní hodnoty (7). Zda data mají "normální" rozdělení zjišťujeme pomocí: a] dřívějších zkušeností s podobnými daty b] testů normality, např. test Kolmogorov-SmirnovLillefors, test Shapiro-Wilk, test šikmosti, test špičatosti (7, 8) atd. c] diagnostických grafů zkonstruovaných z dat a hodnot z nich vypočítaných, např. frekvenční histogram, rozptylový graf, krabicový graf (1, 7) atd. Je třeba upozornit, že testy použité ke kontrole normality obvykle vyžadují dostatečné množství dat. Doporučené minimum je 10 až 15 hodnot (v závislosti na použitém testu). Už z toho je zřejmé, že v analytické praxi často buď nebude praktické či dokonce možné tyto testy použít anebo nám výsledky testů neřeknou nic smysluplného. Pokud si nejsme jisti, že data mají normální rozdělení, pak je třeba při jejich zpracování použít robustní statistiky a/nebo neparametrické (na rozdělení nezávislé) testy. Nyní budou blíže popsány testy na odlehlé hodnoty. Další podrobnosti naleznete v literatuře (9 12).
5. Testy na odlehlé hodnoty V analytické chemii je spíše výjimkou, když máme větší počet paralelních stanovení (replikátů). A malé sady dat často vykazují náhodné seskupování hodnot a v důsledku toho se objevují odlehlé hodnoty. Z uvedených důvodů je třeba testy na odlehlé hodnoty používat obezřetně. Dál musí být samozřejmostí, že body, které tyto testy označí jako odlehlé, můžeme vyloučit pouze tehdy, zjistíme-li příčinu jejich odlišného chování. Většina testů na odlehlé hodnoty je založena na nějaké míře relativní vzdálenosti podezřelého bodu od střední hodnoty. Tato míra nám pak říká, zda extrémní hodnota je dílem náhody nebo nikoliv. Většina testů hledá jednu extrémní hodnotu (obrázek VIII.3a), ale někdy se přihodí, že v souboru dat je odlehlých hodnot několik. Ty pak mohou být určeny jedním ze dvou způsobů: 1) Iterativním (postupně opakovaným) použitím testu na odlehlé hodnoty. 2) Použitím testů, které pátrají po dvojicích extrémních hodnot, t.j. po odlehlých hodnotách, které maskují jedna druhou (obrázky VIII.3b a VIII.3c). Mělo by být pravidlem, že pokud identifikujeme více než 20% dat jako odlehlé hodnoty, potom je třeba intensivně zkoumat správnost předpokladu o jejich rozdělení a/nebo zda se vůbec jedná o správné a správně změřené údaje. Testy, které jsou vhodné pro jednotlivé případy znázorněné na obrázku VIII.3, jsou tyto: 3a - Grubbs 1 a Dixon, 3b - Grubbs 2, 3c - Grubbs 3 (7). Pokud by hodnoty testů G1, G2, G3 byly větší než tabelované kritické hodnoty (viz tab. VIII.4), potom by bylo na dané hladině spolehlivosti nepravděpodobné, že extrémní hodnota (hodnoty) je dílem náhody. Vypočítáme hodnoty všech tří testů podle Grubbse. Data uspořádáme vzestupně a výpočet provedeme pomocí vzorců uvedených na obrázku VIII.2, kde s je směrodatná odchylka pro celou sadu dat, xi je jedna hodnota podezřelá z odlehlosti, t.j. hodnota nejvíc vzdálená od průměru, | | je absolutní (prostá) hodnota, x je průměr, n je počet dat, xn a x1 jsou nejvíce extrémní hodnoty, sn-2 je směrodatná odchylka pro sadu dat, z níž byla vyloučena dvojice hodnot podezřelých z odlehlosti (t.j. dvojice hodnot nejvíce vzdálených od průměru). 5.1 Příklad výpočtu Grubbsových testů 13 replikátů xi bylo seřazeno vzestupně. 47.876 48.211 49.005 n = 13,
47.997 48.251 49.166
48.065 48.559 49.484
48.118 48.634
48.151 48.711
x = 48 479, s = 0,498, s n2− 2 = 0,123 [1]
Štatistické metódy pre klinickú epidemiológiu a laboratórnu prax 46
G
1
G
2
G
3
=
49,484 − 48,479 = 2,02 0,498
[2]
=
49,484 − 47,876 = 3,23 0,498
[3]
10 x0,123 = 1 − = 0,587 2 12 x0,498
[4]
Kritické hodnoty Grubbsových testů pro n = 13 jsou: G1 = 2.331 a 2.607, G2 = 4.00 a 4.24, G3 = 0.6705 a 0.7667 pro hladiny spolehlivosti 95% a 99%. Ve všech případech jsou výsledky testů menší než příslušné kritické hodnoty. Můžeme udělat závěr, že data neobsahují odlehlé hodnoty. Tabulka VIII..4 Tabulka kritických hodnot Grubbsových testů (7)
95% hladina spolehl. n G1 3 4 5 6 7 8 9 10 12 13 15 20 25 30 35 40 50 60 70 80 90 100 110 120 130 140
1.153 1.463 1.672 1.822 1.938 2.032 2.110 2.176 2.285 2.331 2.409 2.557 2.663 2.745 2.811 2.866 2.956 3.025 3.082 3.130 3.171 3.207 3.239 3.267 3.294 3.318
99% hladina spolehlivosti
G2
G3
G1
G2
G3
2.00 2.43 2.75 3.01 3.22 3.40 3.55 3.68 3.91 4.00 4.17 4.49 4.73 4.89 5.026 5.150 5.350 5.500 5.638 5.730 5.820 5.900 5.968 6.030 6.086 6.137
0.9992 0.9817 0.9436 0.8980 0.8522 0.8091 0.7695 0.7004 0.6705 0.6182 0.5196 0.4505 0.3992 0.3595 0.3276 0.2797 0.2450 0.2187 0.1979 0.1810 0.1617 0.1553 0.1452 0.1364 0.1288
1.155 1.492 1.749 1.944 2.097 2.221 2.323 2.410 2.550 2.607 2.705 2.884 3.009 3.103 3.178 3.240 3.336 3.411 3.471 3.521 3.563 3.600 3.632 3.662 3.688 3.712
2.00 2.44 2.80 3.10 3.34 3.54 3.72 3.88 4.13 4.24 4.43 4.79 5.03 5.19 5.326 5.450 5.650 5.800 5.938 6.030 6.120 6.200 6.268 6.330 6.386 6.437
1.0000 0.9965 0.9814 0.9560 0.9250 0.8918 0.8586 0.7957 0.7667 0.7141 0.6091 0.5320 0.4732 0.4270 0.3896 0.3328 0.2914 0.2599 0.2350 0.2147 0.1980 0.1838 0.1716 0.1611 0.1519
6. Úskalí testů na odlehlé hodnoty Obrázek VIII.4 ukazuje tři případy, kdy testy na odlehlé hodnoty mohou mylně svádět ke konstatování, že se jedná o extrémní hodnoty. Obrázek VIII.4a ukazuje situaci obvyklou při chemických analysách. Příčinou je limitovaná přesnost měření (chyba zaokrouhlení). K tomu dochází typicky tehndy, když je nepřesnost měření menší než chyba zaokrouhlení při odečítání výsledku. Pokud jsou všechny výsledky mimo jednoho zaokrouhleny na totéž číslo a ten jeden na číslo jiné, potom je vždy tento "jinam zaokrouhlený" výsledek označen testy jako odlehlý. Na obrázku VIII.4b je situace, kdy příčinou existence dvou bodů označených "outlier" může být, že rozdělení výsledků má mnohem delší konce než rozdělení gaussovské (normální). Takovýto typ rozdělení je při některých typech chemických analýz velmi častý, např. při stanovování residuí pesticidů. Jestliže existuje skupina několika málo výsledků, které jsou všechny odlehlé jako na obrázku 4c, může být její existence dílem náhody. Také je v tomto případě možné, že "odlehlá" skupina je blíž "pravé" hodnotě a skutečně odlehlé (tedy horší) výsledky jsou v "hlavní skupině". Tato situace se vyskytuje častěji, než jsme ochotni si připustit. Například když je v popisu analytického postupu napsáno "Výsledek je průměrem nejlepších dvou ze tří stanovení". 7. Odlehlé hodnoty rozptylu Jestliže máme data z různých skupin (např. jestliže porovnáváme metody stanovení pomocí mezilaboratorní porovnávací zkoušky), mohou se odlehlé hodnoty vyskytnout v rámci jednotlivých skupin, ale rovněž průměrné hodnoty jednotlivých skupin mohou být navzájem odlehlé. Jiný "typ" odlehlé hodnoty se vyskytne, jestliže "šířka" dat v jedné takové skupině je neobvykle malá resp. velká oproti "šířkám" dat v ostatních skupinách (viz obrázek VIII.5). V takových případech se tedy testují dva "typy" odlehlosti. 1) Grubbsovy testy se použijí k detekcí odlehlých hodnot uvnitř skupin a k detekci odlehlých středních hodnot jednotlivých skupin. 2) Cochranův test se použije k detekci odlehlého rozptylu. (Rozptyl je mírou "šířky" dat a dá se vypočítat jako druhá mocnina směrodatné odchylky (1).) Cochranův test spočívá v dělení podezřelého rozptylu (variance) součtem rozptylů všech skupin.
C
n
=
( )
podezř s 2 g
∑s i =1
2 1
[5]
Chybějící a odlehlé hodnoty 47 g
∑ n1 n=
i =1
g
[6]
kde g je počet skupin a ni je počet replikátů v i-té skupině. Jestliže poměr vypočítaný v rovnici [5] přesáhne kritickou hodnotu získanou ze statistických tabulek (7), pak "šířka" dat v podezřelé skupině je extrémní. Cochranův test předpokládá, že počet replikátů uvnitř skupin je stejný nebo aspoň podobný (plus minus 1). Dál předpokládá, že data nejsou zaokrouhlena a že počet replikátů je dostatečný pro výpočet přiměřeného odhadu rozptylu (variance). Cochranův test není možno použít iterativně. Mohlo by to vést ke značnému množství "odlehlých" dat. 7.1. Příklad výpočtu Cochranova testu Byla provedena mezilaboratorní porovnávací zkouška, které se zúčastnilo 13 laboratoří, které provedly dohromady 85 stanovení obsahu bavlny v látce z kombinované příze bavlna-polyester. Směrodatné odchylky stanovení v jednotlivých laboratořích: 0.202 0.402 0.332 0.236 0.318 0.452 0.210 0.074 0.525 0.067 0.609 0.246 0.198
n =
85 = 6,54 ≈ 7 13
[7]
0,609 2 = 0,202 2 + 0,402 2 + ... + 0,246 2 + 0,198 2 0,371 = = 0,252 [8] 0,474
Cn =
Kritická hodnota Cochranova testu pro n = 7 a g = 13 je 0.23 na 95% hladině spolehlivosti (7). Poněvadž výsledek testu je větší než kritická hodnota, vyslovíme závěr, že nejvyšší směrodatná odchylka replikátů jedné laboratoře (0.609) je mezi odchylkami replikátů těchto 13 laboratoří odlehlá. Výsledky z této laboratoře je třeba podrobněji prověřit. Při mezilaboratorních porovnáváních bývá běžnou praxí, že se na odlehlost netestuje opačný extrém, t.j. nejmenší směrodatná odchylka replikátů jedné laboratoře. Nezkoumá se tedy při neobvykle dobré přesnosti laboratoře, zda jde o odlehlou směrodatnou odchylku. 7. Závěrem Data vždy kontrolujte se zřetelem na chyby opisování. Jako dodatečná kontrola jakosti mohou při vyhledávání chyb tohoto typu posloužit testy na odlehlé hodnoty. Vyřaďte extrémní hodnoty pouze za předpokladu, že byly zjištěny technické příčiny jejich vzniku.
Chybějících dat se snažte vyvarovat, mohou být příčinou špatné interpretace výsledných statistik. Pokud se to nezdaří, měla by se situace řešit pomocí dalších měření. Testy na odlehlé hodnoty předpokládají, že znáte rozdělení (distribuci) dat. Platnost tohoto předpokladu by měla být prověřena dříve, než přistoupíte k použití těchto testů. Pomocí robustních statistik se vyhnete nutnosti použít testy na odlehlé hodnoty. Použití robustních statistik totiž výrazně zmenšuje vliv extrémních hodnot na výsledek. Pokud jsou vaše vědomosti o rozdělení (distribuci) dat omezené, měli byste použít neparametrické metody. LITERATURA 1. Burke, S.: Statistics in context: Exploring and summarising the results of measurements, VAM Bulletin, 16, 20-22, Spring 1997, český překlad L.Dohnal, Průzkum a sumarizace výsledků měření, Fons, 1998, č. 4, s. 40-43. 2. Burke, S.: Statistics in context: Significance testing, VAM Bulletin, 17, 18-21, Autumn 1997, český překlad L.Dohnal, Testování statistické významnosti, Fons, 1999, č. 1, s. 46-50. 3. Burke, S. Statistics in context: Regression & calibration, VAM Bulletin, 18, 18-21, Spring 1998, český překlad L.Dohnal, Regrese a kalibrace, Fons, 1999, č. 2, s. 25-31. 4. Schafer, J.L.: Monographs on Statistics and Applied Probability 72 - Analysis of Incomplete Multivariate Data, Chapman & Hall, London ISBN 0-412-04061-1 (1997) 5. Little, R.J.A., Rubin, D.B.: Statistical analysis with missing data. John Wiley & Sons, New York ISBN 0471-80254-9 (1987) 6. ISO 3534. Statistics - Vocabulary and Symbols. Part 1: Probability and general statistics terms, section 2.64. Geneva (1993) 7. Farrant, T.J.: Practical statistics for the analytical scientist: A bench guide. The Royal Society of Chemistry, Cambridge ISBN 0-85404-442-6 (1997) 8. Kruskal, W.H., Tanur, J.M.: International Encyclopaedia of Statistics. Collier Macmillian Publishers, New York ISBN 0-02-917960-2 (1978) 9. Analytical Methods Committee, Analyst 114, 1693-7 (1989) 10. Hoaglin, D.C., Mosteller, F., Tukey, J.W.: Understanding Robust and Exploratory Data Analysis. John Wiley & Sons, New York ISBN 0-471-09777-2 (1983) 11. Hollander, M., Wolf, D.A.: Non-parametric statistical methods. John Wiley & Sons, New York ISBN 047140-635-X (1973) 12. Daniel, W.W.: Applied non-parametric statistics. Houghton Mifflin, Boston ISBN 0-53491-976-6 (1978) 13. Burke, S.: Statistical Refresher 2 Analysis of Variance, Scientific Data Management 2 (1), 36-41 (1998)
Štatistické metódy pre klinickú epidemiológiu a laboratórnu prax 48 14. Burke, S.: Missing values, outliers, robust statistics and non-parametric methods. VAM bulletin (Valid Analytical Measurement), publication of Laboratory of
the Government Chemist, Queens Road, Teddington, Middlesex TW11 0LY in support of the National Measurement System, issue No. 19, Autumn 1998
Obrázek VIII.1 Ovlivnění matice korelačních koeficientů chybějícími daty - převzato z práce (14).
Obrázek VIII.2 Grubbsovy testy.
Obrázek VIII.3 Odlehlé hodnoty (outliers) a maskování - převzato z práce (14).
Pokračovanie na s. 42
