Zdeněk Konvička 15. 11. 2001
Statistické testování Příklad 4 - Porovnání dvou výběrů
Porovnání dvou reaktorů Zadání: Chemické reakce při kontinuální výrobě probíhají ve dvou identických reaktorech. Konstanty pot řebné pro regulaci průběhu reakce jsou nastaveny pro každý reaktor samostatně. Kvalita meziproduktu byla sledována v průběhu jednoho měsíce pomocí sedimentačního testu. Zjistěte porovnáním hodnot pro oba reaktory, zda je možno tvrdit, že kvalita meziproduktu z obou reaktorů je shodná a je možno je míchat pro další proces výroby. Hodnoty sedimentačního testu by se měly pohybovat v rozmezí od 135 do 145 mm /30 min. Uvažujte 95% statistickou jistotu. 1. Proveďte ověření normality u obou souborů pomocí průzkumové analýzy (EDA). 2. Prověřte, zdali se hodnoty sedimentace nacházejí v požadovaném intervalu. 3. Na základě zjištěných skutečností z průzkumové analýzy (EDA) proveďte porovnání obou výběrů pomocí statistického testování. Data pro reaktor H: 136 137 138 172 156 135 143
130 102 171 160 168 149 138
116 109 137 165 134 127 139
136 128 171 138 135 114 147
144 102 165 163 147 139 140
118 103 178 148 105 122 163
128 125 169 160 119 122 117
140 131 150 139 139 129 151
109 122 165 147 147 135 130
115 140 165 150 127 132 142
138 138 148 156 150 110 152
105 136 214 138 146 132 160
135 141 172 164 122 138 150
138 152 179 109 152 118 167
140 133 186 141 148 132 161
139 143 153 148 157 125 152
139 132 173 133 148 144 151
123 118 189 129 138 153 165
132 164 159 160 133 146 156
Data pro reaktor G: 136 131 148 146 127 139 143
135 130 109 149 130 123 144
122 128 143 165 136 149 157
Průzkumová analýza dat (EDA) -1-
Zdeněk Konvička 15. 11. 2001
Statistické testování Příklad 4 - Porovnání dvou výběrů
Vyšetřuje statistické zvláštnosti, jako je: • • •
koncentrace dat tvarové zvláštnosti rozdělení dat přítomnost podezřelých hodnot
Diagnostické grafy v průzkumové analýze
Obrázek 1: Histogram pro reaktor H
Obrázek 2: Histogram pro reaktor G
Histogram (osa x: proměnná x, osa y: úměrná hustotě pravděpodobnosti) v jednotlivých třídách s konstantní šířkou, kdy optimální počet tříd byl stanoven automaticky s ohledem na počet dat. V prvním případě ukazuje na Gaussovo symetrické rozdělení (obr.1) a v druhém na mírně zešikmená data (obr. 2).
Obrázek 4: Q-Q graf pro reaktor G
Obrázek 3: Q-Q graf pro reaktor H
Q-Q graf (osa x: Qs(Pi), osa y: xi) posuzuje shodu výběrového rozdělení QE(Pi) s kvantilovou funkcí teoretického rozdělení QT(Pi). Z tvaru dat, které leží na přímce, lze usoudit na normální rozdělení (obr.3). Naproti tomu data pro reaktor G vykazují mírný odklon od přímky, což ukazuje na nesymetričnost rozdělení. Je zde také indikováno jedno, ale mohly by být až tři odlehlé měření (obr.4).
-2-
Zdeněk Konvička 15. 11. 2001
Statistické testování Příklad 4 - Porovnání dvou výběrů
Obrázek 5: Kvantilový graf pro reaktor H
Obrázek 6: Kvantilový graf pro reaktor G
Kvantilový graf (osa x: Pi, osa y: xi) zobrazuje empirické kvantily proložené kvantilovou funkcí normálního rozdělení. Zelená křivka odpovídá funkci s klasickým průměrem a rozptylem (nerobustní), červená křivka odpovídá mediánu a mediánové odchylce (robustní). U reaktoru H lépe prokládá data křivka nerobustní, jde tedy o data s normálním rozdělením, proto bude vhodnější i pro odhad střední hodnoty zvolit průměr (obr. 5). Ve druhém případě je tvar křivky výraznější, a pokud bychom neuvažovali poslední bod jako odlehlý, mohlo by se blížit exponenciálnímu rozdělení. Opět i zde je indikován jeden odlehlý bod (obr. 6).
Obrázek 7: Graf rozptýlení s kvantily
Obrázek 8: Graf rozptýlení s kvantily
Graf rozptýlení s kvantily (osa x: pořadová pravděpodobnost Pi, osa y: pořádková statistika xi) jehož základem je odhad kvantilové funkce výběru. To znamená, že body grafu jsou vizuálně i významově shodné s kvantilovým grafem. Pro normální rozdělení má kvantilová funkce sigmoidální tvar, který je patrný v prvním případě. Vzájemná poloha obdélníků odpovídá symetrickému rozdělení. Vodorovná úsečka uprostřed nejmenšího obdélníku označuje medián (50% kvantil), svislá úsečka na příčce odpovídá intervalu spolehlivosti mediánu (obr.7). Ve druhém případě je zřetelně vidět zhuštění dat a přechod od normálního k exponenciálnímu rozložení (obr. 8).
-3-
Zdeněk Konvička 15. 11. 2001
Statistické testování Příklad 4 - Porovnání dvou výběrů
Obrázek 9: Diagram rozptýlení pro reaktor H
Obrázek 10: Diagram rozptýlení pro reaktor G
Diagram rozptýlení (osa x: hodnoty xi, osa y: libovolná úroveň) představuje jednorozměrnou projekci kvantilového grafu do osy x. Na tomto velmi jednoduchém, přesto značně vypovídajícím grafu nejsou v prvním případě patrny větší lokální koncentrace dat. Aby bylo možno lépe posoudit rozložení dat, jsou v dolní polovině zobrazena táž data rozmítnuta. Nedochází zde ke splývání shodných nebo blízkých dat (obr. 9). Ve druhém případě je již znatelná oblast větší koncentrace dat, kde by mohly být indikovány až tři odlehlé body (obr. 10)
Obrázek 11: Krabicový graf pro reaktor H
Obrázek 12: Krabicový graf pro reaktor G
Krabicový graf (osa x: úměrná hodnotám xi, osa y: libovolná úroveň) je standardním diagnostickým grafem, který umožňuje částečnou sumarizací dat, znázornění robustního odhadu polohy (Mediánu M), posouzení symetrie u konců rozdělení a identifikaci odlehlých bodů. Z prvního grafu lze usuzovat na symetrické normální rozdělení (obr. 11). Pokud bychom u druhého grafu odstranili hodnoty, které lze charakterizovat jako odlehlé (na grafu jsou mimo interval vnitřních hradeb), rozdělení by se stalo dokonale Gaussovským (obr. 12). Střed bílého pruhu odpovídá Mediánu, jeho šířka intervalu spolehlivosti. Zde jsou také patrny rozdíly, ve druhém případě jsou data mnohem špičatější.
Obrázek 13: Graf polosum pro reaktor H
Obrázek 14: Graf polosum pro reaktor G
-4-
Zdeněk Konvička 15. 11. 2001
Statistické testování Příklad 4 - Porovnání dvou výběrů
Graf polosum (osa x: pořádkové statistiky xi, osa y: Zi = 0.5(x(n+1-i)+x(i)) je citlivým indikátorem asymetrie rozdělení. Prostřední horizontální přímka na níž leží poslední bod, představuje medián a červené přerušované meze jeho interval spolehlivosti. Zde je mezi oběma výběry patrný velký rozdíl, stejně jako u některých jiných grafů. U reaktoru H není patrný trend, který by indikoval šikmost, tak jako u reaktoru G (obr.13, 14).
Obrázek 15: Graf symetrie pro reaktor H
Obrázek 16: Graf symetrie pro reaktor G
Graf symetrie (osa x: M-xi, osa y: x(n+1-i) - M) má podobný význam jako předchozí graf. V případě symetrického rozdělení resultuje lineární závislost s nulovým úsekem a jednotkovou směrnicí. Také zde nelze u prvního grafu (obr. 15) potvrdit trend charakteristický pro asymetrické rozdělení, tak jako v druhém případě, kdy směrnice je úměrná šikmosti - rostoucí pro zápornou šikmost, klesající pro kladnou šikmost (obr.16).
Obrázek 17: Hustota pravděpodobnosti pro H
Obrázek 18: Hustota pravděpodobnosti pro G
-5-
Zdeněk Konvička 15. 11. 2001
Statistické testování Příklad 4 - Porovnání dvou výběrů
Hustota pravděpodobnosti (osa x: xi, osa y: hustota pravděpodobnosti f(x)) slouží k porovnání průběhu hustoty pravděpodobnosti normálního rozdělení s jádrovým odhadem hustoty počítaným na základě dat, který zde vyjadřuje červená čára. U reaktoru H jsou si obě křivky velmi podobné a z toho lze usoudit na rozdělení velmi blízké normálnímu (obr.17). U reaktoru G je patrná vyšší špičatost a také mírné zešikmení dat. Nehomogenitu dat, způsobenou shluky, vyjadřují maxima na této křivce. Ovšem hladkost křivky je dána parametrem “vyhlazení hustoty”, kdy při jeho malé hodnotě se objeví maxima pro každá data (obr.18).
Obrázek 19: Kruhový graf pro reaktor H
Obrázek 20: Kruhový graf pro reaktor G
Kruhový graf slouží k vizuálnímu ověření hypotézy, že výběr pochází ze symetrického rozdělení. Zde se graf blíží k regulárnímu, konvexnímu polygonu, blízkému kružnici. Zelený kruh (elipsa) je optimální tvar normálního rozdělení. Černý, představující data se s “Gaussovskou předlohou” v prvním případě téměř kryje (obr. 19), u reaktoru G je patrná odchylka od normálního rozdělení (obr.20).
Závěr exploratorní analýzy Data pro reaktor H se významně neodlišují od normálního (Gaussova) rozdělení. Nebyla indikována žádná odlehlá hodnota. -6-
Zdeněk Konvička 15. 11. 2001
Statistické testování Příklad 4 - Porovnání dvou výběrů
Data pro reaktor G se odlišují od normálního (Gaussova) rozdělení. Byla indikována jedna odlehlá hodnota, která vzhledem k tomu, že se jedná o analytickou hodnotu a že by mohly byt i další body brány jako odlehlé, nebude vypuštěna. U těchto dat bude nutno provést transformaci, která potvrdí, nebo vyvrátí oprávněnost tvrzení, že data pocházejí z jiného než normálního (Gaussova) rozdělení. Transformace dat použitím programu QCExpert 3.0 Box-Coxova transformace Optimální parametr 0.0049 Dolní mez parametru -0.8242 Horní mez parametru 0.7839 123.93 Věrohodnost bez transformace 126.72 Věrohodnost s transformací Oprávněnost transformace Ano 98.207 Pravděpodobnost Zvolený parametr 0.0049 126.72 Věrohodnost 142.42 Opravený průměr LCL 101.77 UCL 215.51 LWL 126.15 UWL 162.21
Exponenciální transformace Optimální parametr 0.2168 Zvolený parametr 0.2168 Oprávněnost transformace Ano Opravený průměr 142.39 Interval spolehlivosti Spodní 138.46 Horní 146.50 LCL 101.06 UCL 216.44 LWL 112.76 UWL 186.41
Grafy k provedené transformaci
Obrázek 22: Exponenciální transformace
Obrázek 21: Box-Coxova transformace
Graf hustoty představuje tvar rozdělení, který nejlépe vystihuje data prostřednictvím transformace. Svislé čáry představují kvantily (hodnoty) odpovídající mediánu (50% kvantil), kvartilu (25% kvantily ohraničující 50% dat), ±2s (zhruba 2.5% kvantily ohraničující interval 95% dat), 0.5% kvantily ohraničující 99% dat a ±3s, ohraničující 99.73% dat (obr. 21, 22).
-7-
Zdeněk Konvička 15. 11. 2001
Statistické testování Příklad 4 - Porovnání dvou výběrů
Obrázek 23: Box-Coxova transformace
Obrázek 24: Exponenciální transformace
Graf logaritmu závislosti věrohodnostní funkce (osa y) na parametru r. Maximu odpovídá optimální hodnota r. Vodorovná přímka odpovídá spodní mezi 95% intervalu spolehlivosti maxima věrohodnosti a svislé přímky odpovídají intervalu spolehlivosti odhadu r. Obsahuje-li tento interval 1, není nutné transformovat. Zde interval jedničku neobsahuje, z toho plyne, že transformace byla oprávněná (obr. 23). Závislost šikmosti transformovaných dat na parametru transformace. Nulová šikmost odpovídá optimálnímu parametru. Význam tohoto grafu je podobný jako u předchozího grafu věrohodnosti, slouží k nalezení parametru transformace a určení statistické významnosti transformace. Leží-li průsečík svislé zelené přímky s křivkou mimo interval spolehlivosti šikmosti (vodorovné zelené přímky), je transformace opodstatněná (obr. 24). Zobrazení dat před a po provedené transformaci
Obrázek 25: Před Box-Coxovou transformací
Obrázek 26: Po Box-Coxově Transformaci
QQ-graf původních dat, shodný s QQ-grafem v Exploratorní analýze dat. Metoda transformace bývá užitečná jen pro systematicky prohnutý tvar bodů v QQ-grafu (obr. 25, 27). Proti statistikám má QQ-graf výhodu v možnosti vizuálního posouzení, zda je nelinearita (tedy odchylka od normality) způsobena jen několika body, nebo všemi daty. Po provedené transformaci je tvar bodů blíže přímce než na předešlém grafu, transformace je úspěšná (obr. 26, 28).
-8-
Zdeněk Konvička 15. 11. 2001
Statistické testování Příklad 4 - Porovnání dvou výběrů
Obrázek 27: Před exponenciální transformací
Obrázek 28: Po exponenciální transformaci
Komentář k provedené transformaci: Jelikož se na základě průzkumové analýzy dat zjistilo, že rozdělení výběru dat se systematicky odlišuje od rozdělení normálního, byla provedena Box-Coxova a Exponenciální transformace dat, která, vede ke stabilizaci rozptylu, zesymetričtění rozdělení. Vypočtené údaje byly přepočítány do původních souřadnic. Exponenciální transformace je založena na minimální asymetrii - nulové šikmosti a v případě Box-Coxovy transformace přiblížení k normalitě (vzhledem k šikmosti a špičatosti) je založeno na metodě maximální věrohodnosti. Zkoumaná data vykazují systematickou asymetrii, nikoli asymetrii způsobenou pouze několika vybočujícími body, proto dává transformace spolehlivější hodnoty statistických odhadů. Výstup pro statistické testování: U souboru dat pro reaktor H pocházejí z Gaussova rozdělení, kdežto u dat pro reaktor G toto potvrzeno nebylo. Pro test správnosti intervalovým odhadem budou použity klasické odhady parametrů pro reaktor H a odhady vypočtené pomocí transformace u reaktoru G. Pro testování shody rozptylů bude použit modifikovaný F - test, a pro shodu středních hodnot test podle zjištěné shody rozptylů (druhý soubor dat nemá normální rozdělení). Ke statistickému testování bude použit Adstat 1.25, kde jsou výstupy testů jednoznačně komentovány. Test správnosti intervalovým odhadem: Požadovaný interval: Interval pro reaktor H: Interval pro reaktor G:
135 < µ < 145 134.8 < µ < 143.2 138.5 < µR < 146.5
Y Y
vyhovuje normě nevyhovuje normě
Poznámka: Test správnosti pomocí Studentova t-testu (testovaná hodnota = 0) vyšel v obou případech negativně - rozdíl byl významný.
Statistické testování: Test homogenity rozptylů (hypotéza H0: σ12 = σ22 proti HA: σ12
σ22 ) -9-
Zdeněk Konvička 15. 11. 2001
Statistické testování Příklad 4 - Porovnání dvou výběrů Test
Hodnota test. kritéria
Počet stupňů volnosti Df1
Počet stupňů volnosti Df2
Kvantil pro α/2=0,025
Závěr testu H0
Fisher-Snedecor F-test
1.5731
76
76
1.0121
Přijata
Korigovaný F-test
1.6895
57
57
1.0121
Přijata
Jacknife test
3.7799
2
152
1.15E-02
Přijata
Test shody průměrů (hypotéza H0: µ1 = µ2 proti HA: µ1
µ2 ) Test
Hodnota test. kritéria
Počet stupňů volnosti Df1
Kvantil pro α/2=0,025
Závěr testu H0
t-test (σ12 = σ22)
1.9757
152
2.31E-01
Přijata
t-test (σ12
σ22)
1.9757
154
1.7227
Přijata
t-test modif. šikmost
1.9757
154
1.6830
Přijata
Robustní t-test pro (σ12 = σ2 2 )
1.9757
138
1.3322
Přijata
Robustní t-test pro (σ12
σ22)
1.9757
134
1.3274
Přijata
Závěr a doporučení: Pomocí programu Qcexpert 3.0 byla provedena analýza předložených dat. Důraz byl kladen především na exploratorní analýzu a její grafické výstupy, které souboru některé odchylky od normality. Z grafů pro reaktor H je patrno, že se jedná o data z normálního (Gaussova) rozdělení, přičemž další testování odhalilo jejich závislost, která je způsobena řízením ve výrobním procesu. Vzhledem k tomu, že jde o snahu udržet proces v ustáleném stavu pomocí regulace, je nutno tuto skutečnost akceptovat.Data pro reaktor G jsou mírně asymetrická a vhodnost provedené transformace byla potvrzena (obr.23,24) . Dle požadavku byl proveden test správnosti intervalovým odhadem na shodu s požadovanou normou. Bylo zjištěno, že u dat pro reaktor H shoda existuje, u reaktoru G je posun mimo zadanou hranici u maxima. Dále bylo provedeno testování shody dvou výběrů pomocí progranu Adstat 1.25. Na základě exploratorní analýzy jsou jako určující korigovaný F-test pro shodu rozptylů. Vzhledem k tomu, že nebyla zamítnuta hypotéza o jejich shodě, pro shodu průměrů byl vybrán robustní t-test pro
shodné rozptyly. V obou případech byla hypotéza H0 o shodě přijata, z toho plyne, že na hladině významnosti α = 0,05 se považují průměry i rozptyly za shodné (viz. hodnocení v tabulce).
-10-
Zdeněk Konvička 15. 11. 2001
Statistické testování Příklad 4 - Porovnání dvou výběrů
Přestože statistické testování prokázalo shodu, bude nutno proces revidovat, poněvadž test správnosti ukázal posun mimo požadovanou normu, která je vidět i z grafů exploratorní analýzy. U reaktoru G by se mohlo také jednat o nehomogenitu dat (ta byla v programu Qcexpert zamítnuta). Z toho plyne, že provádění statistického testování bez exploratorní analýzy dat a dalších souvislostí může být nedostatečné až zavádějící.
Literatura Milan Meloun, Jiří Militký: Statistické zpracování experimentálních dat, EASH PUBLISHING, a.s. 1998 Karen L. Acerson: Wordperfect for Windows, Grada 1992
-11-