Design of experiment Návrh experimentu

Design of experiment Návrh experimentu 19.7.2010

Ústav Fyzikální Biologie

Cíl kurzu • Seznámit studenty s metodologií, postupy a software pro návrh experimentu pomocí teorie a praktických ukázek • Kurz je úspěšný pokud: • • • •

Student si uvědomí jak sám provádí experimenty Student si pamatuje co je DOE a proč se používá Student šíří nabité poznání dále Vyučující poslední den přednáší pro více než dva studenty


Osnova • Den 1. – DOE – teorie + software + příklady • Den 2. – Praktická ukázka (vrtulník - soutěž týmů)


Osnova • Den 1. – DOE – teorie + software + příklady • • • • • • • • •

Co je to experiment Jak experimentujeme Co je DOE K čemu je to dobré Kroky DOE Předpoklady DOE DOE v krocích Software Příklady • Matematika v pozadí – F test, ANOVA


Osnova • Den 2. – Praktická ukázka (soutěž týmů) • • • • • • •

Zadání úlohy Poznání problému Návrh experimentu Měření Vyhodnocení experimentu Soutěž Vyhlášení vítězů


DOE - vrtulník • • • •

Návrh konstrukce papírového vrtulníku Na začátku je třeba prozkoumat úlohu Zjistit všechny možné faktory Cíl • 1) maximalizovat dobu letu vrtulníku • 2) dosáhnout požadovanou dobu letu vrtulníku


Co je to experiment • Experiment je test nebo série testů kdy se ze změn vstupních proměnných nebo faktorů systému (řízených X neřízených) snažíme určit vztahy mezi změnami vstupu a změnami pozorovanými na výstupu systému (Montgomery, 2001) • Co se stane s výstupem když kombinujeme vstupy a nastavení systému • Experimentování je vědecká metoda, která má za cíl testování hypotéz čí existujících teorií • Vyplňuje mezeru mezi teorií a skutečností Ústav Fyzikální Biologie

Každodenní experiment • Experiment je jednou ze základních metod poznání • Experiment je starý jako lidstvo samo • Neandrtálec „Co se stane když sním tuhle krásnou zelenou houbu“ • Chytrý neandrtálec - testování nesmí ovlivnit normální chování systému – provede test na kolegovi neandrtálci

• Experiment v každodenním životě • Fotografie – objektiv, expoziční čas, ISO, …. • Pěstování květin – frekvence zalévání, světlo, povídání (experimentálně neprokázané) • Nejlevnější studentské jídlo?

• Jaký další experiment vás napadá? Ústav Fyzikální Biologie

Průmyslový experiment • Výrobní proces je jednou z oblastí s největším počtem experimentů • Zisk = velká motivace pro experimentování (optimalizaci) • Produkce sýra: • Cíl : dosažení požadované chuti a vůně, konzistence a ceny • Vstupní proměnné: • Suroviny • Doba a teplota zrání

• U průmyslového experimentu jde nejčastěji o maximalizaci zisku Ústav Fyzikální Biologie

Vědecký experiment • Experiment je nedílnou součástí vědecké práce • Použití k ověření hypotéz • Maximalizace výtěžnosti proteinu • Cíl – maximální množství proteinu • Vstupní proměnné: • • • •

Otáčky třepačky Médium Teplota Počáteční OD


Jak experimentujeme • Zamyslete se nad tím jak provádíte experiment • Máme systém, který neznáme, se dvěma vstupy a jedním výstupem • Jak nalezneme maximální hodnotu výstupu při nejmenším počtu měření?


Standardní přístup • One factor at a time (OFAT) • Změna pouze jednoho parametru – ostatní zafixované • Nejprve měníme X1 a po nalezení optima měníme X2 Responce surface Optimum nalezené pomocí OFAT

Skutečné optimum


Standardní přístup • Nevýhody OFAT: • • • • •

Nemusí najít skutečné optimum Neurčíme jaký vliv má daný faktor na výstup systému Nelze zjistit vzájemné interakce mezi faktory Není znám počet experimentů Pro každý sledovaný výstup systému je nutné provést OFAT samostatně

• Minimální poznání systému a jeho chování

• Jde to udělat lépe? • Nejpřesnější experiment – změřit vše Ústav Fyzikální Biologie

DOE - SixSigma • • • •

DOE – Design Of Experiement Návrh experimentu či experimentální design Metoda pro návrh efektivního experimetnu Je součástí SixSigma metodologie • • • •

Strategie řízení a zlepšování procesů (kvality firmy) Vyvinuto – Motorola 1986, zdokonaleno – Honeywell Sada nástrojů pro řízení procesů - DMAIC SixSigma - šest směrodatných odchylek


Motivační příklad • Co musíme vědět před prováděním experimentu? • Co od experimentu očekáváme?


Motivační příklad • Co musíme vědět před návrhem: • Znalost procesu • Vstupní proměnné • Měřitelné • Neměřitelné • Neznámé

• Znalost limitů • Chyby měření

• Co od návrhu očekáváme: • • • • •

Lépe poznat proces Nalézt významné faktory Zjistit, které proměnné jsou na sobě závislé Vytvořit matematický model pro predikci a optimalizaci Udělat to co nejefektivněji Ústav Fyzikální Biologie

Standardní přístup • Optimalizace procesu • Jak provést optimalizaci procesu s dvěma vstupními parametry a jedním výstupem? • Proces je reprezentován rovnicí do které dosazujeme • OFAT


DOE – Historie • • • •

1920 full faktorial design - Fisher 1930 fractional factorial design 1935 první použití pro optimalizaci produkce brambor 1950 DOE – Taguchi – vytvořil jednoduché a srozumitelné nástroje a postupy pro DOE • 1950 – současnost – velmi sporadické využití DOE • Nejrozšířenější technikou provádění experimentu je stále OFAT


DOE – co to je • Množina nástrojů a postupů pro optimální návrh a vyhodnocení plánovaného experimentu • Plánovaný experiment : cílená změna vstupních faktorů • Bez cílených změn nelze poznat proces • Základní kroky DOE: • • • • • • •

Definice nebo popis problému Stanovení sledované proměnné – response Výběr faktorů a úrovní Výběr plánu experimentu Provedení experimentu Analýza dat Závěry a doporučení Ústav Fyzikální Biologie

DOE – cíl • • • •

Co nejvíce poznat proces Co nejmenší počet měření Matematický model systému – možnost optimalizace faktorů Určení vlivu řiditelných a neřiditelných proměnných na systém – • Neřiditelné proměnné odpovídají za variabilitu výsledného produktu • Snažíme se najít optimální nastavení řiditelných proměnných, tak abychom minimalizovali vliv neřiditelných proměnných

• Nastavit faktory tak, abychom dosáhli požadovaného výstupu • Nastavit faktory tak, aby byla variabilita výstupu co nejmenší


DOE - responce • Poskytuje užitečnou informaci o procesu • Více odezev – cena X kvalita • Často se sleduje aritmetický průměr nebo směrodatná odchylka zákazníkem požadované charakteristiky • Kvalita měřicího procesu – při malé přesnosti měření se dají odhalit pouze velké efekty zvolených faktorů.


DOE - faktory • Nutná znalost procesu • Osvědčuje se kombinace praktických zkušeností a teoretických vědomostí • Musí se vybrat faktory, jež se budou v procesu měnit • Vybrat důležité faktory • V jaké oblasti se budou měnit • Ve kterých hodnotách faktorů se budou provádět měření


DOE - Pojmy • Vstupní proměnné – faktory • • • • • •

Spojité či kategorické Stroje nebo přístroje a jejich nastavení Různé technologie nebo metody výroby Používaný vstupní materiál Operátoři nebo směny Vše, co transformuje vstupní materiál na výstupní produkt

• Výstupní proměnná – odezva (responce) • Odezva může obsahovat jednu nebo více jakostních charakteristik (objektivní X subjektivní) • Je to ta veličina nebo ty veličiny, jež sledujeme, abychom zlepšili proces či uspokojili zákazníka Ústav Fyzikální Biologie

DOE - stručně • • • • • • • •

Určit nastavení faktorů pro měření odezvy Výstupem je tabulka hodnot pro měření Měřený výstup se zapisuje do této tabulky Počet měření závisí na počtu faktorů, počtu úrovní a počtu replikací Určit významné faktory - ANOVA Určit vliv faktorů na výstup – metoda nejstrmějšího spádu Ověřit splnění předpokladů Určit matematický model popisující systém Ústav Fyzikální Biologie

DOE – plán a provedení experimentu • Plán experimentu: matice s hodnotami faktorů • Počet sloupců = počet faktorů • Počet řádků = počet měření = počet úrovnípočet faktorů * počet replikací

• 3 faktory • Faktor na spodní úrovni -, faktor na horní úrovni + • Zobrazení v 3D prostoru


DOE – plán a provedení experimentu • Počet opakovaní měření • Pořadí jednotlivých měření - znáhodnění • Výběr typu návrhu experimentu • Dodržení návrhu experimentu • Chyby provedené při experimentu mohou zásadně ovlivnit výsledek analýzy


DOE analýza naměřených dat • Ruční analýza - Excel • Statistické či DOE software: • Unscrambler • Minitab • Design expert • Musíme rozumět jednotlivým krokům


DOE – kroky efektivního designu • Definice problému: • Stanovení cíle • Počet faktorů a jejich limity

Diskuze expertů

• DOE responce: • Nalezení nejdůležitějších faktorů, hodně faktorů • Nalezení hlavních efektů a interakcí, malé množství faktorů • Optimalizace,málo faktorů

Advanced Advancedscreening screening

• Optimalizace, hodně faktorů

Nelze pomocí DOE

First Firstscreening screening DOE

Optimization Optimization


DOE – typ úkolu First screening

Advaced screening

Cíl

Najít hlavní efekty

Najít hlavní efekty a interakce

Předpoklad

Hodně faktorů

Málo faktorů

Problém

Najít hlavní efekty a určit jejich vliv na systém

Interakce mezi dvojicemi faktorů, Detekovat nelinearitu

Nevýhody

Není možné rozlišit mezi vlivem hlavních faktorů a interakcí

Exponenciální množství experimetů

Typ návrhu

Fractional factorial

Full factorial Fractional factorial Ústav Fyzikální Biologie

DOE – typ návrhu • Full factorial – dvě úrovně • Počet měření = 2^n , n = počet faktorů • Hlavní efekty a interakce

• Fractional factorial – dvě úrovně • Počet měření = 2^(n – p), p = velikost částečného faktoriálu Nejistota:


DOE – počet opakování měření • Odhalení chyby měření

Hodnota výstupu

Vliv faktoru na výstup

faktor Ústav Fyzikální Biologie

DOE znáhodnění • Odhalení neznámých faktorů • Pokovení materiálu v lázní Kvalita pokovení

Teplota T1 Teplota T2

čas Jaká teplota je lepší? Ústav Fyzikální Biologie

DOE – centrální vzorek • Očekáváme nelinearitu v závislosti výstupu na vstupu?

Skutečná odezva Hodnota výstupu

Předpokládaná odezva

faktor Ústav Fyzikální Biologie

DOE – uspořádání do bloků • Využívá ke snížení variability náhodné složky • V případě, kdy očekáváme významnou variabilitu odezvy a daný faktor nelze z experimentů vyloučit • Experimenty jsou uspořádány do bloků, tak aby v rámci bloku probíhaly experimenty za podobných podmínek • Vliv operátora, směny, dávky,…


DOE – analýza dat 1. Popis dat pomocí modelu 2. Vyhodnocení modelu 3. Vyhodnocení jednotlivých faktorů a interakcí •

Analýza efektů • •

•

Regrese • •

•

ANOVA – analýza variance Testování významnosti MLR: multiple linear regression PLS: partial least squares regression

Výsledek • •

Vliv faktoru na výsledek Významnost faktoru Ústav Fyzikální Biologie

DOE - model • Modely používané pro DOE: • Lineární model pro hlavní faktory:

• Lineární model pro hlavní faktory a interakce:


DOE – určení vlivu faktorů • Cílem je zjistit jaký vliv má faktor na výstupní proměnnou a jak významný faktor je • Vliv faktoru – metoda nejstrmějšího spádu • Významnost faktorů • ANOVA – ANalysis Of Variance • Testování hypotéz o vlivu faktorů • Testování na 5% hladině významnosti • P hodnota - určuje významnost daného faktoru

• Testování hypotéz významnosti jednotlivých faktorů • Jakou měrou přispívají jednotlivé faktory k varianci výstupu


Pěkné obrázky • Graf hlavních faktorů

graf interakcí


DOE – ANOVA • Předpoklad – odezva systému má normální rozdělení • DOE – vyšetřování faktorů = Multi way ANOVA • Měří efekt jednotlivých faktorů najednou

• Nejdůležitější pro nás – ANOVA table • Příklad na 2 way ANOVA pro dva faktory


DOE – ANOVA • T-test – používá se k porovnání dvou náhodných proměnný, porovnání středních hodnot dvou proměnných (musí mít stejné rozptyly) • Pokud chceme testovat více proměnných je lepší použít ANOVA protože se dopouštíme menší chyby než použitím T testu pro všechny kombinace proměnných • ANOVA se používá k testování hypotéz, že proměnné neovlivňují odezvu – testujeme jestli různé úrovně faktoru ovlivňují odezvu


DOE – ANOVA • P-hodnota – typickým výstupem počítačových programů pro testování hypotéz • Udává mezní hladinu významnosti, při které bychom hypotézu ještě zamítali • Hypotézu H0 zamítneme na hladině významnosti alfa, právě když p-hodnota < alfa • V případě DOE platí, že hypotézu o tom, že faktor neovlivňuje významně odezvu zamítneme pokud Phodnota je menší než alfa


DOE – ANOVA • Hladina významnosti alfa = 0,05 , 0,01 0,001 • Udává nám pravděpodobnost správnosti rozhodnutí o zamítnutí hypotézy (chyba 1. druhu) • Pokud nám testování hypotézy na hladině významnosti alfa=0,05 řekne, že můžeme hypotézu zamítnout, pak víme, že správnost tohoto rozhodnutí je 95% • Čím nižší hladina významnosti tím důvěryhodnější výsledky • V případě DOE potřebujeme vědět, zda můžeme hypotézu zamítnout, proto používáme hladinu významnosti Ústav Fyzikální Biologie

DOE – ANOVA • T-test – test o rozdílu středních hodnot n1 a n2 dvou nezávislých náhodných výběrů • V našem případě odpovídají dva výběry různým nastavením faktoru, který ovlivňuje odezvu systému y • Testem zjistíme zda má změna faktoru vliv na odezvu systému • Pokud se potvrdí hypotéza o rovnosti středních hodnot pak změna faktoru nemá významný vliv na odezvu • Pokud se hypotéza o rovnosti středních hodnot zamítne pak změna faktoru má významný vliv na odezvu


DOE – ANOVA • Jak již bylo výše uvedeno, při jedno faktorové analýze rozptylu se předpokládá, že k nezávislých výběrů hodnot znaku Y pochází z normálních rozdělení se stejnými rozptyly. To znamená, že před vlastním testem by měl být ověřen předpoklad o normalitě a předpoklad stejných rozptylech. • K ověření předpokladu o normalitě lze použít některý z testů hypotéz o modelu rozdělení, ale v praxi se od toho obvykle upouští. Mimo jiné i proto, že pokud odchylky skutečného rozdělení od normálního rozdělení nejsou příliš markantní, neovlivňují zpravidla závěry, k nimž se při analýze rozptylu dochází. Navíc máme v mnoha praktických úlohách, zejména v psychologickém a pedagogickém výzkumu, dobré důvody být o normalitě studovaných proměnných přesvědčeni.


DOE – 2 way ANOVA • Hlavní myšlenka: rozdělit varianci do dvou tříd • Variance mezi faktory • Variance v rámci jednoho faktoru

• Jestliže je variance mezi faktory větší než uvnitř faktoru můžeme říci, že je zde významný rozdíl mezi faktory • 2 way ANOVA – dva faktory • Variance je rozdělena do čtyř tříd • • • •

Faktor A Faktor B Kombinace faktorů A a B Variance uvnitř tříd


DOE – 2 way ANOVA • 3 samostatné statistické testy (založené na F testu) • Porovnání prvních tří zdrojů variance s variancí uvnitř tříd • Výpočet p hodnoty pro každý test – testujeme jednotlivé hypotézy, že faktor není významným zdrojem variance • Na základě velikosti p hodnoty můžeme určit významnost daného faktoru


DOE – 2 way ANOVA • • • • • •

Dva faktory: A B Faktor A má a úrovní (2) Faktor B má b úrovní (2) Kombinace úrovní faktorů = ab Každá kombinace má r opakování Yijk – odezva systému pro i úroveň faktoru A, j úroveň faktoru B a r opakování


DOE – 2 way ANOVA


DOE – 2 way ANOVA • DF = stupeň volnosti = počet úrovní - 1 • SS = součet čtverců = součet mocnin vzdáleností měření od střední hodnoty • MS = mean squares = SS/DF – normalizace variance pro porovnání • F hodnota – poměr mezi SS pro danou třídu a všechny třídy • P hodnota = 1/F, hodnota menší než 0.05 určuje významný faktor


DOE - ANOVA table


DOE – kroky efektivního designu • Definice problému: • Stanovení cíle • Počet faktorů a jejich limity

Diskuze expertů

• DOE responce: • Nalezení nejdůležitějších faktorů, hodně faktorů • Nalezení hlavních efektů a interakcí, malé množství faktorů • Optimalizace,málo faktorů

Advanced Advancedscreening screening

• Optimalizace, hodně faktorů

Nelze pomocí DOE

First Firstscreening screening DOE

Optimization Optimization


Přirovnání • Snažit se poznat systém pomocí DOE z již změřených dat je jako volat doktora na pitevnu • Již změřená data jsou většinou nepoužitelná • měření za nevhodných podmínek • Neznalost podmínek měření


DOE – ukázka na konkrétním příkladu • Unsrambler • Výroba sýra • Faktory • • • • • •

Přídavná sušina – 0 - 3 PH – 5,7 – 6,1 Sušina – 36 - 40 Zrání – 2 - 8 After creaming – 15 - 45 Chlazení – 5 – 15

• Odezva • Tvar • Lepivost


Ústav fyzikální biologie www.ufb.jcu.cz


Design of experiment Návrh experimentu

Recommend Documents