Design of experiment Návrh experimentu 19.7.2010
Ústav Fyzikální Biologie
Co je to experiment • • • • • •
Co je to experiment DOE – SixSigma Proč se zabývat návrhem experimentu? Motivační příklad Klasický návrh DOE – návrh experimentu • • • • • •
Znalost procesu Výběr parametrů Replikace Znáhodnění ANOVA Optimalizace Ústav Fyzikální Biologie
Co je to experiment • Experiment je test nebo série testů kdy se ze změn vstupních proměnných nebo faktorů systému (řízených X neřízených) snažíme určit vztahy mezi změnami vstupu a změnami pozorovanými na výstupu systému (Montgomery, 2001) • Co se stane s výstupem když kombinujeme vstupy a nastavení systému • Experimentování je vědecká metoda, která má za cíl testování hypotéz čí existujících teorií • Vyplňuje mezeru mezi teorií a skutečností Ústav Fyzikální Biologie
Každodenní experiment • Experiment je jednou ze základních metod poznání • Experiment je starý jako lidstvo samo • Neandrtálec „Co se stane když sním tuhle krásnou zelenou houbu“ • Chytrý neandrtálec – testování nesmí ovlivnit normální chování systému – provede test na spolu neandrtálci
• Experiment v každodenním životě • Fotografie – objektiv, expoziční čas, ISO, …. • Pěstování květin – frekvence zalévání, světlo, povídání (experimentálně neprokázané) • Nejlevnější studentské jídlo?
• Jaký další experiment vás napadá? Ústav Fyzikální Biologie
Průmyslový experiment • Výrobní proces je jednou z oblastí s největším počtem experimentů • Zisk = velká motivace pro experimentování (optimalizaci) • Produkce sýra: • Cíl : dosažení požadované chuti a vůně, konzistence a ceny • Vstupní proměnné: • Suroviny • Doba a teplota zrání
• U průmyslového experimentu jde nejčastěji o maximalizaci zisku Ústav Fyzikální Biologie
Vědecký experiment • Experiment je nedílnou součástí vědecké práce • Použití k ověření hypotéz • Maximalizace výtěžnosti proteinu • Cíl – maximální množství proteinu • Vstupní proměnné: • • • •
Otáčky třepačky Médium Teplota Počáteční OD
Ústav Fyzikální Biologie
DOE - SixSigma • • • •
DOE – Design Of Experiement Návrh experimentu či experimentální design Metoda pro návrh efektivního experimetnu Je součástí SixSigma metodologie • • • •
Strategie řízení a zlepšování procesů (kvality firmy) Vyvinuto – Motorola 1986, zdokonaleno – Honeywell Sada nástrojů pro řízení procesů - DMAIC SixSigma - šest směrodatných odchylek
Ústav Fyzikální Biologie
DOE - Pojmy • Vstupní proměnné – faktory • • • • • •
Spojité či kategorické Stroje nebo přístroje a jejich nastavení Různé technologie nebo metody výroby Používaný vstupní materiál Operátoři nebo směny Vše, co transformuje vstupní materiál na výstupní produkt
• Výstupní proměnná – odezva (responce) • Odezva může obsahovat jednu nebo více jakostních charakteristik • Je to ta veličina nebo ty veličiny, jež sledujeme, abychom zlepšili proces či uspokojili zákazníka Ústav Fyzikální Biologie
Motivační příklad • Co musíme vědět před prováděním experimentu? • Co od experimentu očekáváme?
Ústav Fyzikální Biologie
Motivační příklad • Co musíme vědět před návrhem: • Znalost procesu • Vstupní proměnné • Měřitelné • Neměřitelné • Neznámé
• Znalost limitů • Chyby měření
• Co od návrhu očekáváme: • • • • •
Lépe poznat proces Nalézt významné faktory Zjistit, které proměnné jsou na sobě závislé Vytvořit matematický model pro predikci a optimalizaci Udělat to co nejefektivněji Ústav Fyzikální Biologie
Standardní přístup • Optimalizace procesu • Jak provést optimalizaci procesu s dvěma vstupními parametry a jedním výstupem? • Proces je reprezentován rovnicí do které dosazujeme
Ústav Fyzikální Biologie
Standardní přístup • One factor at a time (OFAT) • Změna pouze jednoho parametru – ostatní zafixované • Nejprve měníme X1 a po nalezení optima měníme X2 Responce surface Optimum nalezené pomocí OFAT
Skutečné optimum
Ústav Fyzikální Biologie
Standardní přístup • Nevýhody OFAT: • • • • •
Nemusí najít skutečné optimum Neurčíme jaký vliv má daný faktor na výstup systému Nelze zjistit vzájemné interakce mezi faktory Není znám počet experimentů Pro každý sledovaný výstup systému je nutné provést OFAT samostatně
• Jde to udělat lépe? • Nejpřesnější experiment – změřit vše
Ústav Fyzikální Biologie
DOE – Historie • • • •
1920 full faktorial design - Fisher 1930 fractinal factorial design 1935 první použití pro optimalizaci produkce brambor 1950 DOE – Taguchi – vytvořil jednoduché a srozumitelné nástroje a postupy pro DOE • 1950 – současnost – velmi sporadické využití DOE • Nejrozšířenější technikou provádění experimentu je stále OFAT
Ústav Fyzikální Biologie
DOE – co to je • Množina nástrojů a postupů pro optimální návrh a vyhodnocení plánovaného experimentu • Plánovaný experiment : cílená změna vstupních faktorů • Základní kroky DOE: • • • • • • •
Definice nebo popis problému Stanovení sledované proměnné – response Výběr faktorů a úrovní Výběr plánu experimentu Provedení experimentu Analýza dat Závěry a doporučení Ústav Fyzikální Biologie
DOE – cíl • Co nejvíce poznat proces • Co nejmenší počet měření • Matematický model systému
Ústav Fyzikální Biologie
DOE - responce • Poskytuje užitečnou informaci o procesu • Více odezev – cena X kvalita • Často se sleduje aritmetický průměr nebo směrodatná odchylka zákazníkem požadované charakteristiky • Kvalita měřicího procesu – při malé přesnosti měření se dají odhalit pouze velké efekty zvolených faktorů.
Ústav Fyzikální Biologie
DOE - faktory • Nutná znalost procesu • Osvědčuje se kombinace praktických zkušeností a teoretických vědomostí • Musí se vybrat faktory, jež se budou v procesu měnit • Vybrat důležité faktory • V jaké oblasti se budou měnit • Ve kterých hodnotách faktorů se budou provádět měření. • Počet úrovní ve kterých měříme
Ústav Fyzikální Biologie
DOE – plán a provedení experimentu • Plán experimentu: matice s hodnotami faktorů • Počet sloupců = počet faktorů • Počet řádků = počet měření
• 3 faktory • Limity lze převést na hodnoty – a +
Ústav Fyzikální Biologie
DOE – plán a provedení experimentu • Počet opakovaní měření • Pořadí jednotlivých měření - znáhodnění • Výběr typu návrhu experimentu • Dodržení návrhu experimentu • Chyby provedené při experimentu mohou zásadně ovlivnit výsledek analýzy
Ústav Fyzikální Biologie
DOE analýza naměřených dat • Ruční analýza - Excel • Statistické či DOE software: • Unscrambler • Minitab • Design expert • Musíme rozumět jednotlivým krokům
Ústav Fyzikální Biologie
DOE – kroky efektivního designu • Definice problému: • Stanovení cíle • Počet faktorů a jejich limity
Diskuze expertů
• DOE responce: • Nalezení nejdůležitějších faktorů, hodně faktorů • Nalezení hlavních efektů a interakcí, malé množství faktorů • Optimalizace,málo faktorů
Advanced Advancedscreening screening
• Optimalizace, hodně faktorů
Nelze pomocí DOE
First Firstscreening screening DOE
Optimization Optimization
Ústav Fyzikální Biologie
DOE – typ úkolu
First screening
Advaced screening
cíl
Najít hlavní efekty
Najít hlavní efekty a interakce
předpoklad
Hodně faktorů
Málo faktorů
problém
Najít hlavní efekty a určit jejich vliv na systém
Interakce mezi dvojicemi faktorů, Detekovat nelinearitu
Typ návrhu
Fractional factorial
Full factorial Fractional factorial
Ústav Fyzikální Biologie
DOE – typ návrhu • Full factorial – dvě úrovně • Počet měření = 2^n , n = počet faktorů • Hlavní efekty a interakce
• Fractional factorial – dvě úrovně • Počet měření = 2^(n – p), p = velikost částečného faktoriálu Nejistota:
Ústav Fyzikální Biologie
DOE – počet opakování měření • Odhalení chyby měření
Hodnota výstupu
Vliv faktoru na výstup
faktor Ústav Fyzikální Biologie
DOE znáhodnění • Odhalení neznámých faktorů • Pokovení materiálu v lázní
Teplota T1
Teplota T2 Kvalita pokovení
čas Jaká teplota je lepší? Ústav Fyzikální Biologie
DOE – centrální vzorek • Očekáváme nelinearitu v závislosti výstupu na vstupu?
Skutečná odezva Hodnota výstupu
Předpokládaná odezva
faktor Ústav Fyzikální Biologie
DOE – analýza dat 1. Popis dat pomocí modelu 2. Vyhodnocení modelu 3. Vyhodnocení jednotlivých faktorů a interakcí •
Analýza efektů • •
•
Regrese • •
•
ANOVA – analýza variance Testování významnosti MLR: multiple linear regression PLS: partial least squares regression
Výsledek • •
Vliv faktoru na výsledek Významnost faktoru Ústav Fyzikální Biologie
DOE - model • Modely používané pro DOE: • Lineární model pro hlavní faktory:
• Lineární model pro hlavní faktory a interakce:
Ústav Fyzikální Biologie
DOE – určení vlivu faktorů • Cílem je zjistit jaký vliv má faktor na výstupní proměnnou a jak významný faktor je • Významnost faktorů • ANOVA – ANalysis Of Variance • Testování hypotéz o vlivu faktorů • Testování na 5% hladině významnosti • P hodnota - určuje významnost daného faktoru
• Testování hypotéz významnosti jednotlivých faktorů • Jakou měrou přispívají jednotlivé faktory k varianci výstupu
Ústav Fyzikální Biologie
DOE – ANOVA • Předpoklad – odezva systému má normální rozdělení • DOE – vyšetřování faktorů = Multi way ANOVA • Měří efekt jednotlivých faktorů najednou
• Nejdůležitější pro nás – ANOVA table • Příklad na 2 way ANOVA pro dva faktory
Ústav Fyzikální Biologie
DOE – 2 way ANOVA • Hlavní myšlenka: rozdělit varianci do dvou tříd • Variance mezi faktory • Variance v rámci jednoho faktoru
• Jestliže je variance mezi faktory větší než uvnitř faktoru můžeme říci, že je zde významný rozdíl mezi faktory • 2 way ANOVA • Variance je rozdělena do čtyř tříd • • • •
Faktor A Faktor B Kombinace faktorů A a B Variance uvnitř tříd
Ústav Fyzikální Biologie
DOE – 2 way ANOVA • 3 samostatné statistické testy (založené na F testu) • Porovnání prvních tří zdrojů variance s variancí uvnitř tříd • Výpočet p hodnoty pro každý test – testujeme jednotlivé hypotézy, že faktor není významným zdrojem variance • Na základě velikosti p hodnoty můžeme určit významnost daného faktoru
Ústav Fyzikální Biologie
DOE – 2 way ANOVA • • • • • •
Dva faktory: A B Faktor A má a úrovní (2) Faktor B má b úrovní (2) Kombinace úrovní faktorů = ab Každá kombinace má r opakování Yijk – odezva systému pro i úroveň faktoru A, j úroveň faktoru B a r opakování
Ústav Fyzikální Biologie
DOE – 2 way ANOVA
Ústav Fyzikální Biologie
DOE – 2 way ANOVA • DF = stupeň volnosti = počet úrovní - 1 • SS = součet čtverců = součet mocnin vzdáleností měření od střední hodnoty • MS = mean squares = SS/DF – normalizace variance pro porovnání • F hodnota – poměr mezi SS pro danou třídu a mezi třídami • P hodnota = hodnota menší než 0.05 určuje významný faktor
Ústav Fyzikální Biologie
DOE - ANOVA table
Ústav Fyzikální Biologie
DOE – kroky efektivního designu • Definice problému: • Stanovení cíle • Počet faktorů a jejich limity
Diskuze expertů
• DOE responce: • Nalezení nejdůležitějších faktorů, hodně faktorů • Nalezení hlavních efektů a interakcí, malé množství faktorů • Optimalizace,málo faktorů
Advanced Advancedscreening screening
• Optimalizace, hodně faktorů
Nelze pomocí DOE
First Firstscreening screening DOE
Optimization Optimization
Ústav Fyzikální Biologie
DOE – ukázka na konkrétním příkladu • Unsrambler
Ústav Fyzikální Biologie
Ústav fyzikální biologie www.ufb.jcu.cz
Ústav Fyzikální Biologie