IWT Projectvoorstel Robust Design Optimalisatie in Adaptieve Surrogaatmodellering

IWT Projectvoorstel Robust Design Optimalisatie in Adaptieve Surrogaatmodellering Wim van Aarle Onderzoeksgroep Computer Modeling and Simulation (CoMS) Universiteit Antwerpen

Robust Design in Adaptieve Surrogaatmodellering

1

Probleemstelling

Het ontwikkelingsproces van nieuwe producten is in de laatste jaren drastisch veranderd. De tijden waarin ontwerpers reeksen van fysische prototypes bouwden tot ze tevreden waren met het resultaat zijn reeds lang voorbij. In deze moderne tijd heeft de immer veranderende industrie behoefte aan snellere en goedkopere oplossingen. Computersimulaties werden noodzakelijk. Indien de simulaties plaatsvinden in complexe ruimten of design-spaces, is het belangrijk dat er rekening gehouden wordt met beperkingen wat betreft computationele kracht. Zo rapporteerde Ford Motor Company dat om een enkele crashtest te simuleren, tussen 36 en 160 uren aan rekenkracht vereist was. [6] Het is daarom essentieel dat we het aantal simulaties tot een minimum kunnen beperken. Om een oplossing te bieden aan deze problematiek word vaak beroep gedaan op de modeleringswereld. Eenmaal een model beschikbaar is, hoeft men enkel nog de correcte optimalistietechnieken toe te passen om een optimum te bekomen. De meeste van deze reeds bestaande optimalisatietechnieken rekenen echter op deterministische experimenten. In de realiteit zijn er echter weinig designproblemen die daar aan voldoen. Vrijwel altijd wordt de ontwerper geconfronteerd met onzekerheden of parameters buiten zijn invloed zoals materiaal karakteristieken, de precisie van de fabricage, gebruiksomstandigheden, etc. Optimalisatie binnen een surrogaatmodel zonder rekening te houden met onzekerheid leidt dus vaak naar slechte designs. Deze designs mogen dan wel optimaal zijn voor die exacte parameters, ze lopen een verhoogd risico op falen indien door omstandigheden ietwat van de optimale parameters wordt afgeweken. Maar al te vaak worden deze onzekerheden achter eenvoudigheidshalve uit het ontwerp gehaald door het toevoegen van soms absurde veronderstellingen en veiligheidsvoorschriften. Dit kan leiden tot overontworpen producten en geeft geen inzicht in de exacte veiligheid van het product. De bestaande modellerings-en optimalisatietechnieken moeten dus worden uitgebreid naar iets dat een robust design aflevert.

Wim van Aarle

Pagina 2 van 12


2

Doelstelling

1p

Wim van Aarle

Pagina 3 van 12


3 3.1

Projectbeschrijving Studie

Bij het surrogaatmodellering trachten we complexe modellen via een wiskundige basis te vereenvoudigen om optimalisaties aldus sneller en efficienter te kunnen uitvoeren. Dergelijk vereenvoudigd model noemt met een ’surrogaatmodel’ of ’metamodel’ (letterlijk: een model van een model). [1] In de voorbije jaren is er hieromtrent reeds veel onderzoek gedaan. (PULSE-ref?) De eerste maanden van het project zullen daarom ook gebruikt worden om een grondige literatuurstudie uit te voeren binnen het onderzoeksdomein. De bestudeerde technieken, waarvan enkele worden beschreven in 3.1.1, kunnen later in het project gebruikt worden met het oog op robust design. 3.1.1

Surrogaatmodellering

Een design-space is de ruimte van alle mogelijke waarden voor de design variables. Een experiment of een simulatie van een experiment is dan een functie die een tupel van mogelijke invoerwaarden x omzet naar een tupel van outputwaarden y. Dus: y = f (x) waarbij f (x) de rele simulatiefunctie is. Deze functie kan oneindig complex zijn. Daarom wordt een surrogaatfunctie g(x) ingevoerd die een surrogaatmodel definieerd. We krijgen dan: yˆ = g(x) met y = yˆ + Hierbij is een samenvoeging van zowel de benaderingsfout die optreedt na het vereenvoudigen van het oorpsronkelijke model als van eventuele ruis op de simulaties. De eerste stap in het opstellen van dergelijke metamodelleringsfunctie is het kiezen van een toepasselijke samplingstechniek of Experimental Design. Deze stelt een sequentie van uit te voeren experimenten (of simulaties) voor in de design-space. Het spreekt voor zich dat, willen we deze fase zo performant mogelijk maken, het aantal experimenten zo laag mogelijk moet liggen zonder dat er belangrijke informatie verloren gaat door undersampling. Wanneer er bovendien gewerkt wordt in design-spaces met ruis (wanneer het gaat over fysische experimenten of wanneer er robuustheidsconstraints ingevoerd worden), moet er bovendien rekening gehouden worden met de oversampling pitfall. Enkele reeds goed gedocumenteerde samplingtechnieken zijn:

Wim van Aarle

Pagina 4 van 12


Factoral Designs Elke parameter kan twee waarden aannemen (meestal worden deze geschaald op -1 en +1). Het design bestaat dan uit alle mogelijke combinaties. Voor een model met k parameters, zijn er dus 2k experimenten nodig. Het spreekt voor zich dat dit bij complexe problemen voor enorm veel simulaties zal zorgen. Bij fractionele factorial designs worden niet meer alle combinaties afgegaan. Zij de fractie bijvoorbeeld 21 dan resten er slechts 2k−1 experimenten. Nadelig is dat er geen exacte interpolatie meer mogelijk is voor elke paramter afzonderlijk. We zeggen dan dat de hoofdeffecten aliased zijn ten opzichte van de interacties van twee factoren. [2] Een veelgebruikte vorm factorial designs zijn de Plackett-Burman Designs. [3] Space Filling Designs Een space filling design neemt samples in de hele design-space. Enkele voorbeelden zijn Random Sampling, Latin Hypercube Sampling, Orthogonale Sampling en Uniform Sampling. In de praktijk worden deze technieken voornamelijk gebruikt in ruimten zonder ruis. [PULSE-zoekref] Eens de sampling data beschikbaar is, is de volgende grote stap in de zoektocht naar een surrogaatmodel het kiezen van een gepast model en het hierop fitten van de samples. Ook in dit gebied is er in de laatste decenia reeds heel wat onderzoek gebeurt. De meest populaire modelleringstechnieken worden beschreven. Het is belangrijk om op te merken dat elke techniek zijn voor- en nadelen heeft en we dus niet kunnen spreken van n enkele superieure techniek. Response Surface Deze technieken trachten het oorspronkelijk model te benaderen via eenvoudige wiskundige formules zoals polynomen van een lage orde. k X yˆ = β0 + βi xi i=1

Wanneer we werken met simulaties met meerdere outputs, moeten we deze uitbreiden naar multivariate polynomen. yˆ = β0 +

k X i=1

βi xi +

k X i=1,j=1,i<j

βi,j xi xj +

k X

βi,i x2i

i=1

Typisch maakt men gebruik van Least Square Regression om de data te fitten. [4] Machine Learning Algoritmes Deze algoritmen komen uit het onderzoeksgebied van de Artificiele Intelligentie en zijn gebaseerd op het aanleren van trainingsdata op een zeker systeem. Wanneer deze technieken gebruikt worden als modelleringstechniek nemen we de samples uit de eerste fase van het proces als trainingsdata. De meest Wim van Aarle

Pagina 5 van 12


gebruikte systemen zijn Inductieve Learning en Neural Networks. In het eerste systeem wordt een decision tree opgesteld die via rules de inputvector op een uitputwaarde stemt. Deze techniek werkt het best indien de outputwaarden discreet zijn. Het invoeren van neurale netwerken is momenteel een hot-topic binnen de metamodelleringswereld. Neurale netwerken zijn kleine, maar zeer krachtige netwerken van neuronen die via gewichten en activatiefuncties een inputstring omvormen naar een zekere outputstring. Hun kracht zorgt ervoor dat neurale netwerken veel potentieel bieden in design-spaces van hogere dimensionaliteit. Een groot nadeel aan neurale netwerken is dat er momenteel nog geen automatisering bestaat die de topologie van het netwerk optimaliseert. Een ander groot nadeel is dat neurale netwerken niet gemaakt zijn om goed om te kunnen gaan met random noise. Kriging Kriging is een interpolatiemethode voor deterministische experimenten uit de geostatistiek en is een combinatie van een polynomiaal model en random proces: y(x) = f (x) + Z(x) Hierbij is f (x) een gekende, vaak constante, response surface en Z(x) een normaaldistributie met gemiddelde nul, een variantie σ 2 en een convariantie die niet nul is. Een correlatiefunctie R geeft het verband aan tussen twee samples Daar kriging voor een exacte interpolatie zorgt, werd het oorspronkelijk geassocieerd met DACE (= Design and Analysis of Computer Experiments), experimenten met een deterministisch resultaat. Tegenwoordig bestaan er ook een Kriging technieken die met niet-deterministische ruis overweg kunnen (beter bekend als de DOE-of Design Of Experiments problemen). [7] Nadat het model is opgesteld, moet het worden gevalideerd opdat men zeker kan zijn dat het model een goede benadering is van het oorspronkelijke. Indien dit niet geval is, moet men de gekozen samplingstechniek herbekijken. Men kan kiezen voor een andere design of het toevoegen van extra samples (een techniek die ook wordt toegepast bij het adaptief modeleren, hierover later meer). Het valideren van een model gebeurt vaak via het testen van statistische hypothesen zoals t-tests en F-statistieken. [8] Indien de experimenten echter deterministisch zijn, zijn statistische testmethoden vaak onbruikbaar. Men kan dan een beroep doen op een mean square error berekening of op cross-validation. [5] Een veelgebruikte techniek om experimenten uit te voeren is de zogenaamde parameter sweeping, waarbij men een model opbouwt nadat de hele designspace is onderzocht. Dit is echter niet de meest optimale methode daar ze Wim van Aarle

Pagina 6 van 12


geen rekening houdt met hoe de design-space er in werkelijkheid uitziet. Men kan dit verbeteren door de parameter sweeping te vervangen door een iteratief proces waarbij telkenmale na het opstellen van een surrogaatmodel de belangrijkste nieuwe samples (op kritische punten in de design-space) toevoegd worden. Zo zullen er in totaal minder samples gebruikt worden om een surrogaatmodel zo nauwkeurig mogelijk maken. Deze techniek heet Adaptieve Surrogaatmodellering en vormt al enkele jaren het hoofdonderzoek van de CoMS onderzoeksgroep aan de Universiteit Antwerpen. 3.1.2

Robust Design

Het doel van Robust Design is het verbeteren van een product door de effecten van variabele of onzekere parameters te minimaliseren. Op deze ongewilde effecten, zoals gebruik in verschillende weersomstandigheden of onnauwkeurigheden in het fabricageproces, heeft de ontwerper geen enkele invloed. Robust Design is erg gerelateerd met de reeds zeer uitgebreid onderzochte omtimalisatieproblematiek. We spreken daarom dikwijls van Robust Design Optimalisation (RDO). Verder wordt Robust Design ook vaak samen vernoemd met Designing with Uncertainty. PULSE-Algemeen[2abstratc][1-p8] Het concept werd reeds in de jaren 1980 ontworpen door Dr. Genichi Taguchi [PULSE-ref]. Een Taguchi’s Robust Design bestaat uit drie fasen: system design, parameter design en tolerance design. In de tweede stap worden controle parameters gekozen die het ontwerp ongevoelig maken tegenover variaties in de ruis parameters. De evaluatie van de gemiddelde performantie en van de variantie bekomt Taguchi door twee orthogonale design arrays met elkaar te mengen. Enerzijds is er de array van de samples in van de controleerbare parameters, anderzijds is er een array van alle mogelijk afwijkingen of onzekerheden. Het resultaat van deze operatie geeft een Singal-to-Noise Ratio (SNR) die de verhouding tussen performantie en variantie aangeeft. Verschillende vormen van SNRs zijn beschikbaar en onderzocht. [PULSE-simpson-53] Wiskundig kan men RDO definieren als een minimalisatie van een functie f : A × B → R. Hierbij geldt: • a ∈ A is de vector van controlefactoren. Dit zijn de parameters waarover de ontwerpen over een rechtstreekse invloed heeft. • b ∈ B is de vector ruisfactoren en stelt onzekerheden voor. De ontwerpen heeft hierover geen enkele controle. • De functie f (a; b) geeft het verlies aan kwaliteit aan van een ontwerp met parameters a indien de onzekerheid gemodeleerd wordt als b. Wim van Aarle

Pagina 7 van 12


Deze functie heet ook wel de loss-function. Om het optimale Robust Design te vinden, zoeken we een a∗ ∈ A zodat geldt dat f (a∗ ; b) ≤ f (a; b) ∀a ∈ A, ∀b ∈ B. [PULSE-ref-slides] Helaas is deze uitdrukking vaak onoplosbaar [PLUSE2421-13]. Een veelgebruikte oplossing is het vinden van een te minimaliseren surrogaatfunctie φ(x) zoals die van het Minimax of het Bayes Principe. [PULSE-zoekref] φ(a) (M inimaxP rincipe)(1)

= supb∈B f (a; b) Z

φ(a)

=

f (a; b)p(b)db B

(BayesP rincipe)(2) p(x) is een probability dension function over B. De keuze tussen minimax en bayes is afhankelijk van wat de ontwerper wil. RDO kan dienen om een worst case scenario te vermijden (minimax), maar ook om . Verder is RDO afhankelijk van de mate waarin de statistische eigenschappen van de ruisparameters egweten is. Het is duidelijk dat een dergelijke aanpak van RDO computationeel gezien zeer kostelijk is. Daarom is het zzer interessant om RDO te combineren met de eerderbestproken surrogaatmodelleringstechnieken - formule + optimal rd[2p2][3p7] - minimax/bayes [3] - link met surrogaatmodellering kriging is mogelijk - PMDO - RCEM[4,5 ], RDS 3.1.3

Evaluatie Software

In dit project zal voornamelijk gewerkt worden aan de M3 toolbox van de CoMS onderzoeksgroep. [PULSE-ref] Maar hoewel deze toolbox uniek is op het gebied van adaptieve surrogaatsmodellering, zal er ook gekeken worden naar alternatieve tookits die reeds robust design aanbieden.

3.2

Concreet

curse of dimenionsality

Wim van Aarle

Pagina 8 van 12


3.2.1

Verfijnde Sampling Technieken voor Robust Design met surrogaatmodellering

3.2.2

Robuuste Surrogaatmodellering met onzekerheid

Zeer nauw verbonden met het probleem van robust design is het effect van onzerheid po benaderingsmodellen. 3.2.3

Testcase: Simultaneous Localization And Mapping

goede match, want: - adaptieve modellen zijn essentieel 3.2.4

Nog iets

Wim van Aarle

Pagina 9 van 12


4 4.1

Planning Fase1: studie

In deze eerste fase wordt tijd uitgetrokken voor een grondige studie betreffende alle modeleringstechnieken. Er zal voornamelijk gekeken worden naar hoe de techniek toepasbaar is bij robust design modelling en modelling met onzekerheden. Ondertussen zal ik me ook inwerken in het project van de M3-toolbox. Het oplossen van enkele kleinere puntjes om de emphtodo-list zullen me daarbij helpen.

4.2

Fase2: implementatie robust design module in M3

ontwerp implementatie testen

4.3

Fase3: robust design

Testcase: SLAM

4.4

Fase4: ???

4.5

Fase5: Afwerking + schrijven doctoraatstekst

In de laatste fase wordt het project afgerond en wordt er tijd uitgetrokken voor het schrijven van de doctoraatstekst.

4.6

Parallel: begeleiding studenten, publicaties en conferenties

Wim van Aarle

Pagina 10 van 12


5

Toepassingsmogelijkheden

Wim van Aarle

Pagina 11 van 12


Referenties [1] Kleijnen J.P.C., Statistical Tools for Simulation Practitioners”, New ” York, NY, Marcel Dekker, 1997. [2] Simpson T.W., Peplenski P., Koch P.N., Allen J.K., Metamodels for ” COmputer-Bases Engineering Design: Survey and Recommendations, Engineering with Computers”, Vol.17, No. 2, 2001, pp. 129-150. [3] Plackett R.L., Burman J.P. (1946) The design of optimum multifacto” ral experiments.” Biometrika , 33, 305-325. [4] Myers R.H., Montgomery D.C., Response Surface Methodology: Pro” cess and Product Optimization Using Designed Recommendations, Engineering with Computers”, NY, Wiley, 1995. [5] Mitchell T. J., Morris M. D., Bayesian Design and Analysis of Com” puter Experiments: Two Examples,” Statistica Sinica, Vol. 2, 1992, pp. 359-379. [6] Gu L., A Comparison of Polynomial Based Regression models in Vehi” cle Safety Analysis”, 2001 ASME Design Engineering Technical Conferences - Design Automation Conferencen ASLEn Pittsburgh, PA, September 9-12, 2001, DAC-21063. [7] Kleijnen J. P. C., Van Beers W., ”Kriging for Interpolation in Random Simulation,”Journal of the Operational Research Society, 2002, in press. [8] Timothy W. Simpson, Andrew J. Booker, Dipankar Ghosh, Anthony A. Giunta, Patrick N. Koch, Ren-Jye Yang, Approximation Methods ” in Multidisciplinary Analysis and Optimization: A Panel Discussion”, 9th AIAA/ISSMO Symposium on Multidisciplinary Analysis and Optimization in Atlanta, GA, September 2-4, 2002.

Wim van Aarle

Pagina 12 van 12

IWT Projectvoorstel Robust Design Optimalisatie in Adaptieve Surrogaatmodellering

Recommend Documents