Items voorgaande Reliability Usergroup meetings Onderwerp + korte antwoorden. Uitgebreide antwoorden; PowerPoint presentaties, Voorbeeld datasets, Voorbeeld Analyses, Word documenten, Excel voorbeeld berekeningen etc. zijn op aanvraag beschikbaar. Mei 2011
Wat is het optimale onderhoudsinterval? o Aan de hand van de Weibull en de inzetgegevens is een kosten-optimaal onderhoudspunt te berekenen voor alle faalvormen met een Bèta > 1 indien de preventieve vervangingskosten lager zijn dan de correctieve kosten..
Je hebt nooit een werkelijk Random Sample of prototype. Hoe kan je WorstCase Samples selecteren? o Als je de faalvorm (mechanisme!) weet dan kan je mogelijk een “grenssample” laten maken. o Uiteindelijk is de aanname dat je sample een Random “gouden” sample is, en dat je de statistische Confidence bounds gebruikt om voor de spreiding in je serie te compenseren. Let op; dit is alleen de statistische onzekerheid, niet de volledige onzekerheid… … o Worst case hangt samen met specificatie: een sample is worst case in vergelijking met andere samples, gemeten naar een bepaalde specifieke eis. Bij meerdere samples is het dus gewoon rangschikken op de eis en de slechtste nemen. Bij 1 sample (prototype) kan dat natuurlijk niet, zelfs niet bij twee. Je moet iets over de verdeling van de samples weten om te kunnen bepalen of worst case statistisch significant verschillend is van best case (BOB vs WOW analyse). Is er geen significant verschil, dan lijkt mij worst case onderzoek nauwelijks zin hebben.
Hoe het aantal samples te bepalen voor een acceptatie test gebaseerd op nul falen? o Zero-One failure test strategie als in de WinSmith Software. Weibull (of andere verdeling) met een aanname van de spreiding (Bèta voor de Weibull) gecombineerd met Binominale Confidence – Kans op optreden.
Een van de dingen waar we mee worstelen is het opzetten van een vibratie levensduur test. Hoe lang zou deze moeten duren, en hoe zit het met de acceleratie factor? o Een vermoeiingstest kan opgezet worden met behulp van de Wöhler vergelijking oftewel de SN curve. S^k.n = Constant. o Een toepassingsvoorbeeld is behandeld. o “Wisselvast” aantonen is voor sommige materialen niet of zeer moeizaam te realiseren. Alu. Is mogelijk bij 2x 10^7 wisselingen wisselvast, Staal vaak bij 1 tot 2 x 10^6. Kunststof mogelijk nooit ! (kruip…)
Een nul falen test plan, berekend met de RVP-tool, waarbij ik meerdere faalvormen heb roept bij mij nog steeds vragen op. o De RVP sheet is nog een keer toegelicht. Als er sprake is van een enkele duidelijk overheersende faalvorm dan is het delen van de Reliability target (requirement) door het aantal faalvormen niet interessant. De requirement dan per faalvorm laten gelden, en de Confidence op 90% zetten. o En inderdaad, als de Systeem requirement R90C90 is, dan zijn de requirements voor de onderdelen scherper, en dient er dus meer en/of langer getest te worden om dit aan te tonen!
Je runt een life test en er duiken nieuwe failure modes op…wat nu? o Zie presentatie “What If Failures Occur?”
Alternatief voor Weibull; Crow-AMSAA voor slechte data, meerdere faalvormend door elkaar en proces analyses.
o Wanneer en hoe om te schakelen naar Crow-AMSAA? Aan de hand van de data van Product X laten zien hoe de gegevens omgezet moeten worden voor het Crow-AMSAA format. o Crow-AMSAA is met name van toepassing als er meedere faalvormen door elkaar aanwezig zijn… Of als je denkt met een Batch te maken te hebben! o
Hoe stel ik een veld test plan op? Hoeveel stuks en hoe lang moet de test lopen om met een bepaalde kans een faalpercentage te gaan ontdekken? o De Field-test calculator is toegelicht. De Excel file is voor de liefhebber beschikbaar.
Hoe kan ik een SN-curve, gebaseerd op mijn test data, maken in WinSmith Weibull Software? Kan dat ook voor verschillende materialen en verschillende BLevels? Kan ik Confidence bounds op de plots tekenen? o Voorbeeld SN-curve creëren is gemaakt aan de hand van PlayTIME data. Verschillende B-levels kunnen op een plot getekend worden. Confidence bounds zijn niet beschikbaar.
Wat te doen als de Abernethy Risk Analysis “Failures Now” veel hoger is dan wat je hebt aan defecten? o Batch analyse is stap 1. (Zie aparte presentatie) Vergelijk Bèta MRR versus MLE. Huidige risico op 90% lower Confidence versus werkelijke uitval. ACH (Aggregate Cumulative Hazard) plot.
o De Wauben correctie is een mogelijkheid, als je de portie “geïnfecteerde” weet. o Lukt het niet de Batch te lokaliseren dan is Crow-AMSAA de beste methodiek voor het voorspellen van het aantal defecten in de tijd. (Kaplan-Meier is ook een optie voor voorspelling van defecten per kalender maand!) o Alternatief is de Bèta waarde aannemen op basis van de defecten, daarmee de faalvorm kunnen inschatten! o Soms kan MLE een (lagere) betere Bèta geven. Die aanhouden voor de forecast is een laatste optie.
Rapportage van Reliability status naar management. o Met tools uit de training werken we nu met metrics als “Confidence on meeting requirements” of “Probability of detection”.
Confidence level [%]
Confidence in reliability, Development contribution
80% 70% 60% Planned 50% 40%
Actual target
30% 20% 10% 0%
o Voordeel is dat Reliability status en planning (timing!) inzichtelijk wordt, maar de genoemde begrippen en inhoud kunnen ook verwarring oproepen.
September 2011 Gestructureerd een FMEA opstellen, hoe werkt dat? o Presentatie Design-FMEA doorgenomen. Structureel werken en denken in functies + het niet voldoen aan deze functies is de leidraad. o Parameter Diagram is een nuttig hulpmiddel om het systeem eenduidig in kaart te brengen. o Zie AIAG standaard – Design / Proces FMEA.
De relatie tussen een FHA of HAZOP naar FTA naar FMEA en dan weer door naar DVP&R? Welke volgorde, waarom en met welk doel doen we iets.
o Begin op hoogste niveau; HAZOP om de grote gevaren eenduidig in kaart te brengen. o Voor deze “veiligheid” items (of andere belangrijke topgebeurtenissen) daarna een FTA opstellen. o Alle delen moeten ook in de FMEA komen die je daarna kan maken. o De acties uit alle tools worden samengevoegd in de DVP&R. o Doel: Voorkomen dat de “fouten” die we kunnen verzinnen gaan optreden. November 2011
Hoe de levensduur te bepalen voor hardware defecten waarbij er een grote periode kan liggen tussen de eerste indicatie dat het part aan het eind van de levensduur is en de daadwerkelijke vervanging van het onderdeel? o Inspectie Optie kan tot een betere fit leiden. Beter is om eenduidige afkeurcriteria op te stellen en aan de hand hiervan de delen te vervangen.
Hoe kunnen de software hits (reset) in de tijd gebruikt worden bij het bepalen van de Software betrouwbaarheid? o Crow-AMSAA
Mijn Crow-AMSAA is gebaseerd op feiten vanuit het veld, en laat trends zien. Ik probeer de verbeteringen die de Crow-AMSAA laat zien te verklaren op basis van manufacturing data. Ik krijg de ontwikkelaars niet zover dat ze hier ook werkelijk mee aan de slag gaan. Hoe kan ik aantonen dat knikken in de CrowAMSAA grafieken significant zijn? o In veel gevallen is een knik inderdaad te koppelen aan een datum, en daarmee aan een gebeurtenis in de tijd. Denk aan een productie proces update, het doorvoeren van een ontwerpverandering, het invoeren van andere controle methodieken, invoeren van een preventief onderhoud strategie etc. o Of de knik significant is kan middels de fit - p% aangetoond worden. De complete dataset in een enkele Crow-AMSAA plot geeft vaak een fit p%< 10. Door de data in de knik te splitsen in twee clusters moet de fit voor beide sets > 10% worden.
Ik heb een Weibull analyse met een stijl naar vlak verloop. Volgens APPENDIX F in "The new Weibull handboek" zou dit kunnen duiden op een batch. Ik zou dan echter ook een tweede stijl gebied moeten zien, na het vlakke gedeelte... maar dat ontbreekt in mijn dataset. o Inderdaad een Batch indicatie. De Bèta van deel 2 (het vlakke deel) is echter nog steeds > 1 en mogelijk is dit al de faalvorm die het werkelijke “einde levensduur” van het ontwerp bepaald. o In sommige plots zien we een Bèta van ~1 (Random uitval) na de knik. Kan zijn dat er nog een hele verzameling van faalvormen door elkaar aan het optreden is. o De tweede knik die wordt verwacht zou dan de uiteindelijke faalvorm moeten zijn die echt “einde levensduur” van het ontwerp is. In dit geval is er mogelijk nog niet lang (diep) genoeg gemeten. De einde levensduur faalvorm moet nog komen, of zit nu nog in de ruis van de andere faalvormen.
Systeem niveau testen en onderdeel verbeteringen. Wij zijn bezig om in totaal Systeemniveau testen ook een nieuwe generatie onderdeel “X” mee te testen. Er zitten een groot aantal delen X in een systeem. Een dergelijk test duurt typisch enkele weken en in deze testen wordt ook naar de levensduur van de X-en gekeken. Na afsluiten van een totaaltest kijken we wat we geleerd hebben en worden verbeterstappen voorgesteld in het ontwerp. Een volgende totaaltest vindt pas weer plaats als de verbeteringen zijn toegepast. Om nu de voortgang in Reliability te toetsen lijkt me een Crow AMSAA aanpak geschikt. Waar ik mee zit is hoe om te gaan met een goede maat voor MTBF bij dit soort testen. o Voor zowel het complete systeem als voor onderdeel X dient een goede waarde voor de X-as van de Weibull of Crow-AMSAA plot bepaald te worden. Tijd in uren is in dit geval niet relevant. Het aantal sets output lijkt wel een goede maatstaaf te zijn. o Voor onderdeel X kan per serie een Weibull gemaakt worden. Deze kunnen onderling vergeleken worden om de verbetering te beoordelen. De sets achter elkaar in een CA plot laat de betrouwbaarheidsgroei (als die er is) zien.
o Voor het totale systeem de Crow-AMSAA methodiek toepassen.
Maart 2012
Life Data Analysis; Relatie tussen Test data en Veld data. Presentatie van analyse resultaten van klantenklachten Weibulls gekoppeld aan productie eindcontrole Weibulls. Er is best informatie te halen is uit de klanten feedback ondanks dat dergelijke data vaak vervuild zijn. o Met “vuile data” is toch een redelijke voorspelling van de werkelijke veldperformance te maken. Vooral de vorm van de Weibull plot (Bèta en knikken) geeft een eerste indicatie of de velduitval overeenkomt met de voorspellingen op basis van de eerdere test resultaten. o Alleen de werkelijke gegevens van de defecten zijn bekend, niet de leeftijd van de rest van de vloot. Door het toepassen van de VDI “Sudden Death Verfahren” methodiek wordt een projectie gemaakt van de werkelijke veldperformance op basis van de defecten. Deze methodiek wordt ook wel de “Dauser Shift” genoemd … Het resultaat kan in de buurt van de werkelijke veldperformance liggen, maar kan er ook fors naast zitten. Zie Weibull handboek Hoofdstuk 5.7 figuur 5.4. Beter is om zelf een inschatting te maken van de leeftijd van de niet defecten en die als suspensies op te voeren. De genoemde Sudden Death Verfahren methodiek probeert dit te benaderen op basis van de in te geven fabricage batches in de tijd. o Dus; niet de eerste aanbeveling, maar in elk geval beter dan geen analyse! De resulterende plot kan gespiegeld worden aan de levensduur eisen om een indicatie te krijgen of we wel/geen veldprobleem hebben.
Wanneer ik in de analyse "Renewal" aanvink, m.a.w. een defecte component wordt vervangen, moet ik dan toch in de data een nieuwe component invoeren met een runtime gerekend vanaf het verwisselen van de defecte component, of doet de software dit voor mij, omdat ik "Renewal" heb ingevuld? Is dit bij Weibull en C-A failure-forecasting hetzelfde? o De software voegt zelf nieuwe units toe als vervanger van de berekende defecten. o Als “met vernieuwing” wordt gekozen dan werkt dat in beide methodieken.
Bij het bepalen van het optimale vervangingstijdstip wordt denk ik geen rekening gehouden met de totale runtime van de complete installatie waar het component deel van uit maakt. o Inderdaad, er wordt alleen voor het betroffen component (op basis van zijn eigen Weibull …) berekend wat het optimale vervangingspunt kan zijn.
Wanneer mag ik bij de Crow-AMSAA methodiek de Instantaneous MTBF gebruiken? Wanneer iedere fout definitief wordt gerepareerd, gemodificeerd, of is er een andere regel? o Als er inderdaad sprake is van “reparatie” etc. De momentane MTBF is de huidige tijd tussen de defecten als je vanaf nu gaat meten.
Mag ik de Instantaneous MTBF ook gebruiken bij een bèta > 1, want dan is die slechter dan de cumulatieve MTBF en betekent dit dan dat de fouten alleen gerepareerd worden en niet definitief worden opgelost/gemodificeerd? Hoe deze MTBF nu te interpreteren? o Ja, dat mag! o Een CA Bèta > 1 is zeker mogelijk; de complete trend is dan nog steeds dat je complete systeem steeds slechter wordt c.q. verouderd, ondanks dat je series met reparaties aan het doorvoeren ben.
Batch Analysis; Handmatig en met de geïntegreerde Software methodiek. o Zie voorbeeld analyse: Batch Analysis Sample March 2012.pptx
Failure forecasting, inclusief het volgen van de realisatie ten opzichte van mijn voorspelling. Hoe werkt dat? o Forecast data naar Excel exporteren… Dan daar volgen!
Optimaal vervangingspunt berekeningen. Hoe dit ook al weer met de Software te doen? o Zie 18wheeler case o Minimale kosten bij 22.000 mijl vervangen.
o Wat is de beste correctieve actie en welke kostenbesparing wordt er gerealiseerd door preventief te vervangen?
Step-stress testen; Hoe een test plan op te zetten. Hoe de resultaten te analyseren? o Aan de hand van PlayTIME voorbeeld toegelicht.
Wat is de Confidence in mijn uitval percentage van 1,5% als ik 15000 defecten heb gemeten op een populatie van 1.000.000 stuks na 12 maanden. o Confidence wordt bepaald door je aantal punten op je plot, niet door de fit van de Weibull lijn door de punten. Zie antwoord in file: Confidence on B(1,5) with 1000000 samples. o Met 90% Confidence de B(1,5) is tussen 1,48% en 1,52%.
o Echter, hoe zeker ben je van de genoemde 1,5% uitval… …?
Juni 2012
Failure forecasting vanuit klantenreturn data. Ik heb 3 modellen die verschillende waardes geven voor de te verwachte uitval bij 2 jaar, op basis van mijn 1 jaar garantie gegevens. 3 uitkomsten die verschillend zijn (klein beetje tot heel veel) Welk model te kiezen, of juist het gemiddelde van de 3 te nemen? Wat te doen? o Methode 1: “Dauser Shift” : Meest onnauwkeurig, dus niet toepassen. o Methode 2: MCMC – Marcov Chain Monte Carlo simulatie. Lijkt OK, mogelijk te optimistisch door de Gibbs sampling methodiek. Wel is het inzetprofiel van de klanten mooi mee te modelleren. o Methode 3: Weibull plots van de 8 afzonderlijke faalvormen: Goed, echter de aanname dat alle klanten dezelfde draaiuren hebben is jammer… De werkelijke verdeling is bekend, zie methode 2. Voorstel is dit ook voor de Weibull plots (suspensions) te gebruiken. o Waarom is er geen Crow-AMSAA gebruikt als 4e methodiek? Alle faalvormen door elkaar versus alle cumulatieve draaiuren, en extrapoleren maar naar 2 jaar gebruik! Rigide en eenvoudig… …
ALT resultaten. Voorbeelden waar de Bèta niet constant is bij verschillende stressoren maar de Physics of Failure wel. (data is vertrouwelijk) o Toepassen van de MRR methode om de plots (met relatief weinig datapunten) te maken in plaats van MLE laat zien dat de Bèta’s toch redelijk in de buurt van de verwachting komen te liggen en dat de afwijkingen tussen de 4 sets op verschillende niveaus getest niet onoverkomelijk zijn. o Grootste onnauwkeurigheid lijkt in de gekozen methodiek te zitten in dit geval. Dit ondanks dat “Meeker” het hier niet mee eens zou zijn… … Zie Paper: “Weibull MRR vs MLE Meeker 2009” o Voorbeeld plot, data PlayTIME, echter strekking komt vrijwel overeen met de werkelijke data die besproken is.
Ik heb een specifieke vraag uit een test set, waarin de uitval van 1 set wordt gemeten onder een toenemende belasting: -eerst een lage belasting -vervolgens een hogere belasting. Dit kan handig zijn als blijkt dat de uitval bij de lage belasting te langzaam gaat en er is weinig testmateriaal. Omdat de belasting is opgevoerd tijdens de test is de vraag hoe met de uitvalstatistiek om te gaan van de 2e set? -kan dit door simpelweg een t0 te introduceren? o Deze manier van testen lijkt op een step-stress test, echter met slechts 2 stappen in de spanning. De data kan echter uitgewerkt worden met de Weibull Software. Aanname voor het model van het faalmechanisme kan in dit geval Inverse Power zijn. Wordt vervolgd…
Presentatie beoordeling garantiedata. (data is vertrouwelijk) o Mooi resultaat; 10 verschillende Weibull plots, een aantal nog met meerdere faalvormen in een plot die niet verder gesplitst kunnen worden aan de hand van de beschikbare gegevens. Inschatting van de mechanismen is wel mogelijk. o Waarom is er geen Crow-AMSAA methodiek toegepast? Klant was niet op zoek naar trend analyse, maar wilde weten welke faalvormen er in het systeem zaten om deze bij een nieuwe ontwikkeling tegen te gaan. o De vraag is nu wel of de gerealiseerde systeem MTBF inderdaad beter is geworden als gevolg van de doorgevoerde wijzigingen, en ook of deze MTBF op het niveau is dat voor de nieuwe unit gevraagd is.
Wordt vervolg
