When does statistical forecasting add value? Statistical forecasting is frequently used and sold as a technique to use demand data from the past as a forecast towards the future. When should you indeed use statistical forecasting, when should you refrain from using it and when does it add value? Frank Wester explains. Statistical forecasting is a well known technique in the area of the S&OP-process and in the calculation methods for “optimal” stock levels. In real life, however, data from the past have been seriously contaminated by many highly influential in- and external factors.
Dutch National debt (billion €)
Statistics can be dangerous As mathematical engineer I’m traditionally charmed by the use of quantitative methods to support decisions. Statistics prove to be both powerful and dangerous in this context. Let’s start with an example from outside the area of logistics, where underneath graph reflects the evolution over the years of the Dutch national debt in billions of euro’s (source Wikipedia).
400.000 y = 6.9711x - 13696 R² = 0.904 350.000
300.000
250.000
200.000
150.000
100.000
50.000
0.000 1960
1970
1980
1990
2000
2010
2020
2030
Year National debt (billion €)
Linear (National debt (billion €))
Graph 1: The development of the Dutch national debt The blue points show a distinctive linear connection in the form of a straight line y = ax + b, where the parameters a and b can easily be determined in Excel using linear regression. Application of the resulting parameter values provides a forecast for the year 2010 of € 316 billion (6.9711 * 2010 – 13696). Statistically we then need to add the (un)reliability of this value. To be exact, the forecast will have a 95% probability to be in the range of € 264 and € 368 billion, i.e. a band width of € 100 billion (!), representing 40 percent of the lower border of € 264 even for this perfectly reasonable picture!
Constraints in logistics and supply chain Few readers will take my forecast of € 316 billion in the example seriously, as clearly the results from the past will provide no guarantee for the future in these turbulent times, regardless the bandwidth for the probability interval in this obvious linear trend. Still, this is exactly what everyone does when they define a forecast for the future or “optimal” stock levels based on data from the past. Five considerations Statistical forecasting is by definition extrapolation of the past into the future. However, in reality these figures from the past are contaminated by many in- and external factors, meaning that the contamination itself is extrapolated too. More in general, I would suggest the following considerations both from experience and theory when statistical forecasting is applied: 1. The real demand is determined by the market and competition. Neither of these are known with any level of reliability that would support forecasting. Furthermore, your demand can be strongly (temporarily) influenced by shortages or surpluses at your end or your competitor’s. 2. By definition it is debatable whether the past has any representative connection to forecast the future. Every product has for instance a product life cycle and the initial demand at the introduction phases may be hampered by a slow production start, a delay in product release by development or a delay in the start of the advertising campaign or …. 3. Financial values such as currencies, budgets both from you and your competitors, the world economy but also opening or closure of factories are notoriously difficult to forecast but they a huge effect on (your) demand. 4. Customers order by batch or in standard packages, creating Forrester- of Bullwhip-effects 5. Products and product families often face cyclical or seasonal demand. You need data from a couple of years in order to define the seasonal pattern, but over such a long period few products or markets will be stable. Furthermore, all statistical methods have notorious difficulties with seasonality, meaning that limited reliability can be expected. The proper application of statistical forecasting The above does not suggest not using statistics to forecast. On the contrary, planning is particularly required in environments where it is difficult to forecast and the data from the past will always provide a valuable source of information to support such planning. In fact, I have defined and applied a benchmarked statistical forecasting technique for the day-to-day planning in a VMI-environment with SHV gas (among others Primagaz en Liquigas, € 5 billion turnover annually). In this real life business case, the product (gas) and its application (heating, cooking, barbeque, pallet trucks) are fairly stable, even though also here the markets, seasons and climate change. Forecasting alone is not enough The point is that forecasting of numbers alone just isn’t enough. For a decent S&OP- or inventory control system the most important thing is to define an integral process that reflects the financial and commercial implications and the vision of the people from the market, next to the forecast in quantities. These combined inputs should be used to define rather than calculate a proper integral business plan. This defined business plan can then be used by the entire organisation as one team until the next planning round (or the next authorized approved change), without every functional discipline using their own plans and targets thus playing wide across the field. This approach does not improve the reliability of the forecast itself, but at least everyone in the team will work based on the same integral business plan, which itself is the result of a sustainable and reliable decision process. Install process The main challenge in real life is not to improve statistics to enhance the reliability of the forecast. The challenge is rather to define and install a process (where statistics may play its part) which leads to an integral business- and inventory control system which continuously reflects the deviations, in order to adapt to the unavoidable uncertainty that real life brings.
Wanneer voegt statistical forecasting iets toe? Statistical forecasting wordt veel gebruikt en verkocht als middel om de vraag uit het verleden te gebruiken als basis voor een voorspelling naar de toekomst. Wanneer kun je nou wel en niet gebruik maken van statiscal forecasting en wanneer heeft het toegevoegde waarde? Frank Wester legt uit. Bekende toepassingen in statistical forecasting zijn de demand forecast bij het S&OP-proces en berekeningen van 'optimale' voorraadniveaus. In de praktijk worden de cijfers uit het verleden echter door zeer veel in- en externe factoren vervuild.
Staatsschuld (miljard €)
Statistiek gevaarlijk middel Als wiskundig ingenieur ben ik van huis uit gecharmeerd van een kwantitatieve onderbouwing van besluiten. Statistiek is hierbij een krachtig maar tevens gevaarlijk middel. Om te beginnen een voorbeeld van buiten de logistiek. In de onderstaande grafiek staat de ontwikkeling van de Nederlandse staatschuld over de jaren heen (gegevens uit Wikipedia).
400 y = 6.9711x - 13696 R² = 0.904
350 300 250 200 150 100 50 0 1960
1970
1980
1990
Staatschuld (miljard €)
2000
2010
2020
Linear (Staatschuld (miljard €))
2030
Jaar
Grafiek 1: de ontwikkeling van de staatschuld Uit de de blauwe punten blijkt een duidelijk lineair verband in de vorm van een rechte lijn y = ax + b, waarvan de de parameters a en b met behulp van lineaire regressie eenvoudig in Excel kunnen worden berekend. Hierdoor kan voor 2010 een onderbouwde verwachte waarde worden berekend door 2010 in te vullen in de formule y = 6.9711 * 2010 - 13696 hetgeen een verwachte waarde geeft van € 316 miljard voor 2010. Statistisch gezien moet echter rekening worden gehouden met de (on)betrouwbaarheid van deze verwachte waarde. Om precies te zijn geldt dat de verwachte waarde zich met 95 procent waarschijnlijkheid zal bevinden tussen de € 264 miljard en de € 368 miljard, i.e. een bandbreedte van maar liefst € 100 miljard oftewel 40 procent ten opzichte van een ondergrens van € 264 bij dit ogenschijnlijk mooie plaatje!
Beperkingen in de logistiek Weinig lezers zullen mijn voorspelling van € 316 miljard in het voorbeeld serieus nemen omdat de resultaten uit het verleden in deze roerige tijden geen garantie geven voor de toekomst, nog afgezien van de grote statistische bandbreedte van het voorspellingsinterval bij dit toch duidelijke lineaire verband. Toch is dit precies wat iedereen doet als men bij een produkt of component een voorspelling probeert te maken naar de toekomst op basis van de vraag uit het verleden. Vijf overwegingen Statistical forecasting is per definitie een extrapolatie van het verleden naar de toekomst. In de praktijk worden de cijfers uit het verleden echter door zeer veel in- en externe factoren "vervuild", zodat naast de vraag ook de vervuiling wordt mee-geëxtrapoleerd. Meer in zijn algemeenheid zou ik de volgende ervaringsfeiten en theoretische overwegingen met betrekking tot statistical forecasting mee willen geven:
6. De echte vraag wordt bepaald door de markt en door de concurrentie op die markt. Geen van beiden zijn bekend met een nauwkeurigheid die de betrouwbaarheid van forecasting enigszins ondersteunt. Uw vraag kan bijvoorbeeld sterk beinvloed worden door allerlei variabelen, zoals (tijdelijke) tekorten of juist overschotten bij u dan wel uw concurrenten. 7. Het is per definitie de vraag in hoeverre het verleden een representatieve basis geeft voor een voorspelling van de toekomst. Ieder produkt heeft bijvoorbeeld een bepaalde levenscyclus en uit de vraag in de aanloopfase zult u weinig betrouwbare informatie kunnen halen voor de vervolg fases, omdat er wellicht tekorten zijn geweest bij de aanloop, of omdat de advertising te laat begon, of ....... 8. Financiële variabelen zoals koersverschillen, budgetten van u en uw concurrenten, de wereldeconomie maar ook het sluiten of openen van fabrieken en heel veel andere financiele variabelen zijn slecht voorspelbaar maar hebben tegelijkertijd een grote invloed op uw vraag. 9. Klanten bestellen per batch en verpakkingseenheid, zodat er opslingereffecten ontstaan (Forrester- of Bullwhip-effecten) 10. Producten en productfamilies hebben vaak te maken met cyclische dan wel seasonal demand. Er zijn echter een paar jaren historie nodig om een patroon goed vast te kunnen leggen, maar over zo'n lange tijd zullen de producten noch de markt stabiel zijn. Daarbovenop hebben alle statische methoden, ook de geavanceerde, notoir veel moeite met seasonality, zodat ook hier geen betrouwbaarheid is te verwachten.
Juiste inzet statistical forecasting Het bovenstaande is geenszins een pleidooi om dan maar geen gebruik te maken van statistiek om te voorspellen. Integendeel, ook als het verleden geen garanties biedt voor de toekomst moet er gepland worden en moet men zich verlaten op de gegevens die er beschikbaar zijn. Ik heb het zelf eerder met redelijk succes kunnen toepasen in een VMI-omgeving bij SHV-gas (Primagaz en Liquigas), waar het product zelf (gas) niet aan verandering onderhevig en ook de toepassingen (verwarming, koken, barbeque, pallettrucks) zeer stabiel zijn, al fluctueert ook hier de temperatuur, de markt en het seizoen. Forecasting alleen niet genoeg Mijn advies is enkel dat forecasting van alleen aantallen niet genoeg is. Naast de forecast in aantallen heeft men voor S&OP en voorraadbeheersing ook een systeem en vooral een proces nodig dat naast de statistiek ook de financiële consequenties en (on)mogelijkheden en ook de visie van de mensen uit de markt (in aantallen én in waarde!) in de besluitvorming betrekt. Uit deze gecombineerde forecast kan het management dan vervolgens multi-disciplinair één planning definieren. Deze keuze kan dan vervolgens door de volledige organisatie tot de volgende ronde (of tot de volgende geauthoriseerde wijziging) als één team uitgevoerd wordt, zonder dat iedere discipline zijn eigen functionele forecast voor eigen doeleinden gebruikt en ieder dus dwars over het speelveld zou spelen. Hiermee is de gekozen planning dus ook niet noodzakelijk betrouwbaarder, maar hij is wel het gevolg van een gedegen beslissingsproces én hij wordt integraal door de gehele organisatie als één team uitgevoerd.
Proces installeren De kern en de uitdaging in de praktijk is dan ook niet zozeer om inhoudelijk op basis van statistiek te proberen om de betrouwbaarheid van de vraag te verbeteren. De uitdaging is juist om een proces te installeren (waar statistiek een onderdeel van kan zijn) dat leidt tot een integrale business- en voorraadplanning die omgaat met de onvermijdelijke onzekerheid die het echte leven met zich meebrengt.
