GoldenLine
Zaloguj się
Tamara Wróbel

Tamara Wróbel Brand Demand Manager

Temat: MAPE/BIAS czy FA (Forecast acuracy)

Proste pytanie: jakie mierniki są stosowane w Waszych firmach w celu mierzenia popraności prognoz? MAPE, WMAPE, FA? jakie są targety? jakie lead timy (na przykład MAPE1, MAPE6 czyli który forecast jest brany pod uwagę w naliczaniu FA)?
Link do wypowiedziLink

konto usunięte

Temat: MAPE/BIAS czy FA (Forecast acuracy)

Sam jestem rozliczany przede wszystkim z ważonego średniego absolutnego błędu procentowego prognozy, który jest u nas określany jako WAPE (w skrócie 'average' zamiast 'mean' i pominięcie jednego 'A'). Dodatkowym KPIsem jest jeszcze forecast bias. Obydwa wskaźniki wyliczane są w odniesieniu do forecastu o horyzoncie sześciu okresów chociaż prognozy przygotowujemy ze sporo większym wyprzedzeniem i korygujemy również dużo później kiedy proces sprzedaży wchodzi już w zasadzie w fazę operacyjną.

Co do targetów... W każdym roku coraz niższe ;]

Natomiast tak na serio to kwestia wysokości błędów stanowi już chyba tajemnice firmy. Poza tym sądzę, że nie ma większego sensu bezpośrednie porównywanie MAPE, WAPE, czy innego KPISa między firmami z różnych sektorów i bez brania pod uwagę całej gamy czynników specyficznych dla danej organizacji takich jak:
- ilość rynków i SKU przypadających na demand plannera
- różnorodnośc planów marketingowych między rynkami
- długośc cyklu życia pojedyńczego SKU
- długość horyzontu prognozy itd.

Bez wiedzy o wszystkich tych czynnikach nie można nawet mówić o zestawianiu gruszek z jabłkami a co dopiero o poprawnych porównaniach. Dlatego myślę, że oprócz twoich dwóch pozostałych pytań badziej interesujące są kwestie
- podstawy wyliczania błedu % (błąd ilociowy vs sprzedaż czy vs prognoza)
- punktu odniesienia błedu ilościowego (vs sprzedaż czy vs zamówienia)

Jak te sprawy wyglądały w firmach, w których masz doświadczenie?Adam S. edytował(a) ten post dnia 18.09.11 o godzinie 23:53
Link do wypowiedziLink
Tamara Wróbel

Tamara Wróbel Brand Demand Manager

Temat: MAPE/BIAS czy FA (Forecast acuracy)

no właśnie. Nie chodziło mi o szczegóły wyliczania tylko ogólnie o mierniki.
Teoria mówi, że MAPE zawsze powinien być zestawiany ze sprzedażą a nie z planem ale tu też w każdej firmie jest inaczej i pomimo, że wzór mówi jedno, to w praktyce bywa różnie.
U nas błędu ilościowego jako takiego się nie wylicza, raczej tylko % i to też jest jakaś wariacja na temat, bo liczy się coś pomiędzy WMAPE/MAPE/BIAS. Oprócz tego zawsze vs. sprzedaż, nie zamówienia. Jeżeli zamówienie było a brakowało towaru na stocku to wlicza się jako utracona sprzedaż i pogarsza wyniki MAPE. W poprzedniej firmie było prosto MAPE/BIAS i to wszystko. Oprócz tego oosy(out of stock) odliczane było z kalkulacji.
Teraz MAPE6(czyli 6 m-cy przed miesiącem sprzedażowym) wyliczany jest po kategoriach (tzw. agregated level) a MAPE1 po sku (czyli w największym stopniu szczegółowości)
Link do wypowiedziLink

konto usunięte

Temat: MAPE/BIAS czy FA (Forecast acuracy)

Einstein ponoć mawiał, że nie ma nic lepszego niż dobra teoria. W praktyce rzeczywiście bywa różnie ;]

Osobiście jestem zwolennikiem wyliczania błędów procentowych prognozy w odniesieniu do aktualnej wartości sprzedaży a nie do wartości samej prognozy. Niemniej można znaleźć dość rozsądne argumenty przemawiające za odwrotną metodologią. W Foresight był nawet jakiś czas temu artykuł na ten temat - Percentage Error: What Denominator?.
Link do wypowiedziLink

konto usunięte

Temat: MAPE/BIAS czy FA (Forecast acuracy)

Tamara Jóźwik:
Oprócz tego zawsze vs. sprzedaż, nie zamówienia. Jeżeli zamówienie było a brakowało towaru na stocku to wlicza się jako utracona sprzedaż i pogarsza wyniki MAPE.

Tak na koniec tygodnia naszlo mnie pytanie - dlaczego wpływ braków na KPISy demand plannera przemawia za tym aby wyliczać accuracy w odniesieniu do sprzedaży zamiast zamówień?

Mysląc na ten temat rozważałem dwa scenariusze:

1. Prognoza niższa niż zamówienia. Zatem braki spowodowane są przede wszystkim przez niedoszacowanie popytu. W tym przypadku całkowicie naturalne powinno być uwzględnienie tego w KPIsach demand plannera.

2. Prognoza wyższa niż (lub równa) zamówienia. Natomiast braki spowodowane przez niemożność wyprodukowania lub dostarczenia produktów na czas, co nie było na etapie tworzenia planów sprzedaży zgłaszane przez supply chain. W takim przypadku wyliczenie KPIsów w odniesieniu do sprzedaży wręcz demand plannerowi zaszkodzi.

Dlaczego więc nie liczyć accuracy w odniesieniu do zamówień (jeśli firma ma taką możliwość)?
Link do wypowiedziLink
Marcin Wąsikowski

Marcin Wąsikowski Trade & Marketing
Development Manager

Temat: MAPE/BIAS czy FA (Forecast acuracy)

u mnie dokładność to suma absolutnych błędów po subbrandach dzielona na total prognozy. Dlatego w moim przypadku lepiej mieć zawyżony forecast, wtedy mianownik jest wiekszy, i błąd mniejszy :)

ocenie podlega lag 3, czyli 3 miechy w przód bez bieżącego.
Poziom przyzwoitości to 75% (średnia z wszystkich rynków naszej firmy na świecie). Ja mam najczęściej około 85%. mój rekord to 92%, najgorzej 72%.

Wiec generalnie banalny ten sposób oceniania, nie taka sieczka jak AVON albo Oriflame czy Tchibo, gdzie prognoza jest pod każdy katalog i wielkość sprzedaży się uzależnia od strony na której jest produkt.
Link do wypowiedziLink
Łukasz Trafny

Łukasz Trafny Raw Material
Purchasing Analist
PPG EMEA

Temat: MAPE/BIAS czy FA (Forecast acuracy)

"Dlaczego więc nie liczyć accuracy w odniesieniu do zamówień (jeśli firma ma taką możliwość)?"

Adam - bywa z tym różnie:
1) nie zawsze jest taka możliwość ;] spotkałem się z systemem w którym kiedy dane zamówienie w systemie nie zostawało zrealizowane na czas - logowało się ponownie do systemu - i tak aż do momentu usunięcia zamówienia prze klienta - lub całkowitej realizacji - wiec samo przez się wróży to nie lada problem przy rozliczaniu demand plannera

2)wycofanie zamówienia przez klienta, wąskie gardła np w magazynach (efekt dopychania sprzedaży pod koniec miesiąca) na który to nie zawsze demand planner ma możliwość reakcji

3) wydaje mi się, że tak czy owak najważniejsza dla firmy jest dokonana sprzedaż - ponieważ to stricte od niej zależny jest wynik finansowy spółki - wiec jest to porostu licznienie accuracy dla bardziej realnej zmiennej, która uwzględnia całość procesów zachodzących w łańcuchu.

Pozdrawiam
Lukasz
Link do wypowiedziLink

konto usunięte

Temat: MAPE/BIAS czy FA (Forecast acuracy)

Łukasz dzięki za komentarz.

Od razu widać, że prezentujemy perspektywy z dwóch różnych branż, więc nic dziwnego, że osiągamy dość odmienne wnioski.

Z pierwszym punktem twojej argumentacji nie będę się spierał. W przypadku systemów, w które wbudowana jest opisana przez Ciebie logika nie można wykorzystać zamówień.

Natomiast co do punktów drugiego i trzeciego to szczerze mówiąc nie bardzo wiem dlaczego uważasz, że przemawiają za nie stosowaniem zamówień jako punktu odniesienia dla dokładności prognozy.

Ad2.
Wycofanie zamówienia przez klienta nie wpływa na błąd prognozy, z którego rozliczany jest demand planner jeśli przy wyliczaniu tego błedu są brane pod uwagę wszystkie złożone zamówienia (bez względu na to co stało się z nimi później). Tylko taki sposób liczenia accuracy w odniesieniu do zamówień jest według mnie sensowny.
Oczywiście trzeba tutaj wziąć poprawke, że wycofane zamówienia wpływają wciąż na inne KPIsy demand plannera (chociażby inventory jeśli jest z tego rozliczany). Niemniej to trochę oddzielny temat.
Druga kwestia, którą poruszyłeś, czyli brak możliwości dostarczenia wcześniej zaprognozowanej i zaplanowanej ilości przez stronę podażową to według mnie w większości przypadków kwestia współpracy. Jeśli wielkość popytu zbiega się z wcześniej przygotowanym planem, a niemożność dostarczenia towaru nie jest powodowana przeze nieprzewidywalne czynniki, to poporostu supply planner zawalił. W takim przypadku dla demand plannera jest nawet lepiej być rozliczanym z odchyłek względem zamówień a nie względem sprzedaży (zrealizowanych zamówień).

Ad.3
Dlaczego twierdzisz, że sprzedaż jest bardziej realną zmienną? Dlatego, że została potwierdzona przepływem środków finansowych?
Sprzedaż jest oczywiście bardzo ważna. Niemniej pParadoksalnie liczenie dokładności względem złożonych zamówień może chronić sprzedaż. Dzieje się tak poniważ automatycznie uwzględniane są wtedy efekty braków, więc łatwiej ich uniknąć w przyszłości.

Moje zdanie opiera się jednak przede wszystkim na doświadczeniu z branży FMCG w sektorze B2C. Oczywiście jeśli wytłumaczysz mi dlaczego w przemyśle lekkim to dam się przekonać ;]

--
Pozdrawiam
Adam Sobolewski
VBAdventure Blog
Link do wypowiedziLink
Łukasz Trafny

Łukasz Trafny Raw Material
Purchasing Analist
PPG EMEA

Temat: MAPE/BIAS czy FA (Forecast acuracy)

Adam

AD2 - w zamyśle był dużo płytszy niż myślałeś, pisząc o wycofanych zamówieniach miałem w pamięci średnio miły błąd obsługi klienta która zamiast wproawdzc zamówienie na ilosc X wpisal na X dodając kilka zer - popyt / orders -poszybował w górę - i zgadnij kto miał prze to kłopoty ? ;) skutki wiadome - nie mniej jednak - masz rację najbardziej sensowny obraz popytu będzie widoczny poprzez wprowadzone a nie zrealizowane zamówienia.

AD3 - to takie spojrzenie z czysto finansowego punktu widzenia, nie mówiłem, ze jest dobre czy nie - po prostu... jest lub bywa

wracając do wątku głównego ponownie:
W zależności od firmy ja osobiście spotkałem sie z kilkoma kombinacjami KPI - 1) target na % realizację zamówień na czas - KPI mierzone przez udział "on time" w totalu złożonych zamówień w danym okresie czasu
2) target na % realizację Sales Forecastu - KPI mierzone przez udział zrealizowanej (zapewnionej przez plannera)sprzedaży w stosunku do forecastu ze sprzedaży.

Wydaje mi sie, że uczciwie będzie powiedzieć, że demand planner powinien być rozliczany za to na co ma wpływ - i tu - w kompetencjach cała rozbieżność - jeśli demand planner ma za zadanie estymować popyt - rozliczanie go za dokonaną sprzedaż, która może być ograniczona przez szereg możliwości produkcyjno logistycznych niezależnych od plannera jest średnio sensowne.
Jeśli demand planenr oprócz prognozowania popytu zajmuje się planowaniem produkcji mając na nią realny wpływ można spróbować go rozliczać względem stopnia realizacji forecastu - ilości zrealizowanych zamówień względem estymowanego popytu czy wielkością utraty sprzedaży w totalu forecastowanego popytu / estymowanej sprzedaży

Pozdrawiam
Lukasz
Link do wypowiedziLink

konto usunięte

Temat: MAPE/BIAS czy FA (Forecast acuracy)

Lukasz,

Ad2. Natomiast ja rowniez pamietam podobna sytuacje. Z ta tylko roznica, ze w naszym przypadku "klopoty" poszly w druga strone. W tego typu wtopach chodzi chyba o to kto pierwszy zauwazy i kto ma wieksza sile przebicia w danej organizacji ;]

Natomiast co do watku tej dyskysji to rzeczywiscie chyba najrozasadniejszym jest stwierdzenie, ze kwestie stosowanych miar zaleza od zakresu obowiazkow. Natomiast te roznia sie bardzo miedzy poszczegolnymi firmami. Kieruje nas to jednak bardziej do tematu - Jaki jest (powinien byc) zakres obowiazkow demand plannera

W temacie samych KPIsow bardziej nurtuje mnie obecnie kwestia wyznaczania celow na przyszly rok.

Moze ktos dluzej pracujacy "w branzy" moglby podzielic sie swoimi refleksjami do jakiego stopnia da sie poprawiac wyniki na danej kategorii produktow lub na danym rynku?

--
Pozdrawiam
Adam Sobolewski
VBAdventure Blog
Link do wypowiedziLink

konto usunięte

Temat: MAPE/BIAS czy FA (Forecast acuracy)

Adam Sobolewski:
Moze ktos dluzej pracujacy "w branzy" moglby podzielic sie swoimi refleksjami do jakiego stopnia da sie poprawiac wyniki na danej kategorii produktow lub na danym rynku?

Na http://demand-planning.com pojawił się ostatnio wpis na ten temat - 2012 Forecasting Performance Objectives.

Krótko i treściwie. Moim zdaniem warto przeczytać.

--
Adam Sobolewski
VBAdventure BlogAdam Sobolewski edytował(a) ten post dnia 27.12.11 o godzinie 21:11
Link do wypowiedziLink

konto usunięte

Temat: MAPE/BIAS czy FA (Forecast acuracy)

Odświeżając trochę temat chciałbym wszystkim zainteresowanym pokazać bardzo ciekawy wątek na Linked In - How do you calculate forecast accuracy at Item level... Moreover, what level of accuracy can be considered good for you?

Według mnie najbardziej wartościową wypowiedzią z tego wątku był post Charles Chase'a, którego część pozwolę sobie zacytować poniżej.

However, there has been a lot of research conducted over the past several years by companies like Gartner and Aberdeen who have found that best in class companies have a MAPE of 70%> not at the top levels, but at the lower item levels. We have validated that research through our SAS customers who generally have a forecast error (MAPE) at the aggregate levels of anywhere between 50%-60% on average. We are able to improve that MAPE (on average) by between 10%-20% using analytics at the lower item levels.



In summary, most companies don’t even track forecast accuracy, others only track it at the aggregate level, and only a handful of companies are applying FVA. Furthermore, judgmental bias is one of the key sources of forecast error across all companies and industries globally. Finally, those companies who do introduce forecast performance metrics usually set the accuracy targets too high on the initial implementation setting themselves up for failure.



Remember, demand management is 60% process, 30% analytics, and 10% enabling technology. Unfortunately, you can’t do the first 90% without the 10% enabling technology because the challenges are too big. Subsequently, most companies focus on the 60% process (first), then on the 10% enabling technology leaving out the analytics. Also, the process has to be aligned with the value to the company. Most demand management processes are not aligned with real value making the process less effective.


--
Adam Sobolewski
VBAdventure BlogAdam Sobolewski edytował(a) ten post dnia 25.02.12 o godzinie 11:08
Link do wypowiedziLink
Wojciech Blicharski

Wojciech Blicharski Planista - Analityk

Temat: MAPE/BIAS czy FA (Forecast acuracy)

O czym mówi tracking signal ?
Spotkaliście się z taką statystyką.
Z tego co mi się udało wywnioskować to jest to (suma błądów prognozy)/(średni bezwględny bład prognozy tzw MAD).
Link do wypowiedziLink

konto usunięte

Temat: MAPE/BIAS czy FA (Forecast acuracy)

Wojciech,

Tracking Signal to miara sprawdzająca czy w prognozie nie występują systematyczne odchylenia skutkujące ciągłym niedoszacowaniem lub przeszacowaniem prognozowanych wartości.

W zasadzie służy do tego samego co Forecast Bias ale ma trochę bardziej obiektywne podstawy statystyczne wywodzące się z zakresu Statistical Process Control. W skrócie można podsumować obie miary tak:

Bias
* (suma forecastu / suma demandu) - 1
* intuicyjna interpretacja, wyrażony procentowo mówi o ile w danym okresie przeszacowano lub niedoszacowano prognozowane wartości
* nie posiada obiektywnych wartości progowych, w każdej firmie trzeba ustalić ramki, w których bias jest wciąż akceptowalny

Tracking Signal
* suma błędów forecastu / średni bezwględny błąd prognozy
* nieintuicyjna interpretacja, ale za to bardziej obiektywna, bo opierająca się na założeniu, iż błędy powinny być równomiernie dodatnie jak i ujemne, a sumarycznie nie przekraczać wartości trzech odchyleń standardowych błędu
* ponieważ jedno odchylenie standardowe wartości błędu prognozy = 1.25 MAD to zwyczajową wartością alarmową Trackign Signal jest 3.75

Z mojego doświadczenia wynika, że TS sprawdza się nawet w wykrywaniu bardzo niewielkich odchyleń, które jednak wykazują dużą systematyczność. Przy analizowaniu wyłącznie Biasu można nie zauważyć pewnych systematycznych błędów ze względu na ich niewielką wielkość procentową.

Wrzuciłem na DropBoxa przykład pokazujący jak się wylicza obie miary i jakie mogą występować między nimi zależności - Tracking Singla & Forecast Bias. Jak chcesz dowiedzieć się więcej to przejrzyj prezentację Tracking Signal. A Measure of Forecast Accuracy

--
Adam Sobolewski
VBAdventure BlogAdam Sobolewski edytował(a) ten post dnia 25.03.12 o godzinie 23:38
Link do wypowiedziLink
Wojciech Blicharski

Wojciech Blicharski Planista - Analityk

Temat: MAPE/BIAS czy FA (Forecast acuracy)

W sobotę znalazłem ten sam power point do którego wysłałeś linka. :)

Wielkie dzięki za pomoc.

Zastanowię się jutro jeszcze jak odnieść tą miarę do każdego z SKU z osobna. Policzenie tego dla 700 SKU może być nieco kłopotliwe.
Link do wypowiedziLink
« Wróć do tematów
Odpowiedz

Podobne tematy


Następna dyskusja:

Guardian: UK Poles attack D...




Wyślij zaproszenie do
Anuluj