Temat: Prognozowanie
Rafał Zachara:
Czy na podstawie tej historii jestem w stanie powiedzieć dla których grup asortymentowych lub produktów prognozy będą mniej lub bardziej trafne ?
Gdyby ktoś potrafił przełożyć historię na prognozy to już miałby Nobla (i pewnie w odpowiednim czasie kupowałby tanio i sprzedawałby drogo wszystko co jest na rynku). Otóż oczywiście takie przełożenie nie istnieje, choć kierując się zasadą prognozy nieobciążonej teoretycznie powinno tak być. Istnieje jednak problem zbytniego dopasowania (overfit), który choć znany do wielu lat wciąż aktualny (żeby nie być gołosłownym: Econometrica Vol. 79 No. 1 - January 2011, str. 10 (art. "Learning...)). Paradoksalnie lepiej dopasowane w próbie modele często generują mniej trafne prognozy od modeli oszczędnych.
Jakich miar użyć ?
A to już inna kwestia. Miar dopasowania - w tym osławionego R2 - absolutnie NIE. Można się posłużyć predykcyjnymi testami stabilności, np. CUSUM i pochodnych. Można zrobić - jak ktoś słusznie zauważył - analizę prognoz wygasłych, ze szczególnym uwzględnieniem typu niedopasowania (wsp. Theila). Jeśli produkty są ze sobą powiązane (są wobec siebie substytucyjne i/lub komplementarne), to można sprawdzić stabilność modelu wielorównaniowego rozwinięciami w symulacjach. Ale to wszystko ma jedno ALE: sprawdzenie jest zawsze w próbie, co będzie poza nią...
Pozdrawiam
MB