Здравствуйте!

Стоит задача разработать модель прогнозирования продаж.

Механика отгрузок у компания такая, что через день отгружает продукцию по магазинам, при этом получает возвраты от не реализованных на полках. Продажа = Отгрузки - Возвраты.

Имеются исторические данные по SKU по месячно. Модель прогнозирования заключается в том, что по каждой SKU строятся разные регрессионные модели, определяется прогноз, расчет в ретроспективе, определения для каждой модели регрессии ошибку (например, коэффициент детерминации) и подбирается та модель, которая имеет наименьшую ошибку, следовательно, исходя из этого делается прогноз.

Прогноз делается от 1 до 12 месяцев.

Но есть но. Перед тем как запустить такой прогноз, необходимо нормализовать данные, то есть в какие то месяца есть вспышки или спады за счет акции, сезонности, новое SKU, SKU, которое прекращает выпуск. Это резкие приросты и спады значительно сдвигают прогноз. Во вложенном файле для примера, представил несколько условных данных по SKU. Для нормирования использовал три показателя "Медиана за три месяца", "Медиана за 5 месяцев" и " Скользящая средняя за 3 месяца". В excel-ом файле можно посмотреть прописанные формулы. Каждый показатель по своему сглаживает. Обратите внимание, при выборе какого либо SKU варианты сглаживания отличаются друг от друга. Затрудняюсь определить, какое сглаживание лучше использовать.

Возникает вопрос. Для данной ситуации, для данной механики отгрузок как более правильно сглаживать? Важно учесть, что какие то прогнозируемые месяцы не акционные, и не сезонные, а какие то - акционные и сезонные. Но там где акции, сезонность не возможно приблизительно спрогнозировать прирост. Если брать прирост с прошлого года, то не всегда может совпасть с эмпирическими данными. Рынок не предсказуемый.

Какой показатель лучше использовать для сглаживания, где потом будет производится прогноз? Как лучше написать (или дописать) формулу? Сглаживание должно быть такое, чтобы чтобы нужная информация не размылась.

По порядку

exp98ferzmikk, Чё надо прогнозироват? ценеу или объёмы? в шт или $ ? Продажи, Шт.
Непонятно другое: такие вопросы должны возникать в аналитическом отделе, а не у программиста.Я аналитик-программист. С экономическим образованием
Эффект акции надо отсеять предварительно. Недавно ввели подобное поле с привязкой SKU, времени и ТТ. Отображает в каком то анализируемом периоде SKU акционно или нет. То есть булевый тип. Достаточно ли это поле будет для анализа с целью отсеивания? Или нужно будет еще какое нибудь вспомогательное поле?
Месячные точки - маловато будет, хотя бы по неделям. У меня были ежедневные.Возможно сделать по недельно. А возможно по дням, только отгрузки у нас несколько раз в неделю, например, вт, чт, сб. А бывает на какое, что на какой то неделе в какой то день отгрузки не было. Или на какую то неделю в пн была отгрузка. Такие логические нюансы тоже надо учесть, иначе будут сдвиги в прогнозах.
В продажах о-о-очень часто существует сезонность . Сезонность в продажах выделяется типовым методом
-переводим в проценты по годам (пустоты заполняем как-нить разумно)Как это проценты по годам?
Я не знаю, чем собственно вызвано требование, чтобы для каждого единицы свой сглаживатель. Можно кластеризовать магазины (т.е. схожесть) по %-му профилю ассортимента. Варианты кластеризации:
1. Вообще ТТ группируем по объемам продажах (включая конкурентов) для основной категории товаров.
2. А также для каждой ТТ привязывается список SKU (просто список, не важно сколько шт по каждому SKU), которые надо отгрузить.
3. Тип (формат) ТТ
4. Автозаказ или нетПодробнее в одном посте невозможно. Опять же, неизвестно взаимодействие с магазами, мож это ваши филиалы, тогда обычно всё планируется.Магазины не наши, мы поставляем.
Неплохо ещё и определиться с подходом: смотрим на магаз как на чёрный ящик, смотрим на клиентскую базу как "вытягиватель" спроса для магазов и т.п. В связи с последним общий экономич прогноз для населения страны не помешает (например кризисы 1999, 2009, 2014-17) - заглянуть в доходы-расходы по регионам Госстата, в темпы убыли населения и т.п. если уж совсем долгосрочно.Как вариант возможно, но вопрос в другом, скорость сбора данных, качество обработки, полнота, достоверность и т.д.


В идеале хотелось бы реализовать прогноз как нейронную сеть. Но для начала надо разобраться с нормализацией данных.

exp98Забудьте вы все про нейронные сети!!! не в том месте хотите, начитались рекламы, панимаишь ли ...Если я хочу в начале нормализовать данные, потом для каждой записи построить разные варианты прогнозов с проверочными коэффициентами, потом подбирается тот прогноз с наименьшей ошибкой и аналогично для остальных записей, то это и есть нейронная сеть. Или я ошибаюсь?
- булевый тип, достаточно ли?
Я подразумевал отсеять объёмы, порождённые акцией, ане сами ску. Ну я и подразумеваю, что отсекаются объемы от акции.

Dima TСрок годности SKU какой? Если грузят три раза в неделю, то подозреваю что небольшой. ИМХО период усреднения надо меньше срока годности брать. Иначе проблема спрячется внутри усреднения.Основная категория товаров - 5 дней

exp98Вот кстати, если ряд делать по дням, то пофиг ск. раз в неделю отгрузки. Тем более, что сглаживание умеет интерполировать, если взять достаточную окрестность. И да, её стоит брать НЕ кратной неделе: 11, 9 или 5 точек. Почему не кратной неделе?
А агрегировать рез-т по неделям.Думаю, по неделям будем достаточно
Но всё равно удельные характеристики полезно тоже смотреть: и кол-во поставок /недВы имете в виду знаменателе число 7?
и ср. объём за поставку.Чем полезен будет это показатель? Скажем, объемы поставок по SKU могут варьироваться.
Распределение по ценовым диапазонам тоже полезно.Тогда методика прогноза по шт и в рублях будет немного отличаться.

Dima TИМХО:
1. Надо добавить разрез магазинов и анализировать по каждому отдельно.Так то логичнее возможно. Если потом просуммировать, то объемы могут отличаться, если прогнозировать в более крупные агрегаты (например, по городам, по типам ТТ и т.д.)
Сделать рейтинг магазинов, вычислить те которые злоупотребляют возможностью вернуть просроченный товар.Для чего рейтинг? Для кластеризации?
2. Раз товар скоропортящийся, то учитывать дни недели: выходные и праздники, а также дни поставки, т.е. на сколько дней запас создается. Как понимаю это продукты питания, а по выходным и праздникам люди дома больше времени проводят, т.е. на выходные покупают больше.Бывает ситуация наоборот, смотря где находится ТТ в спальном раойне или там где бизнес центры. Но это характерно для расчета автозаказа. А тут прогнозируется на недели, на месяцы вперед.

exp98Синяя линия - прогнозная (тут секрет в том, что прогноз уточняется по мере продаж)Уточняется по мере продаж это как?

Придется потратить не мало времени на то, чтобы вспомнить курс статистики, методы, статистические показатели, почитать и по экспериментировать, учесть нюансы продукта, рынка, схема отгрузок и т. д. И понять какие поля необходимы и каким должен быть алгоритм для прогнозирования. А потом все запрограммировать и при этом в меню можно выбирать некие параметры. У каждой компании свои нюансы для прогнозирования. Понятно, что это дело не простое и длительное по времени: надо учесть не мало факторов, написать сложную математическую модель, максимально оцифрованная от конкретной практической ситуации, и со временем дополняющая, и важно еще учесть всевозможные риски.

Для разработки модели следует определиться с необходимыми данными. Выгружаются данные как во вложенном файле. Там описана структура полей.

По поводу каждого поля.

1. Поля как признаки "ТТ" и "SKU", "Дата" по умолчанию нужны.

Надо учесть, что какие то SKU прекращают свой выпуск, какие появляются. Но у новой SKU историчности нету. Возможно, брать историчность той SKU, которая похожа по физическим свойствам на новое SKU. Но не факт, что будет отгружаться как подобная, даже если поддерживать промо о новинке.

А если новая ТТ?!! То тут сложнее. Подбирать ту ТТ по физическим параметрам нет смысла. Магазин магазину рознь, и не важно сеть ли это.

2. Поле как признак"Акционный объем" хотим внедрить. Если отсеивать акционные объемы, то можно не использовать сглаживание против акционных объемов. Вопрос тут в другом, могут остаться значительные непонятные приросты, пустоты. То есть акционные объемы осекаются, и будет пусто, будто не было продаж. Это надо как то правильно учесть. Или в новом поле какую то логику прошить.

3. Поля как признаки"Тип ТТ", "Категория Объема" "Асортиментный список" как дополнительные для кластеризации. Единственно нужно определить порядок и сочетание кластеризации. Потом агрегация, например, если без кластера,то прогноз расчитывается по SKU и ТТ, потом суммируется по клиентам, по городам. Если с кластерами, то прогноз в каком то сильном кластере, потом суммируется по городам городам.

Учел бы еще такой фактор как значимость и/или стабильность данных. То есть для значимости это ABC-анализ, а стабильность это XYZ-анализ. По каждому кластеру делать прогноз.

А также убедиться что поле может иметь значительное различие между кластерами или нет. Например, если делать прогноз не по ТТ, а по ассортиментному списку, то может получиться так, что прогнозы между группами сильно отличаются или не сильно. Для того чтобы определить дает ли значительное различие от такого поля достаточно сравнить суммы прогнозируемых объемов? Хотя мне вспоминается из курса статистики t-различие.

4. Поле как мера "Продажи шт" по умолчанию нужно. Что касается включить меры "Отгрузки шт" и "Возвраты шт" можно попробовать. Только целесообразно ли.

exp98ferzmikk, я магией не занимаюсь (хотя и интересуюсь тоже). Вообще я пока рассуждал по сетевым магазам, теперь думаю, что здесь ситуация другая.Есть и сетевые магазины-клиенты
Как понял я, из входных данных имеем 2 временных ряда: поставки и отгрузки. Или продажи тоже на входе? Изначально брал Продажи. Вот думаю может лучше Отгрузки и возвраты
Кстати не забыть бы про запаздывание учёта. Дата - это дата события или дата внесения в БД?Дата события