Так, пятница, можно и отвлечься.

Дата Валют был, BigData хоть еще держится, но Gartner говорит что на спад пошла, DataLake - ну, это вечное.

Братцы, смотрите что нашел - новый термин "Тёмные данные" :
TAdviserВ 2017 году Deloitte внесла "тёмную аналитику" в число перспективных технологий в своем восьмом ежегодном отчете «Технологические тренды 2017: Подвижное предприятие». По некоторым оценкам, на начало 2017 года около 80% данных на предприятии подпадают под категорию «темных»...К «темным» можно отнести и реляционные данные, извлекаемые из баз данных SQL — они поддаются тщательному анализу, но их не всегда можно использовать в качестве подспорья в операционной деятельности компании. Ещё меньше пользы от информации, которая скрывается в сообщениях электронной почты, корпоративных договорах, материалах презентаций и других «сырых» текстовых документах. Фото-, аудио- и видеофайлы — другой массив данных, который может служить ценным источником информации, и, следовательно, идей для бизнеса компании.
На начало 2017 года нельзя сказать, что добыча ценного материала из «темных» данных поставлена на поток. Такой деятельностью занимаются высококвалифицированные специалисты в области нейронных сетей и других технологий, которые позволяют анализировать выражения лиц, мимику и реакцию пользователей на те или иные объекты по видео и фото. Эффективный анализ изображения мог бы вооружить ритейлеров мощным средством прогнозирования новых трендов в моде и, соответственно, своевременно обновлять линейки одежды.Так что быстро заставляйте сейлов с умным видом и его произносить. Что б впереди планеты всей.

Так. Темные данные есть, значит, должны и печеньки быть...

С Уважением,
Георгий

В одном темном-темном хранилище были темные-темные данный. Но однажды рука темного-темного аналитика натравила на них блокчейн, мэшин лёарнинг и нейронную сеть для получения светлых данных. Однако нейросеть быстро обучилась и зашифровала все данные, а потом начала шантажировать, требуя новый быстрый сервер для своих темных-темных дел. Путем долгих переговоров ей была предоставлена новая машину, на которую она перебралась, освободив старое хранилище. Для безопасности новое хранилище было отключено от корпоративной сети. Так и живет в недрах темной-темной компании сервер с темной-темной душой...

javajdbc...а оказалось что они никому не нужны...

Дорогие модераторы, пожалуйста, не переносите ветку в ПТ. Там она погибнет, а здесь предлагаю обсудить задачи, которые теоретически могут быть решены. Это ж первая ласточка, все равно через год или два это все всплывет. Так что переведем ветку в конструктивное русло. И тут есть 2 аспекта, так как непонятно, что именно Deloitte подразумевает под "темными данными". Есть 2 аспекта:
* Это техническая информация, которая генерируется автоматически: теги, геокоординаты, время добавления / изменения, логи, ошибки дисков и тому подобное.

ну, тут задачи скорее на соблюдение неких правил (например, привязка геокоординат или почему в данном случае пришла информация с другими координатами - кстати, я такую задачу решал), или предиктивная аналитика по отказоустойчивости, нагрузке и т.п.

* Это непосредственно данные, которые лежат в хранилище (или нескольких источниках?). Так вот тут задача больше абстрактная, так как мы не понимаем, что за это конкретно за данные и какие вообще задачи можно решить. Но идея проста - "у вас все больше данных (а это так), поэтому научитесь извлекать из них ценность (спасибо, а какую ценность можно извлечь?)"

Так вот, давайте и поговорим, а какую ценность можно извлечь :)

А то будет как javajdbc говоритсказывает :)

С Уважением,
Георгий.

Andy_OLAP, я еще дополню. Например, прогнозирование. Ну, извлекли мы данные за 2007, 2008, 2009, построили прогноз.... Просто красота. :) Или вот еще - один очень крупный и умный ритейлер хочет вести прогнозирование по всем SKU за 3 года. Отличная задача, но движение по SKU 20%-30% Y2Y. И что ты напрогнозируешь по SKU? Когда занимался datamining, это самая большая проблема была - не предложишь ты нормально прогнозирование, не приведя в порядок категорийный менеджмент. Хотя DM может помочь выявить SKU со схожими потребительскими свойствами, но это лишь помочь в наведении порядка. И только потом можно прогноз строить в разрезе категорий со схожими потребительскими свойствами. Увы, не сделает все за тебя черный ящик, темные там данные или светлее некуда.

С Уважением,
Георгий

Блин, да что ж такое.
Jurii ;) Взять исходные данные за 3 года по SKU и по дням - вполне логично.Прекрасно, возьмите данные за 2007, 2008 и 2009 год и постройте прогноз. Посмеемся.
JuriiУспешные проекты по прогнозированию в разрезе SKU имеют место в России...Согласен. У кого очень немного SKU или они сильно разные, со слабой корреляцией между собой в плане каннибализации - FMCG производители, например.
JuriiПрогноз будет делаться не на 3 года, это тоже понятно, обычно прогнозируют недель на 10 вперед. Для новых SKU
можно делать настройку, чтобы их прогноз строился на основе другого старого SKU или группы номенклатуры.У крупных ритейлеров обычно много магазинов и большой ассортимент SKU, прогнозировать вручную - очень трудоемко.Да?? "А ребята-то не знают" :)
JuriiДетализация прогноза нужна, поскольку заказы надо делать по каждому SKU
Юр, это не так делается немного. Давай расскажу.

Дело в том, что нельзя вести прогнозирование на уровне SKU. Для вас 1 кг сахарного песка от ООО "Манечка" и ООО "Танечка" - это одно и то же. А для системы - два абсолютно разных товара, с разными сроками и квантами поставки и себестоимостью. Следовательно, товары необходимо объединить в группы со схожими потребительскими свойствами: "Сахар", фасовка "1кг", "Песок", "средний ценовой диапазон".
При этом:
* Потребление рафинированного сахара летом будет снижаться (его берут для офисов, летом снижает деловая активность - снижается потребление рафинада)
* В июле-сентябре вырастает потребление сахарного песка, причем популярностью пользуется фасовка в 2-5-10 кг. (народ варит варенье / компоты)
* Вместо упаковки 2 кг народ готов взять 2х1кг, если разница несущественна
* Вместо рафинада, возможно, потребитель готов купить сахарный песок. Но не готов вместо песка купить рафинад. Особенно в сезон.
* Не везде потребитель готов переплачивать или покупать дорогой сахарный песок, например, тростниковый. Однако, если его включить в матрицу в правильных магазинах, он займет категорию AY, а то и AX. Хотя обычно - это больше BY (конкуренция не дает ему стать A, хотя спрос на него стабилен). Хотя при этом он будет отъедать долю у рафинада (каннибализация), но маржа покроет это с лихвой.

Кроме сезонности, каннибализации и совместно потребляемых товаров (желатин в сезон, например, или крышки для консервирования), важно учесть погоду (теплее лето - лучше урожай - больше потребление), курс на нефть / доллар / экономическую ситуацию в стране (чем хуже ситуация, тем больше людей занимаются приусадебным хозяйством, тем выше потребление сахарного песка в сезон), ситуацию на рынке (требования / сертификация / урожай / кол-во производителей), и другие факторы. Например, рост цен на водку ведет к увеличению самогоноварения и росту спроса на сахар.

И это-только сахар песок. Для других категорий, кроме сезонности, надо еще учитывать календарь - постоянные (Новый год, Рождество, 14 и 23 февраля, 8 марта) и плавающие праздники (пост, ураза байрам, курбан байрам, последняя пятница июля и т.п.), а также прочие день строителя и день нефтяника.

Поэтому нельзя получить хорошую прогнозную модель, не приведя в порядок категорийный менеджмент. Только имея группировку SKU со схожими потребительскими свойствами. А потом уже, внутри группы, КМ (категорийный менеджер может играться матрицей, добавляя / удаляя товары на уровне SKU и работая с поставщиками).

Ну и постоянная обратная связь и подстройка, разумеется. Динамическое изменение буфера, маркетинговые акции и из отслеживание...
JuriiЕсли ритейлер умный - то у него все получится, особенно если он возьмет дефолтный инструментПочему-то я не видел еще ни одного крупного ритейлера, который бы выбрал "default BI". С кем работаю - Х5, Магнит, Леруа, Лента, Детский Мир и прочие - почему-то выбирают именно Qlik. И, кстати, ведут ОЧЕНЬ большие проекты - коллеги с этого форума могут подтвердить. И MS BI - тоже очень-очень много. Дикси, Магнолия, и множество ритейлеров поменьше. Появляются проекты на SAP Hana - в том же Х5, например. А вот нахваливаемый вами - ни разу для анализа данных не видел. Хотя для задач бюджетирования - очень даже хорош.

С Уважением,
Георгий.