Alex_496exadata им продайтеДобрый вы... Могли и терадату предложить.

По сути - не все же данные будут в поколонке хранится. Т.е разделяйте DHW и ADWH. Все данные можно и на sql хранить. Не все же "десятки ТБ" для аналитики нужны. Т.е. храните все в реляционке, потом переливаете с упорядочиванием в стейдж, а оттуда - балком в поколонку (sql, Vertica, greenplum - у него код открыли, кстати). Если данные упорядочены в соответствии с тем, как они будут хранится в мрр, они должны довольно быстро залетать. Такое вот гибридное хранение. Кстати, в DB2 тоже все это анонсировали.

С Уважением,
Георгий

кириллkЗакзачик ретейлер
Значит хотят, продажи детальные, стоки по дням. вообщем классика. (рядом клиенты )
Не понял, а откуда клиенты у ритейлера? У них программа лояльности? Или это дистрибьютор?

Получится у вас побить на DWH и ADWH:

DWH будет хранить исторический данные из POS, на нем будет чековая аналитика, корзины и прогнозирование (результаты которого для удобства анализа также можно кидать в ADWH.
и ADWH будет для клиентской аналитики и ad-hoc запросов/отчетов.

Вести столько чеков в одной системе для чековой аналитики, анализа корзин и прогнозирования - бессмысленно для ритейлера с 30% движениям по SKU Y2Y, если там во весь рост не внедрен категорийный менеджмент. Т.е. данные анализы идут по потребительским свойствам товара, а не по SKU. А 1кг сахарного песка от ООО "Танечка" и ООО "Манечка" - это как раз разные SKU.

В общем, идите от бизнес-требований.

С Уважением,
Георгий.

кириллkDWH и ADWH
Ого! За год определились с архитектурой!
George NordicПолучится у вас побить на DWH и ADWH:
Согласен с Критиком, greenplum - редкий у нас зверь, но спецы знакомые есть.
Чистый Hadoop - тоже непросто запустить, обычно в пром идут поддерживаемые форки.
Посмотрите сюда . Вот базовый пример по анализу корзин (Hadoop->Spark->Qlik).
Могу свести с топовыми ритейлерами - спросите как у них все устроено. Магнит, правда, Teradata использует, но есть и множество других компаний.

Вообще, мне очень часто в голову приходит простой вопрос: вот есть же множество крупных компаний - ритейл, банки.. почему они не создадут сообщество, где на Open Source (ну или OS + что-нибудь проприетарное) не создать базовое решение, которым все будут пользоваться? Кстати, Hadoop + Qlik может подобным примером стать. Лично я готов вложиться по мере сил в подобный пилотный проект.

С Уважением,
Георгий

БумбарашИ уже насоздавали всяких кликахусов, тарантулов и т.п.Да я не про то, а про готовые профильные решения. Т.е. анализ чеков / корзин / поведенческих моделей, анализ акций, прогнозирование и т.д.

С Уважением,
Георгий

кириллkи получается кстати неплохоКстати да. Пока, конечно, заточено на веб-аналитику, но посмотрим-посмотрим. Хороший задел.
кириллkЯ правильно понимаю, что вы сейчас про унифицированную модель данных?Ну, чек и есть чек, какая там модель данных. Интересно, с чем их клеить - раз: погода / музыка в зале / акции / себестоимость. Во-вторых, категорийный менеджмент - выявление товаров со схожими потребительскими свойствами и прогнозирование в данных разрезах. Ну и упомянутые готовые решения, интересные множеству ритейлеров. Автозаказ, соблюдения SLA поставщиками, уровень сервиса... Да сотни и тысячи задач. А учитывая новые возможности по идентификации потребителя - ну дух захватывает.

С Уважением,
Георгий

tunknownНе делай другому того, чего не хочешь себе. Вы не против, чтобы вас тоже идентифицировали? Меня, и не только, всех давно идентифицировали. В 2010 я думал, этот процесс пойдет быстрее, но и так прогресс уже виден.

Выложил 2 свои презентации - 2010 и 2017 года .
В 2010 я думал, что покупателя будет легко идентифицировать по NFC, но легче оказалось по MAC - WiFi у многих включен по умолчанию.

Итак, презентация 2011 года "Точная розница" - это видение будущего, как можно идентифицировать клиента. Вступление взял из "Особого Мнения" Ф.К. Дика. А в 2017 - уже результаты проекта, когда в аэропорту собирается информация с телефонов, которые пытаются подключиться к WiFi - ловушкам (в данном случае инет не раздавался, просто были точки, которые фиксировали попытки подключения. См. со слайда 14 - до этого сплошной маркетинг. В итоге, датчики трекают перемещение посетителей по залу и гейт, через который они выходили (следовательно, и рейс). Накладываются чеки, и, если люди с рейса были в данном магазине у кассы когда произошла продажа, можно с большой долей вероятности утверждать, что чек пробит пассажиром с данного рейса. В любом случае, подобные технологии дают путь к идентицикации потребителя (особенно если дать ему доступ в инет) - оставим пока за рамками вопросы морального плана и персональных данных. Главное - технология уже есть и обкатывается. Таким образом, если объединить данные телеком-оператора (где был абонент), банка (где он потратил деньги) и ритейлера (что он купил в рамках данной транзакции) - мы можем получить полную корзину потребительских предпочтений и поведенческой модели потребителя. Ну, пока еще не "здравствуй, 1984", но синергия получается страшноватая.

А сейчас, уважаемый tunknown, у телекома и так есть данные, где и когда вы были, и какой и чей телефон был с Вами рядом, включая поход в ресторан и ночное время. Вопрос, как этой информацией распорядится. Но это уже моральный вопрос больше, вряд ли его стоит обсуждать в рамках данной дискуссии, лучше отдельной темой - он довольно животрепещущий, так как мы сами способствуем созданию подобных решений.

С Уважением,
Георгий