dies iraeПодскажите, плиз:

Дано:
Ритейл, штук 300 серверов, на каждом MySql база идентичной структуры.
Суммарный объём данных сейчас: 300Гб, закладываем десятикратный рост, пусть будет 3Тб максимум

Требуется:
построить reporting систему, в дальнейшем к ней прикрутить olap.
Заказчик склоняется к open source решениям, в частности Hadoop + Hive
Опыта с big data пока нет, поэтому хотелось бы услышать мнение специалистов:
Стоит оно того или лучше выбрать вариант с ETL + DWH, например MSSQL + SSIS +MSAS? или порекомендуйте сравнимую open-source связку...

Слишком много вопросов:
* нужен ли доступ в реальном времегт? если да - Хадуп сразу мимо
* какова глубина анализа - до категории? до SKU?
* какие требования у пользователей к доступам - через excel (SAS), веб портал - Tableau/Qlik/много их...

И ETL + DWH вам в любом случае придётся делать, просто могут быть вариант: сырые данные в HDFS + агрегаты в БД, либо всё в БД.
как вариант - действительно посмотрите в сторону aws redshift или google big table

dies irae,

автордо SKU
Если до SKU, то OLAP едва ли поможет. Вам или предрасчитывать агрегаты что будет занимать 1) много времени на расчёт куба 2)много памяти

авторда, посмотрю, спасибо. А чем оно лучше hadoop-а?

ИМХО на любую систему надо смотреть с точки зрения простоты поддержки и использования.

Что такое hadoop (если примитивно)? Это связка распределённой файловой системы + кластер машин на которых параллельно выполняются написанные вами обработчики. На нижнем уровне это Map и Reduce на java, в лучшем случае - Hive (надстройка над hadoop, позволяет делать sql запросы). Поэтому с т.з. простоты администрирования: у вас есть люди, знающие как создавать и настраивать кластер hadoop? С точки зрения пользователя: есть люди, знающие java как минимум? То есть с хадупом достаточно большие накладные расходы и как писали коллеги для 3 ТБ его использовать неразумно - их и в оперативку поместить можно )

В чем плюсы aws redshift и google big table. Это сервис, его можно включить хоть сейчас и протестировать (благо есть триал). Они созданы на парадигме MPP и для обработки используют знакомый любому аналитику SQL. Если быть совсем точным big table - на основе MySQL, redshift - на основе postgresql. Железо и основные настройки администрируются за вас - меньше потребность в специалистах. Ну и плюс расширять проще - достаточно увеличить кол-во машин в кластере. В качестве бонуса, у обеих систем есть свои sql сервера, где можно хранить агрегаты, выгрузки для анализа и т.д.

Минусы. Всё удовольствие находится на европейских/американских серверах. 1)Соответственно продукты анализировать можно, а вот клиентов - тоже можно, но нужно чистить данные (анонимизация и т.д.) 2)Ценник в долларах, соответственно курсовые риски 3)Нужен стабильный интернет канал 4)Нужно считать расходы (например за вас будут брать деньги за исходящий с сервера трафик).

Yo.!,

очень бегло посмотрел Impala, насколько успел понять достойная замена hive. Суть не в этом, а в том найти специалистов под хадуп можно, но дорого.

Замечание насчёт стоимости лицензий правильное, но есть ведь и бесплатный аналоги, например Postgres. Её вполне можно использовать как аналитическую ДБ (если использовать партиционирование, а в 9.6 ещё и параллельные запросы появились). На объёмах 1-2 ТБ будет работать.