Добрый день! Очень хочу услышать ваше мнение.

Есть OLTP на mssql 2016. Нужно сделать хранилище. объем несколько десятков ТБ с возможностью роста (перспектива)

Есть 2 варианта: 1. сделать на mssql columstore или на экзотике. (Вертика, кликхаус, Impala)

mssql
Плюсы
есть железо и админы и стабильность
Минусы: боссы хотят:
чтобы было современно =колоночную (mssql columstore)
чтобы было надолго. т.е. вариант сделать на mssql, а если не взлетит потом переходить на другое не хотят.

Вопрос с финансами сильно не стоит, т.е . готовы платить

Большое спасибо за ответы.
Попробую ответить на все вопросы
Закзачик ретейлер

Значит хотят, продажи детальные, стоки по дням. вообщем классика. (рядом клиенты )

т.е. 3 большие таблицы которые должны дружить между собой.

Есть FTPS севрер, куда раз в стуки пишутся разные файлики. с продажами, стоками итд.
Данные могут меняться . тогда приходит новый файлик с исправленными данным

===
Разделит DHW и ADWH. не получится. стоки и продажи и нужны детальные для аналитики и занимают 70-75 места%
===
Разговор с терадатой и экзадатой был, по функционалу они похожи, но специалистов больше на oracle
===
Хранилище нужно всем и в магазинах и офисе.
только в магазинах достаточно "плоских" отчетов
А офис хочет растить своих "data scientist"

кириллk,

Забыл добавить у нас уже есть 2 сервера 1 ТБ оперативки и неограничено по дискам. правда не ssd а простые

[quot Критик]кириллkЕсть OLTP на mssql 2016
кириллkспециалистов больше на oracle

У нас на MS SQL. DWH весит в общей сложности около 30Тб с page и columnstore-компрессией.
Это все слои хранилища, включая кубы. Все довольно неплохо работает.


Честно говоря, я тоже склоняюсь, к mssql на columnstore
Если не секрет:
какое железо, есть ли кластер, сколько процесятся кубы?

DWH и ADWH

Есть предложение сделать

ODS = Datalake на hadoop, а data vault и витрины на greenplum
или
ODS = Datalake и data vault на hadoop , а витрины на greenplum

George NordicкириллkDWH и ADWH
Ого! За год определились с архитектурой!
George NordicПолучится у вас побить на DWH и ADWH:
Согласен с Критиком, greenplum - редкий у нас зверь, но спецы знакомые есть.
Чистый Hadoop - тоже непросто запустить, обычно в пром идут поддерживаемые форки.
Посмотрите сюда . Вот базовый пример по анализу корзин (Hadoop->Spark->Qlik).
Могу свести с топовыми ритейлерами - спросите как у них все устроено. Магнит, правда, Teradata использует, но есть и множество других компаний.

Вообще, мне очень часто в голову приходит простой вопрос: вот есть же множество крупных компаний - ритейл, банки.. почему они не создадут сообщество, где на Open Source (ну или OS + что-нибудь проприетарное) не создать базовое решение, которым все будут пользоваться? Кстати, Hadoop + Qlik может подобным примером стать. Лично я готов вложиться по мере сил в подобный пилотный проект.

С Уважением,
Георгий

Я правильно понимаю, что вы сейчас про унифицированную модель данных?

Бумбарашспецов можно брать с опытом в других мпп - Teradata, Vertica, etc. У нас на гринпламе большая часть рабочих вообще ни с каким мпп не работала, и нормально.

По поводу создать базовое решение на опенсурс - гринплам и так опенсурс. И уже насоздавали всяких кликахусов, тарантулов и т.п.

и получается кстати неплохо
https://events.yandex.ru/events/b-konf/20-sept-2018/
Яндекс.Облако: аналитическая платформа