Всем привет! Я с big data проекты в глаза не видел, но чисто лично для себя интересно выяснить вот такую архитектуру.

Есть машины они генерят кучу данных, к примеру за неделю 100гб текстовых данных, все эти данные классифицируются на определенные метки и записываются в БД (соотношение для этого хранилища insert / select / delete примерно такой 10% / 85% / 5%. ). Далее некии модули получают эти данные и обробатывают складывают в реляционную БД.

Для хранения всех жтих файлов хочу выбрать hbase. То есть машина генерит файл , демоны грузят эти данные в hbase и уже приложения работают с hbase.

Или просто все это дело в MongoDb настроить replica set и не париться.

Кто как бы поступил? Очень интересно.

Дедушка,

Да это имеет место, но меня не устраивает скорость записи в таблицу, я конечно не пакетной записью пользовался, а простыми инсертами.

Конечно можно использовать postgresql а будет ли он справляться с селектами по инстансу размером в 200-300 тб?

Скорость выборки тут приоритетней.

Критик,

Пардон, все верно 2-3 Тб, опечатался.
Я не знаю по ценам по интерпрайс решениям, но ibm блюмиксы по 3тб и 48 ядер есть.

Решение ETL и после выборка по этим данным конечно же мне больше нравится чем пользование HDP и в ту степь, но вот я может быть с постгресом что то не так делаю, все пишется медленно.

alexzf,

На локальном сервере в 8 ядер и 32ram ssd