Всем добрый день.

Возможно, кто-то сможет помочь разобраться с вопросом.

Суть: необходимо продумать "верхний уровень" архитектуры системы, обрабатывающей большие объёмы данных.
Данные поступают постоянно, их надо записывать, потом, по запросу, строить отчеты для пользователей в real time (пока только отчёты, в перспективе - будут и другие варианты обработки информации).

Есть мысль реализовать такой вариант:
1. Данные записываются в MongoDB. Выбор обусловлен тем, что Mongo обеспечивает очень хорошую скорость записи.
2. Данные перетаскиваются в PostgreSQL, структурируются, и там мы уже занимаемся обработкой - обращаемся с запросами и т.д.

Вопрос: может ли быть такая система жизнеспособной, или моя фантазия накрутила лишнего?
Или стоит не выпендриваться и работать только с PostgreSQL?
Или есть ещё какие-то, более правильные, варианты?

Заранее спасибо за ответы.

SERG1257Простой текстовый файл обеспечивает еще большую скорость записи, причем технология куда старше, гораздо проще и стало быть надежнее.
А как насчет работы с большим объёмом данных?
Что-то мне представляется, что "чудо распухнет и будет мешать ходить"...
Да и встаёт вопрос конвертации информации, которую мы будем получать, в текст.

Я прошу прощения за глупые вопросы, но предметная область для меня новая, только начала разбираться.

SERG1257Каким объемом данных? В каком месте.
На входе, в первую очередь, поэтому меня сильно интересует именно скорость записи. Объём - пока сложно точно сказать, порядок - от 100 ТБ в сутки, поступать будет неравномерно.

SERG1257А в MongoDB типа конвертировать не надо. Или из MongoDB в PostgreSQL тоже как нибудь само сконвертируется.
Логично )

Dimitry SibiryakovНу так не конвертируй, пиши в двоичные файлы.
Кстати, да, причем по ряду причин этот вариант может быть удобным. Спасибо.