Гость
Целевая тема:
Создать новую тему:
Автор:
Форумы / NoSQL, Big Data [игнор отключен] [закрыт для гостей] / Выбор СУБД для хранения болшого кол-ва XML / 11 сообщений из 11, страница 1 из 1
30.05.2017, 13:25
    #39462265
Gemorroj
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Выбор СУБД для хранения болшого кол-ва XML
Нужно хранить очень много xml данных (размер от 3кб до 2мб, avg 40 кб).
Максимально до 35 миллиардов записей всего в схеме. В день по 1 млн записей.
В схему будет идти постоянный инсерт и редкая выборка по id.

Нужно определиться где хранить данные.
Удобно было бы в postgres, т.к. остальные данные тоже в нем + понятно как масштабировать/реплицировать/шардировать/секционировать. Но не уверен на счет регрессии в производительности на таком типе данных и таких объемах.
Как альтернативу рассматриваю MongoDB+GridFS.

Был бы признателен за совет в какую сторону смотреть, может кто-нибудь поделится опытом работы со схожими условиями.
...
Рейтинг: 0 / 0
30.05.2017, 13:42
    #39462277
Gemorroj
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Выбор СУБД для хранения болшого кол-ва XML
в нулях запутался)
в день 10 млн инсертов,
всего 3.6 млрд записей.
...
Рейтинг: 0 / 0
30.05.2017, 13:47
    #39462284
Dimitry Sibiryakov
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Выбор СУБД для хранения болшого кол-ва XML
GemorrojВ схему будет идти постоянный инсерт и редкая выборка по id.
По-моему, это отличный случай для простой файловой системы. А DFS, например, ещё и шардинг с репликацией обеспечит.
...
Рейтинг: 0 / 0
30.05.2017, 15:00
    #39462382
Дедушка
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Выбор СУБД для хранения болшого кол-ва XML
Gemorroj,

- действительно нужно хранить именно XML?
- действительно нужно "В схему будет идти постоянный инсерт" или можно инсертить "отдельно"?
...
Рейтинг: 0 / 0
30.05.2017, 15:19
    #39462403
Gemorroj
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Выбор СУБД для хранения болшого кол-ва XML
Дедушка,

- да, именно xml. это исходные подписанные данные. распаршенные данные из этих xml хранятся отдельно.
- имеется ввиду 2 схемы, в 1 инсерт, а во вторую копирование из 1 по расписанию?
...
Рейтинг: 0 / 0
30.05.2017, 15:30
    #39462420
DPH3
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Выбор СУБД для хранения болшого кол-ва XML
Gemorroj,

А в чем проблема с постгресом? Дать достаточно диска для хранения, все равно все данные будут хранится в TOASTе, а поиск будет по ключам. Так что не вижу особых проблем на такой объем.
Да и вообще, можно поставить эксперимент с каким-нибудь терабайтником, это будет точнее всего.
...
Рейтинг: 0 / 0
30.05.2017, 15:52
    #39462446
Gemorroj
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Выбор СУБД для хранения болшого кол-ва XML
DPH3,

К сожалению, нет тестового стенда для полноценного эксперимента.
В тестах на 2 млн записей монга и постгрес показывают одинаково хорошие результаты.
Но экстраполировать их на 3 млрд было бы неверным.
---
"в чем проблема с постгресом?" - нет опыта работы с такими объемами, хочу 7 раз отмерять.
...
Рейтинг: 0 / 0
30.05.2017, 17:44
    #39462586
Критик
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Выбор СУБД для хранения болшого кол-ва XML
ну, 100 млн-то можете протестировать?
...
Рейтинг: 0 / 0
30.05.2017, 22:41
    #39462701
Yo.!
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Выбор СУБД для хранения болшого кол-ва XML
GemorrojВ схему будет идти постоянный инсерт и редкая выборка по id.

hadoop+hbase. две колонки, одна id, другая сам xml. может даже разумней по пути во что-то типа avro конвертить
...
Рейтинг: 0 / 0
01.06.2017, 11:37
    #39463686
Gemorroj
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Выбор СУБД для хранения болшого кол-ва XML
Критик,

100 млн тоже без каких-либо видимых проблем.
...
Рейтинг: 0 / 0
22.06.2017, 07:29
    #39475919
chernolyas
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Выбор СУБД для хранения болшого кол-ва XML
...
Рейтинг: 0 / 0
Форумы / NoSQL, Big Data [игнор отключен] [закрыт для гостей] / Выбор СУБД для хранения болшого кол-ва XML / 11 сообщений из 11, страница 1 из 1
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]