powered by simpleCommunicator - 2.0.53     © 2025 Programmizd 02
Форумы / NoSQL, Big Data [игнор отключен] [закрыт для гостей] / Выбор СУБД для хранения болшого кол-ва XML
11 сообщений из 11, страница 1 из 1
Выбор СУБД для хранения болшого кол-ва XML
    #39462265
Gemorroj
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Нужно хранить очень много xml данных (размер от 3кб до 2мб, avg 40 кб).
Максимально до 35 миллиардов записей всего в схеме. В день по 1 млн записей.
В схему будет идти постоянный инсерт и редкая выборка по id.

Нужно определиться где хранить данные.
Удобно было бы в postgres, т.к. остальные данные тоже в нем + понятно как масштабировать/реплицировать/шардировать/секционировать. Но не уверен на счет регрессии в производительности на таком типе данных и таких объемах.
Как альтернативу рассматриваю MongoDB+GridFS.

Был бы признателен за совет в какую сторону смотреть, может кто-нибудь поделится опытом работы со схожими условиями.
...
Рейтинг: 0 / 0
Выбор СУБД для хранения болшого кол-ва XML
    #39462277
Gemorroj
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
в нулях запутался)
в день 10 млн инсертов,
всего 3.6 млрд записей.
...
Рейтинг: 0 / 0
Выбор СУБД для хранения болшого кол-ва XML
    #39462284
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
GemorrojВ схему будет идти постоянный инсерт и редкая выборка по id.
По-моему, это отличный случай для простой файловой системы. А DFS, например, ещё и шардинг с репликацией обеспечит.
...
Рейтинг: 0 / 0
Выбор СУБД для хранения болшого кол-ва XML
    #39462382
Фотография Дедушка
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Gemorroj,

- действительно нужно хранить именно XML?
- действительно нужно "В схему будет идти постоянный инсерт" или можно инсертить "отдельно"?
...
Рейтинг: 0 / 0
Выбор СУБД для хранения болшого кол-ва XML
    #39462403
Gemorroj
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Дедушка,

- да, именно xml. это исходные подписанные данные. распаршенные данные из этих xml хранятся отдельно.
- имеется ввиду 2 схемы, в 1 инсерт, а во вторую копирование из 1 по расписанию?
...
Рейтинг: 0 / 0
Выбор СУБД для хранения болшого кол-ва XML
    #39462420
DPH3
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Gemorroj,

А в чем проблема с постгресом? Дать достаточно диска для хранения, все равно все данные будут хранится в TOASTе, а поиск будет по ключам. Так что не вижу особых проблем на такой объем.
Да и вообще, можно поставить эксперимент с каким-нибудь терабайтником, это будет точнее всего.
...
Рейтинг: 0 / 0
Выбор СУБД для хранения болшого кол-ва XML
    #39462446
Gemorroj
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
DPH3,

К сожалению, нет тестового стенда для полноценного эксперимента.
В тестах на 2 млн записей монга и постгрес показывают одинаково хорошие результаты.
Но экстраполировать их на 3 млрд было бы неверным.
---
"в чем проблема с постгресом?" - нет опыта работы с такими объемами, хочу 7 раз отмерять.
...
Рейтинг: 0 / 0
Выбор СУБД для хранения болшого кол-ва XML
    #39462586
Фотография Критик
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
ну, 100 млн-то можете протестировать?
...
Рейтинг: 0 / 0
Выбор СУБД для хранения болшого кол-ва XML
    #39462701
Yo.!
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
GemorrojВ схему будет идти постоянный инсерт и редкая выборка по id.

hadoop+hbase. две колонки, одна id, другая сам xml. может даже разумней по пути во что-то типа avro конвертить
...
Рейтинг: 0 / 0
Выбор СУБД для хранения болшого кол-ва XML
    #39463686
Gemorroj
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Критик,

100 млн тоже без каких-либо видимых проблем.
...
Рейтинг: 0 / 0
Выбор СУБД для хранения болшого кол-ва XML
    #39475919
chernolyas
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
...
Рейтинг: 0 / 0
11 сообщений из 11, страница 1 из 1
Форумы / NoSQL, Big Data [игнор отключен] [закрыт для гостей] / Выбор СУБД для хранения болшого кол-ва XML
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]