powered by simpleCommunicator - 2.0.49     © 2025 Programmizd 02
Форумы / NoSQL, Big Data [игнор отключен] [закрыт для гостей] / хранение большого количества небольших записей
12 сообщений из 12, страница 1 из 1
хранение большого количества небольших записей
    #39377639
valv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
здравствуйте!
есть система, которая генерирует 2 миллиона файлов ежедневно.
суммарно 800 MB, каждый файл в среднем 400 байт, внутри текст.
эти 800 MB сжимаются в архивный файл 56 MB, то есть 7% ratio. (7zip).
это логи, которые необходимо хранить годами, и предоставлять возможность найти необходимый файл по имени и дате.

решено отказаться от хранения файлов в файловой системе, или в архивах, и хранить их как записи в базе данных.
требования по быстродействию на запись очень слабые, время поиска тоже не критично.
файлы после записи не изменяются, только вставка.
но есть необходимость сжимать данные, хотя бы до 10%.

подскажите пожалуйста подходяющую систему, которая эффективно работает со множеством мелких записей, и умеет сжимать данные.
спасибо.
...
Рейтинг: 0 / 0
хранение большого количества небольших записей
    #39377662
мигель1
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
valv,

А структура файла какая?
...
Рейтинг: 0 / 0
хранение большого количества небольших записей
    #39377680
Alexander Ryndin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
valvздравствуйте!
есть система, которая генерирует 2 миллиона файлов ежедневно.
суммарно 800 MB, каждый файл в среднем 400 байт, внутри текст.
эти 800 MB сжимаются в архивный файл 56 MB, то есть 7% ratio. (7zip).
это логи, которые необходимо хранить годами, и предоставлять возможность найти необходимый файл по имени и дате.

решено отказаться от хранения файлов в файловой системе, или в архивах, и хранить их как записи в базе данных.
требования по быстродействию на запись очень слабые, время поиска тоже не критично.
файлы после записи не изменяются, только вставка.
но есть необходимость сжимать данные, хотя бы до 10%.

подскажите пожалуйста подходяющую систему, которая эффективно работает со множеством мелких записей, и умеет сжимать данные.
спасибо.По-моему, практически любая СУБД это умеет делать. Тот же Oracle.
...
Рейтинг: 0 / 0
хранение большого количества небольших записей
    #39377729
Фотография Дедушка
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
valvподскажите пожалуйста подходяющую систему, которая эффективно работает со множеством мелких записей, и умеет сжимать данные.MS SQL Server с включенным сжатием на уровне страниц

Postgresql с TOAST

MySQL с InnoDB
и тд...
...
Рейтинг: 0 / 0
хранение большого количества небольших записей
    #39377755
valv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
мигель1valv,
А структура файла какая?большая часть файлов в формате json, меньшая часть - текст в разных внутренних форматах.
Дедушкаvalvподскажите пожалуйста подходяющую систему, которая эффективно работает со множеством мелких записей, и умеет сжимать данные.MS SQL Server с включенным сжатием на уровне страниц

Postgresql с TOAST

MySQL с InnoDB
и тд...
пробовали ms sql server: страничное сжатие, и columnstore index, и compress функцию. сжимает меньше чем на 50%. oracle и mysql сильно хуже, postgresql не пробовали.

всё же хранение многих мелких файлов без необходимости сложных запросов, это нетипичная функция для реляционной базы данных.
лучше было бы найти походящую key-value database.
...
Рейтинг: 0 / 0
хранение большого количества небольших записей
    #39377894
Фотография Дедушка
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
valvсжимает меньше чем на 50%800Mb/день даст ~3Tb за 10 лет, что реально нет ресурсов для хранения??valvвсё же хранение многих мелких файлов без необходимости сложных запросов, это нетипичная функция для реляционной базы данных.а не надо файлы в БД хранить, заливайте записями
...
Рейтинг: 0 / 0
хранение большого количества небольших записей
    #39377912
Фотография skyANA
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Логи, json... Elasticsearch?

Гугл в помощь ...
...
Рейтинг: 0 / 0
хранение большого количества небольших записей
    #39377914
valv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Дедушкаvalvсжимает меньше чем на 50%800Mb/день даст ~3Tb за 10 лет, что реально нет ресурсов для хранения??1) система установлена несколько десятков раз, на нескольких серверах. каждый инстанс генерирует файлы.
2) количество файлов в день растёт. там, где сейчас 2M, год назад было 100K.
Дедушкаvalvвсё же хранение многих мелких файлов без необходимости сложных запросов, это нетипичная функция для реляционной базы данных.а не надо файлы в БД хранить, заливайте записямиконечно же записями. хранение текстовой информации без всяких манипуляций типа delete, update, и без сложных запросов - нетипичная функция для реляционной базы данных.

я сейчас просматриваю информацию о нескольких десятков Key-value databases и Document-oriented databases, и мало где есть информация о компрессии данных.
...
Рейтинг: 0 / 0
хранение большого количества небольших записей
    #39377915
Фотография skyANA
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Или MongoDB с WiredTiger и compression
...
Рейтинг: 0 / 0
хранение большого количества небольших записей
    #39377916
Фотография skyANA
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
...
Рейтинг: 0 / 0
хранение большого количества небольших записей
    #39377929
valv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
skyANA https://docs.mongodb.com/manual/core/wiredtiger/#compression ах, какая полезная ссылка! спасибо большое.
...
Рейтинг: 0 / 0
хранение большого количества небольших записей
    #39378619
Фотография Hett
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Ну если жисон, то определенно монгадб
...
Рейтинг: 0 / 0
12 сообщений из 12, страница 1 из 1
Форумы / NoSQL, Big Data [игнор отключен] [закрыт для гостей] / хранение большого количества небольших записей
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]