|
хранение большого количества небольших записей
|
|||
---|---|---|---|
#18+
здравствуйте! есть система, которая генерирует 2 миллиона файлов ежедневно. суммарно 800 MB, каждый файл в среднем 400 байт, внутри текст. эти 800 MB сжимаются в архивный файл 56 MB, то есть 7% ratio. (7zip). это логи, которые необходимо хранить годами, и предоставлять возможность найти необходимый файл по имени и дате. решено отказаться от хранения файлов в файловой системе, или в архивах, и хранить их как записи в базе данных. требования по быстродействию на запись очень слабые, время поиска тоже не критично. файлы после записи не изменяются, только вставка. но есть необходимость сжимать данные, хотя бы до 10%. подскажите пожалуйста подходяющую систему, которая эффективно работает со множеством мелких записей, и умеет сжимать данные. спасибо. ... |
|||
:
Нравится:
Не нравится:
|
|||
29.12.2016, 13:39 |
|
хранение большого количества небольших записей
|
|||
---|---|---|---|
#18+
valv, А структура файла какая? ... |
|||
:
Нравится:
Не нравится:
|
|||
29.12.2016, 13:56 |
|
хранение большого количества небольших записей
|
|||
---|---|---|---|
#18+
valvздравствуйте! есть система, которая генерирует 2 миллиона файлов ежедневно. суммарно 800 MB, каждый файл в среднем 400 байт, внутри текст. эти 800 MB сжимаются в архивный файл 56 MB, то есть 7% ratio. (7zip). это логи, которые необходимо хранить годами, и предоставлять возможность найти необходимый файл по имени и дате. решено отказаться от хранения файлов в файловой системе, или в архивах, и хранить их как записи в базе данных. требования по быстродействию на запись очень слабые, время поиска тоже не критично. файлы после записи не изменяются, только вставка. но есть необходимость сжимать данные, хотя бы до 10%. подскажите пожалуйста подходяющую систему, которая эффективно работает со множеством мелких записей, и умеет сжимать данные. спасибо.По-моему, практически любая СУБД это умеет делать. Тот же Oracle. ... |
|||
:
Нравится:
Не нравится:
|
|||
29.12.2016, 14:19 |
|
хранение большого количества небольших записей
|
|||
---|---|---|---|
#18+
valvподскажите пожалуйста подходяющую систему, которая эффективно работает со множеством мелких записей, и умеет сжимать данные.MS SQL Server с включенным сжатием на уровне страниц Postgresql с TOAST MySQL с InnoDB и тд... ... |
|||
:
Нравится:
Не нравится:
|
|||
29.12.2016, 15:02 |
|
хранение большого количества небольших записей
|
|||
---|---|---|---|
#18+
мигель1valv, А структура файла какая?большая часть файлов в формате json, меньшая часть - текст в разных внутренних форматах. Дедушкаvalvподскажите пожалуйста подходяющую систему, которая эффективно работает со множеством мелких записей, и умеет сжимать данные.MS SQL Server с включенным сжатием на уровне страниц Postgresql с TOAST MySQL с InnoDB и тд... пробовали ms sql server: страничное сжатие, и columnstore index, и compress функцию. сжимает меньше чем на 50%. oracle и mysql сильно хуже, postgresql не пробовали. всё же хранение многих мелких файлов без необходимости сложных запросов, это нетипичная функция для реляционной базы данных. лучше было бы найти походящую key-value database. ... |
|||
:
Нравится:
Не нравится:
|
|||
29.12.2016, 15:32 |
|
хранение большого количества небольших записей
|
|||
---|---|---|---|
#18+
valvсжимает меньше чем на 50%800Mb/день даст ~3Tb за 10 лет, что реально нет ресурсов для хранения??valvвсё же хранение многих мелких файлов без необходимости сложных запросов, это нетипичная функция для реляционной базы данных.а не надо файлы в БД хранить, заливайте записями ... |
|||
:
Нравится:
Не нравится:
|
|||
29.12.2016, 18:03 |
|
хранение большого количества небольших записей
|
|||
---|---|---|---|
#18+
... |
|||
:
Нравится:
Не нравится:
|
|||
29.12.2016, 18:26 |
|
хранение большого количества небольших записей
|
|||
---|---|---|---|
#18+
Дедушкаvalvсжимает меньше чем на 50%800Mb/день даст ~3Tb за 10 лет, что реально нет ресурсов для хранения??1) система установлена несколько десятков раз, на нескольких серверах. каждый инстанс генерирует файлы. 2) количество файлов в день растёт. там, где сейчас 2M, год назад было 100K. Дедушкаvalvвсё же хранение многих мелких файлов без необходимости сложных запросов, это нетипичная функция для реляционной базы данных.а не надо файлы в БД хранить, заливайте записямиконечно же записями. хранение текстовой информации без всяких манипуляций типа delete, update, и без сложных запросов - нетипичная функция для реляционной базы данных. я сейчас просматриваю информацию о нескольких десятков Key-value databases и Document-oriented databases, и мало где есть информация о компрессии данных. ... |
|||
:
Нравится:
Не нравится:
|
|||
29.12.2016, 18:29 |
|
хранение большого количества небольших записей
|
|||
---|---|---|---|
#18+
Или MongoDB с WiredTiger и compression ... |
|||
:
Нравится:
Не нравится:
|
|||
29.12.2016, 18:30 |
|
хранение большого количества небольших записей
|
|||
---|---|---|---|
#18+
... |
|||
:
Нравится:
Не нравится:
|
|||
29.12.2016, 18:32 |
|
хранение большого количества небольших записей
|
|||
---|---|---|---|
#18+
skyANA https://docs.mongodb.com/manual/core/wiredtiger/#compression ах, какая полезная ссылка! спасибо большое. ... |
|||
:
Нравится:
Не нравится:
|
|||
29.12.2016, 18:55 |
|
|
start [/forum/topic.php?fid=48&msg=39377639&tid=1856716]: |
0ms |
get settings: |
10ms |
get forum list: |
14ms |
check forum access: |
4ms |
check topic access: |
4ms |
track hit: |
162ms |
get topic data: |
13ms |
get forum data: |
3ms |
get page messages: |
56ms |
get tp. blocked users: |
2ms |
others: | 237ms |
total: | 505ms |
0 / 0 |