Гость
Целевая тема:
Создать новую тему:
Автор:
Форумы / Сравнение СУБД [игнор отключен] [закрыт для гостей] / СУБД с поддержкой компресии данных и индексов / 25 сообщений из 97, страница 1 из 4
18.05.2009, 23:56
    #35992915
vazhnecki
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
СУБД с поддержкой компресии данных и индексов
Есть возможность реализовать сжатие/разжатие на стороне клиента, но тогда будет капут индексам.
Грамотно это реализовать может только сама СУБД.
Существуют ли такие СУБД ?
...
Рейтинг: 0 / 0
19.05.2009, 00:10
    #35992931
vazhnecki
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
СУБД с поддержкой компресии данных и индексов
Есть еще мысль просто напросто использовать файловую систему с сжатием.
...
Рейтинг: 0 / 0
19.05.2009, 00:17
    #35992942
Dimitry Sibiryakov
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
СУБД с поддержкой компресии данных и индексов
vazhneckiСуществуют ли такие СУБД ?

Oracle, Firebird, Interbase. А, собственно, нафига? Не проще ли порнуху
на сервере грохнуть?..
Posted via ActualForum NNTP Server 1.4
...
Рейтинг: 0 / 0
19.05.2009, 01:16
    #35993000
MasterZiv
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
СУБД с поддержкой компресии данных и индексов
vazhnecki wrote:
> Грамотно это реализовать может только сама СУБД.

> Существуют ли такие СУБД ?

Практически все современные СУБД в том или ином виде используют
сжатие в индексах ( в ключах).

И наоборот, практически никто не сжимает данные. Для эффектного сжатия
нужны значительные объёмы данных, которых в реляционных СУБД нет,
там максимум есть одна запись, которая достаточно коротка.

Так что ты этого не хочешь на самом деле (только ещё этого не понимаешь).
Если же тебе надо жать C/BLOB-ы, тогда да, можно жать. Но это можно
и нужно делать на клиенте, никакие индексы не пострадают, потому что
C/BLOB-ы не индексируются.
Posted via ActualForum NNTP Server 1.4
...
Рейтинг: 0 / 0
19.05.2009, 08:10
    #35993105
pkarklin
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
СУБД с поддержкой компресии данных и индексов
vazhneckiГрамотно это реализовать может только сама СУБД.
Существуют ли такие СУБД ?

MS SQL 2008 поддерживает компрессию данных, индексов и бэкапов.
...
Рейтинг: 0 / 0
19.05.2009, 08:13
    #35993108
pkarklin
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
СУБД с поддержкой компресии данных и индексов
MasterZiv,

Тут не только дело в блобах. Например, использование компрессии позволяет разместить на одной странице больше записей (правда без увеличения максимального размера самой записи).
...
Рейтинг: 0 / 0
19.05.2009, 09:28
    #35993194
Ggg_old
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
СУБД с поддержкой компресии данных и индексов
Sybase SA10/11 поддерживает компрессию данных на уровне отдельных таблиц. А девятая версия(если не ошибаюсь) только на уровне всей БД.
...
Рейтинг: 0 / 0
19.05.2009, 10:36
    #35993370
MasterZiv
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
СУБД с поддержкой компресии данных и индексов
pkarklin wrote:

> MS SQL 2008 поддерживает компрессию данных, индексов и бэкапов.

Вряд ли данных. Может только блобы. А индексы и бэкапы все сжимают.
Posted via ActualForum NNTP Server 1.4
...
Рейтинг: 0 / 0
19.05.2009, 10:37
    #35993373
MasterZiv
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
СУБД с поддержкой компресии данных и индексов
pkarklin wrote:

> Тут не только дело в блобах. Например, использование компрессии
> позволяет разместить на одной странице больше записей (правда без
> увеличения максимального размера самой записи).

Ага, и делает невозможным бинарный поиск записи на странице, например.
Проходили.
Posted via ActualForum NNTP Server 1.4
...
Рейтинг: 0 / 0
19.05.2009, 10:44
    #35993399
pkarklin
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
СУБД с поддержкой компресии данных и индексов
MasterZivВряд ли данных. Может только блобы. А индексы и бэкапы все сжимают.

Компрессия применяется и к страницам данных и индексов.

MasterZivАга, и делает невозможным бинарный поиск записи на странице, например.
Проходили.

каким образом физический формат хранения может повлиять на бинарный поиск?!
...
Рейтинг: 0 / 0
19.05.2009, 13:08
    #35993856
hvlad
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
СУБД с поддержкой компресии данных и индексов
MasterZivАга, и делает невозможным бинарный поиск записи на странице, например.
Проходили.Может стоит привести ссылки на формат, который предполагает "бинарный поиск записи на странице" ?..
...
Рейтинг: 0 / 0
19.05.2009, 14:22
    #35994148
vasilis
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
СУБД с поддержкой компресии данных и индексов
vazhneckiГрамотно это реализовать может только сама СУБД.
Существуют ли такие СУБД ?
Informix Dynamic Server data compression and storage optimization
Save storage resources, reduce I/O, and optimize performance with new IDS features
http://www.ibm.com/developerworks/data/library/techarticle/dm-0904idsoptimization/index.html?ca=drs-&ca=dkw-informix
...
Рейтинг: 0 / 0
19.05.2009, 17:40
    #35994878
vazhnecki
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
СУБД с поддержкой компресии данных и индексов
Спасибо за ответы.
Если вы думаете что сжатие не имеет смысла, то вот вам смысл:
Размер самой базы небольшой ~4Gb. Сжатие нужно для того, чтобы вся база поместилась в дисковом кеше - 3Gb памяти. Таким образом к диску будут обращения только для записи, что значительно снизит нагрузку на него. В данный момент все ресурсы уходят на чтение с диска, процессор загружен на 10% и не использовать сжатие в данной ситуации было бы глупо :)
...
Рейтинг: 0 / 0
19.05.2009, 17:53
    #35994916
pkarklin
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
СУБД с поддержкой компресии данных и индексов
vazhneckiСпасибо за ответы.
Если вы думаете что сжатие не имеет смысла, то вот вам смысл:
авторРазмер самой базы небольшой ~4Gb. Сжатие нужно для того, чтобы вся база поместилась в дисковом кеше - 3Gb памяти. Таким образом к диску будут обращения только для записи, что значительно снизит нагрузку на него. В данный момент все ресурсы уходят на чтение с диска, процессор загружен на 10% и не использовать сжатие в данной ситуации было бы глупо :)

Ой, не в ту сторону Вы копаете. Не для баз такого размера предназначено сжатие даных, реализуемых в современных СУБД. Да и поддерживается оно (как, например, в MS SQL) тока в топовых редакциях.

База должна "помещаться" не в дисковом, а в буферном кэше. И... о какой СУБД идет речь?
...
Рейтинг: 0 / 0
19.05.2009, 17:58
    #35994922
vazhnecki
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
СУБД с поддержкой компресии данных и индексов
должна не должна, это не важно,
важно что ресурсы ограничены :)
Mysql сейчас
...
Рейтинг: 0 / 0
19.05.2009, 18:45
    #35995004
MasterZiv
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
СУБД с поддержкой компресии данных и индексов
vazhnecki wrote:

> данный момент все ресурсы уходят на чтение с диска, процессор загружен
> на 10% и не использовать сжатие в данной ситуации было бы глупо :)

Вообще-то для баз данных очень характерно, что основная нагрузка ложиться
на диск. Чтение из файлов -- это хлеб СУБД, так что ничего удивительного.
А все данные никогда в кэш не поместить. Если вы их сожмёте, и они
влезут в память, то для разархивации память всё равно потребуется. И
для архивации тоже.

Не знаю, по-моему сжатие данных -- очень сомнительная фича для СУБД.
Да, можно жать индексы (префиксно), можно дампы, можно блобы -- их
записывают и считывают, в СУБД эти данные не обрабатываются.
Всё остальное жать не имеет смысла по-моему, на уровне поего
сегодняшнего понимания вещей.
Posted via ActualForum NNTP Server 1.4
...
Рейтинг: 0 / 0
19.05.2009, 18:46
    #35995006
MasterZiv
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
СУБД с поддержкой компресии данных и индексов
vazhnecki wrote:

> должна не должна, это не важно,
> важно что ресурсы ограничены :)
> Mysql сейчас

Ресурсы СУБД всегда ограничены, а база всегда больше памяти.
Иначе нет смысла использовать СУБД. Но это ещё не повод
применять сжатие.
Posted via ActualForum NNTP Server 1.4
...
Рейтинг: 0 / 0
19.05.2009, 20:23
    #35995161
miksoft
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
СУБД с поддержкой компресии данных и индексов
vazhneckiMysql сейчас myisampack — Generate Compressed, Read-Only MyISAM Tables - Читали?

MasterZiv... можно жать индексы (префиксно)...А вот это - увы, в MySQL отсутствует.
...
Рейтинг: 0 / 0
19.05.2009, 21:08
    #35995224
hvlad
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
СУБД с поддержкой компресии данных и индексов
MasterZivВообще-то для баз данных очень характерно, что основная нагрузка ложиться
на диск. Чтение из файлов -- это хлеб СУБД, так что ничего удивительного.
А все данные никогда в кэш не поместить. Если вы их сожмёте, и они
влезут в память, то для разархивации память всё равно потребуется. И
для архивации тоже.

Не знаю, по-моему сжатие данных -- очень сомнительная фича для СУБД.
Да, можно жать индексы (префиксно), можно дампы, можно блобы -- их
записывают и считывают, в СУБД эти данные не обрабатываются.
Всё остальное жать не имеет смысла по-моему, на уровне поего
сегодняшнего понимания вещей.Т.е. уменьшить IO за счёт CPU - это сомнительная фича ?
...
Рейтинг: 0 / 0
19.05.2009, 21:19
    #35995236
miksoft
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
СУБД с поддержкой компресии данных и индексов
hvladТ.е. уменьшить IO за счёт CPU - это сомнительная фича ?Если база работает не только на чтение, но и на запись (а именно в рассчете на это и разрабатывается большинство СУБД), то вероятность уменьшения IO, имхо, сильно сокращается. А вот потребление CPU может возрасти очень значительно.
...
Рейтинг: 0 / 0
19.05.2009, 21:24
    #35995239
SERG1257
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
СУБД с поддержкой компресии данных и индексов
IMHO
Компрессия эффективна только для всяких DWH приложений с денормализацией и большим размером блока (там есть где разгулятся)
vazhnecki должна не должна, это не важно, важно что ресурсы ограничены :)
Стоимость ресурсов куда меньше, чем стоимость времени специалиста для создания/поддержки вашего велосипеда.
...
Рейтинг: 0 / 0
19.05.2009, 21:31
    #35995255
vazhnecki
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
СУБД с поддержкой компресии данных и индексов
Друзья, пользу или бесполезность сжатия можно обсуждать сколько угодно.
Здесь же хотелось бы получить максимум информации по СУБД которые уже владеют такой фичей.

Вот смотрю у DB2 есть способность сжимать как данные так и индексы, но цена ..
Кстати из бесплатных есть такие ? .. Postgresql вот умеет сжимать данные но не индексы.
...
Рейтинг: 0 / 0
19.05.2009, 21:34
    #35995259
vazhnecki
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
СУБД с поддержкой компресии данных и индексов
miksoft,
myisampack К сожалению она ReadOnly, хоть это и можно кое-как обойти.
...
Рейтинг: 0 / 0
19.05.2009, 21:37
    #35995265
vazhnecki
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
СУБД с поддержкой компресии данных и индексов
SERG1257
Стоимость ресурсов куда меньше, чем стоимость времени специалиста для создания/поддержки вашего велосипеда.
правда ? а вы пробовали добавить к dedicated серверу пару гигов памяти ? ну вот идите уточните цены, а потом будем спорить :)
...
Рейтинг: 0 / 0
19.05.2009, 22:27
    #35995322
hvlad
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
СУБД с поддержкой компресии данных и индексов
miksofthvladТ.е. уменьшить IO за счёт CPU - это сомнительная фича ?Если база работает не только на чтение, но и на запись (а именно в рассчете на это и разрабатывается большинство СУБД)Обычно операций чтения таки больше, чем операций записи. А часто - намного больше.

miksoftто вероятность уменьшения IO, имхо, сильно сокращается.Почему ? И почему вероятность ?

miksoftА вот потребление CPU может возрасти очень значительно.Это очень зависит от схемы компрессии. Понятно, что rar и даже менее ресурсоёмкий zip никто не встраивает в СУБД (разве что в очень специальных случаях).
Необходимо также учитывать то, что мощность CPU растёт гораздо быстрее скорости дисковых систем. Может быть SSD что-то изменит, но пока что оно не годится для массового применения.
...
Рейтинг: 0 / 0
Форумы / Сравнение СУБД [игнор отключен] [закрыт для гостей] / СУБД с поддержкой компресии данных и индексов / 25 сообщений из 97, страница 1 из 4
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]