ReSQL.ru
     
powered by simpleCommunicator - 2.0.59     © 2025 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / Сравнение СУБД [игнор отключен] [закрыт для гостей] / СУБД с поддержкой компресии данных и индексов
25 сообщений из 97, страница 1 из 4
  1  все
СУБД с поддержкой компресии данных и индексов
    #35992915
vazhnecki
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
vazhnecki
Гость
Есть возможность реализовать сжатие/разжатие на стороне клиента, но тогда будет капут индексам.
Грамотно это реализовать может только сама СУБД.
Существуют ли такие СУБД ?
...
Рейтинг: 0 / 0
18.05.2009, 23:56
| Ответить | Цитировать | Написать  
СУБД с поддержкой компресии данных и индексов
    #35992931
vazhnecki
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
vazhnecki
Гость
Есть еще мысль просто напросто использовать файловую систему с сжатием.
...
Рейтинг: 0 / 0
19.05.2009, 00:10
| Ответить | Цитировать | Написать  
СУБД с поддержкой компресии данных и индексов
    #35992942
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Dimitry Sibiryakov
Участник
vazhneckiСуществуют ли такие СУБД ?

Oracle, Firebird, Interbase. А, собственно, нафига? Не проще ли порнуху
на сервере грохнуть?..
Posted via ActualForum NNTP Server 1.4
...
Рейтинг: 0 / 0
19.05.2009, 00:17
| Ответить | Цитировать | Написать  
СУБД с поддержкой компресии данных и индексов
    #35993000
Фотография MasterZiv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
MasterZiv
Участник
vazhnecki wrote:
> Грамотно это реализовать может только сама СУБД.

> Существуют ли такие СУБД ?

Практически все современные СУБД в том или ином виде используют
сжатие в индексах ( в ключах).

И наоборот, практически никто не сжимает данные. Для эффектного сжатия
нужны значительные объёмы данных, которых в реляционных СУБД нет,
там максимум есть одна запись, которая достаточно коротка.

Так что ты этого не хочешь на самом деле (только ещё этого не понимаешь).
Если же тебе надо жать C/BLOB-ы, тогда да, можно жать. Но это можно
и нужно делать на клиенте, никакие индексы не пострадают, потому что
C/BLOB-ы не индексируются.
Posted via ActualForum NNTP Server 1.4
...
Рейтинг: 0 / 0
19.05.2009, 01:16
| Ответить | Цитировать | Написать  
СУБД с поддержкой компресии данных и индексов
    #35993105
pkarklin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
pkarklin
Участник
vazhneckiГрамотно это реализовать может только сама СУБД.
Существуют ли такие СУБД ?

MS SQL 2008 поддерживает компрессию данных, индексов и бэкапов.
...
Рейтинг: 0 / 0
19.05.2009, 08:10
| Ответить | Цитировать | Написать  
СУБД с поддержкой компресии данных и индексов
    #35993108
pkarklin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
pkarklin
Участник
MasterZiv,

Тут не только дело в блобах. Например, использование компрессии позволяет разместить на одной странице больше записей (правда без увеличения максимального размера самой записи).
...
Рейтинг: 0 / 0
19.05.2009, 08:13
| Ответить | Цитировать | Написать  
СУБД с поддержкой компресии данных и индексов
    #35993194
Фотография Ggg_old
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Ggg_old
Участник
Sybase SA10/11 поддерживает компрессию данных на уровне отдельных таблиц. А девятая версия(если не ошибаюсь) только на уровне всей БД.
...
Рейтинг: 0 / 0
19.05.2009, 09:28
| Ответить | Цитировать | Написать  
СУБД с поддержкой компресии данных и индексов
    #35993370
Фотография MasterZiv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
MasterZiv
Участник
pkarklin wrote:

> MS SQL 2008 поддерживает компрессию данных, индексов и бэкапов.

Вряд ли данных. Может только блобы. А индексы и бэкапы все сжимают.
Posted via ActualForum NNTP Server 1.4
...
Рейтинг: 0 / 0
19.05.2009, 10:36
| Ответить | Цитировать | Написать  
СУБД с поддержкой компресии данных и индексов
    #35993373
Фотография MasterZiv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
MasterZiv
Участник
pkarklin wrote:

> Тут не только дело в блобах. Например, использование компрессии
> позволяет разместить на одной странице больше записей (правда без
> увеличения максимального размера самой записи).

Ага, и делает невозможным бинарный поиск записи на странице, например.
Проходили.
Posted via ActualForum NNTP Server 1.4
...
Рейтинг: 0 / 0
19.05.2009, 10:37
| Ответить | Цитировать | Написать  
СУБД с поддержкой компресии данных и индексов
    #35993399
pkarklin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
pkarklin
Участник
MasterZivВряд ли данных. Может только блобы. А индексы и бэкапы все сжимают.

Компрессия применяется и к страницам данных и индексов.

MasterZivАга, и делает невозможным бинарный поиск записи на странице, например.
Проходили.

каким образом физический формат хранения может повлиять на бинарный поиск?!
...
Рейтинг: 0 / 0
19.05.2009, 10:44
| Ответить | Цитировать | Написать  
СУБД с поддержкой компресии данных и индексов
    #35993856
hvlad
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
hvlad
Участник
MasterZivАга, и делает невозможным бинарный поиск записи на странице, например.
Проходили.Может стоит привести ссылки на формат, который предполагает "бинарный поиск записи на странице" ?..
...
Рейтинг: 0 / 0
19.05.2009, 13:08
| Ответить | Цитировать | Написать  
СУБД с поддержкой компресии данных и индексов
    #35994148
vasilis
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
vasilis
Участник
vazhneckiГрамотно это реализовать может только сама СУБД.
Существуют ли такие СУБД ?
Informix Dynamic Server data compression and storage optimization
Save storage resources, reduce I/O, and optimize performance with new IDS features
http://www.ibm.com/developerworks/data/library/techarticle/dm-0904idsoptimization/index.html?ca=drs-&ca=dkw-informix
...
Рейтинг: 0 / 0
19.05.2009, 14:22
| Ответить | Цитировать | Написать  
СУБД с поддержкой компресии данных и индексов
    #35994878
vazhnecki
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
vazhnecki
Гость
Спасибо за ответы.
Если вы думаете что сжатие не имеет смысла, то вот вам смысл:
Размер самой базы небольшой ~4Gb. Сжатие нужно для того, чтобы вся база поместилась в дисковом кеше - 3Gb памяти. Таким образом к диску будут обращения только для записи, что значительно снизит нагрузку на него. В данный момент все ресурсы уходят на чтение с диска, процессор загружен на 10% и не использовать сжатие в данной ситуации было бы глупо :)
...
Рейтинг: 0 / 0
19.05.2009, 17:40
| Ответить | Цитировать | Написать  
СУБД с поддержкой компресии данных и индексов
    #35994916
pkarklin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
pkarklin
Участник
vazhneckiСпасибо за ответы.
Если вы думаете что сжатие не имеет смысла, то вот вам смысл:
авторРазмер самой базы небольшой ~4Gb. Сжатие нужно для того, чтобы вся база поместилась в дисковом кеше - 3Gb памяти. Таким образом к диску будут обращения только для записи, что значительно снизит нагрузку на него. В данный момент все ресурсы уходят на чтение с диска, процессор загружен на 10% и не использовать сжатие в данной ситуации было бы глупо :)

Ой, не в ту сторону Вы копаете. Не для баз такого размера предназначено сжатие даных, реализуемых в современных СУБД. Да и поддерживается оно (как, например, в MS SQL) тока в топовых редакциях.

База должна "помещаться" не в дисковом, а в буферном кэше. И... о какой СУБД идет речь?
...
Рейтинг: 0 / 0
19.05.2009, 17:53
| Ответить | Цитировать | Написать  
СУБД с поддержкой компресии данных и индексов
    #35994922
vazhnecki
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
vazhnecki
Гость
должна не должна, это не важно,
важно что ресурсы ограничены :)
Mysql сейчас
...
Рейтинг: 0 / 0
19.05.2009, 17:58
| Ответить | Цитировать | Написать  
СУБД с поддержкой компресии данных и индексов
    #35995004
Фотография MasterZiv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
MasterZiv
Участник
vazhnecki wrote:

> данный момент все ресурсы уходят на чтение с диска, процессор загружен
> на 10% и не использовать сжатие в данной ситуации было бы глупо :)

Вообще-то для баз данных очень характерно, что основная нагрузка ложиться
на диск. Чтение из файлов -- это хлеб СУБД, так что ничего удивительного.
А все данные никогда в кэш не поместить. Если вы их сожмёте, и они
влезут в память, то для разархивации память всё равно потребуется. И
для архивации тоже.

Не знаю, по-моему сжатие данных -- очень сомнительная фича для СУБД.
Да, можно жать индексы (префиксно), можно дампы, можно блобы -- их
записывают и считывают, в СУБД эти данные не обрабатываются.
Всё остальное жать не имеет смысла по-моему, на уровне поего
сегодняшнего понимания вещей.
Posted via ActualForum NNTP Server 1.4
...
Рейтинг: 0 / 0
19.05.2009, 18:45
| Ответить | Цитировать | Написать  
СУБД с поддержкой компресии данных и индексов
    #35995006
Фотография MasterZiv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
MasterZiv
Участник
vazhnecki wrote:

> должна не должна, это не важно,
> важно что ресурсы ограничены :)
> Mysql сейчас

Ресурсы СУБД всегда ограничены, а база всегда больше памяти.
Иначе нет смысла использовать СУБД. Но это ещё не повод
применять сжатие.
Posted via ActualForum NNTP Server 1.4
...
Рейтинг: 0 / 0
19.05.2009, 18:46
| Ответить | Цитировать | Написать  
СУБД с поддержкой компресии данных и индексов
    #35995161
miksoft
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
miksoft
Участник
vazhneckiMysql сейчас myisampack — Generate Compressed, Read-Only MyISAM Tables - Читали?

MasterZiv... можно жать индексы (префиксно)...А вот это - увы, в MySQL отсутствует.
...
Рейтинг: 0 / 0
19.05.2009, 20:23
| Ответить | Цитировать | Написать  
СУБД с поддержкой компресии данных и индексов
    #35995224
hvlad
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
hvlad
Участник
MasterZivВообще-то для баз данных очень характерно, что основная нагрузка ложиться
на диск. Чтение из файлов -- это хлеб СУБД, так что ничего удивительного.
А все данные никогда в кэш не поместить. Если вы их сожмёте, и они
влезут в память, то для разархивации память всё равно потребуется. И
для архивации тоже.

Не знаю, по-моему сжатие данных -- очень сомнительная фича для СУБД.
Да, можно жать индексы (префиксно), можно дампы, можно блобы -- их
записывают и считывают, в СУБД эти данные не обрабатываются.
Всё остальное жать не имеет смысла по-моему, на уровне поего
сегодняшнего понимания вещей.Т.е. уменьшить IO за счёт CPU - это сомнительная фича ?
...
Рейтинг: 0 / 0
19.05.2009, 21:08
| Ответить | Цитировать | Написать  
СУБД с поддержкой компресии данных и индексов
    #35995236
miksoft
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
miksoft
Участник
hvladТ.е. уменьшить IO за счёт CPU - это сомнительная фича ?Если база работает не только на чтение, но и на запись (а именно в рассчете на это и разрабатывается большинство СУБД), то вероятность уменьшения IO, имхо, сильно сокращается. А вот потребление CPU может возрасти очень значительно.
...
Рейтинг: 0 / 0
19.05.2009, 21:19
| Ответить | Цитировать | Написать  
СУБД с поддержкой компресии данных и индексов
    #35995239
SERG1257
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
SERG1257
Участник
IMHO
Компрессия эффективна только для всяких DWH приложений с денормализацией и большим размером блока (там есть где разгулятся)
vazhnecki должна не должна, это не важно, важно что ресурсы ограничены :)
Стоимость ресурсов куда меньше, чем стоимость времени специалиста для создания/поддержки вашего велосипеда.
...
Рейтинг: 0 / 0
19.05.2009, 21:24
| Ответить | Цитировать | Написать  
СУБД с поддержкой компресии данных и индексов
    #35995255
vazhnecki
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
vazhnecki
Гость
Друзья, пользу или бесполезность сжатия можно обсуждать сколько угодно.
Здесь же хотелось бы получить максимум информации по СУБД которые уже владеют такой фичей.

Вот смотрю у DB2 есть способность сжимать как данные так и индексы, но цена ..
Кстати из бесплатных есть такие ? .. Postgresql вот умеет сжимать данные но не индексы.
...
Рейтинг: 0 / 0
19.05.2009, 21:31
| Ответить | Цитировать | Написать  
СУБД с поддержкой компресии данных и индексов
    #35995259
vazhnecki
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
vazhnecki
Гость
miksoft,
myisampack К сожалению она ReadOnly, хоть это и можно кое-как обойти.
...
Рейтинг: 0 / 0
19.05.2009, 21:34
| Ответить | Цитировать | Написать  
СУБД с поддержкой компресии данных и индексов
    #35995265
vazhnecki
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
vazhnecki
Гость
SERG1257
Стоимость ресурсов куда меньше, чем стоимость времени специалиста для создания/поддержки вашего велосипеда.
правда ? а вы пробовали добавить к dedicated серверу пару гигов памяти ? ну вот идите уточните цены, а потом будем спорить :)
...
Рейтинг: 0 / 0
19.05.2009, 21:37
| Ответить | Цитировать | Написать  
СУБД с поддержкой компресии данных и индексов
    #35995322
hvlad
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
hvlad
Участник
miksofthvladТ.е. уменьшить IO за счёт CPU - это сомнительная фича ?Если база работает не только на чтение, но и на запись (а именно в рассчете на это и разрабатывается большинство СУБД)Обычно операций чтения таки больше, чем операций записи. А часто - намного больше.

miksoftто вероятность уменьшения IO, имхо, сильно сокращается.Почему ? И почему вероятность ?

miksoftА вот потребление CPU может возрасти очень значительно.Это очень зависит от схемы компрессии. Понятно, что rar и даже менее ресурсоёмкий zip никто не встраивает в СУБД (разве что в очень специальных случаях).
Необходимо также учитывать то, что мощность CPU растёт гораздо быстрее скорости дисковых систем. Может быть SSD что-то изменит, но пока что оно не годится для массового применения.
...
Рейтинг: 0 / 0
19.05.2009, 22:27
| Ответить | Цитировать | Написать  
25 сообщений из 97, страница 1 из 4
  1  все
Форумы / Сравнение СУБД [игнор отключен] [закрыт для гостей] / СУБД с поддержкой компресии данных и индексов
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение
NoSQL.ru       Новости, Чат       Фотоальбом: Участники, Встречи
Закрыть
start [/forum/topic.php?fid=35&fpage=20&tid=1552925]:
 0ms
get settings:
 9ms
get forum list:
 12ms
check forum access:
 4ms
check topic access:
 4ms
track hit:
 33ms
get topic data:
 10ms
get forum data:
 2ms
get page messages:
 57ms
get tp. blocked users:
 2ms
others: 256ms
total:  389ms
созд. / загр.: 389ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]