ReSQL.ru
     
powered by simpleCommunicator - 2.0.59     © 2025 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / Сравнение СУБД [игнор отключен] [закрыт для гостей] / Бесплатный сервер БД с возможностью динамического сжатия данных.
25 сообщений из 92, страница 2 из 4
  2  все
Бесплатный сервер БД с возможностью динамического сжатия данных.
    #37048437
hvlad
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
hvlad
Участник
Dimitry SibiryakovhvladНа коротких записях FB имеет значительный оверхед.

Да, имеет. Но что заставляет тебя думать, что другие сервера - нет?
Знания и опыт, представь себе.
...
Рейтинг: 0 / 0
07.01.2011, 14:41
| Ответить | Цитировать | Написать  
Бесплатный сервер БД с возможностью динамического сжатия данных.
    #37048440
hvlad
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
hvlad
Участник
LarsikhvladКак обычно - sweep'ом. Сделай gstat -r и покажи результат, можно в более правильном форуме, можно мне мылом.
Как долго будет идти эта операция?Зависит от производительности ИО.
Судя по этому вопросу, ни то, ни другое ни разу не делалось ?...
...
Рейтинг: 0 / 0
07.01.2011, 14:43
| Ответить | Цитировать | Написать  
Бесплатный сервер БД с возможностью динамического сжатия данных.
    #37048445
SERG1257
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
SERG1257
Участник
Larsik Я думаю в среднем около 60%, есть много Web-сервисов внутренних, а там url очень длинный.
В лоб - разбейте его на условно постоянную и условно переменную часть нормализовав условно постоянную, если большую часть адреса составляют длинные параметры, нормализуйте их тоже. Совсем старые данные (старше года, или месяца) экспортируйте в файл с возможностью быстрого импорта если надо. Уверен, что это требование из разряда шоб было и требований мгновенного доступа к пятилетнему журналу внутренних веб служб не будет.
Larsik Бесплатный сервер БД с возможностью динамического сжатия данных
А риск потери ВСЕХ данных из-за недостатка опыта в неизвестной бесплатной субд плюс время на изучение/переписывание/тестирование не смущают.
...
Рейтинг: 0 / 0
07.01.2011, 15:00
| Ответить | Цитировать | Написать  
Бесплатный сервер БД с возможностью динамического сжатия данных.
    #37048450
Larsik
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Larsik
Участник
SERG1257,

Требования действительно такие, шоб было.

hvlad,
С рабочей БД не получается снять статистику, у меня подвисает аналитический сервис тогда.
Могу только с копии базы, с меньшим объемом.

Запрос
Код: plaintext
SELECT AVG(CHAR_LENGTH(url)) FROM jurnal
показал среднею длину 109
...
Рейтинг: 0 / 0
07.01.2011, 15:20
| Ответить | Цитировать | Написать  
Бесплатный сервер БД с возможностью динамического сжатия данных.
    #37048453
hvlad
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
hvlad
Участник
LarsikС рабочей БД не получается снять статистику, у меня подвисает аналитический сервис тогда.Странно.
Если так, то можно попробовать в часы минимальной загрузки БД (ночью ?)

LarsikМогу только с копии базы, с меньшим объемом.Если копия есть поднятый бекап, то смысла в этом нет. Иначе можно попробовать.

LarsikЗапрос
Код: plaintext
SELECT AVG(CHAR_LENGTH(url)) FROM jurnal
показал среднею длину 109Ну так это же совсем не 60% от 2000, не так ли ?

Сдаётся мне, что пора перейти в профильный форум, ибо мы всё больше уходим от "сравнения субд" :)
...
Рейтинг: 0 / 0
07.01.2011, 15:27
| Ответить | Цитировать | Написать  
Бесплатный сервер БД с возможностью динамического сжатия данных.
    #37048454
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Dimitry Sibiryakov
Участник
hvladЗнания и опыт, представь себе.

У TPC-C как раз записи короткие. Насколько Оракул выигрывает по объёму базы?
Posted via ActualForum NNTP Server 1.4
...
Рейтинг: 0 / 0
07.01.2011, 15:29
| Ответить | Цитировать | Написать  
Бесплатный сервер БД с возможностью динамического сжатия данных.
    #37048456
hvlad
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
hvlad
Участник
Dimitry SibiryakovhvladЗнания и опыт, представь себе.

У TPC-C как раз записи короткие. Насколько Оракул выигрывает по объёму базы?
Измерь, тебе же интересно. Или найми меня (ты любишь оказывать платные услуги)
...
Рейтинг: 0 / 0
07.01.2011, 15:35
| Ответить | Цитировать | Написать  
Бесплатный сервер БД с возможностью динамического сжатия данных.
    #37048457
Larsik
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Larsik
Участник
hvladLarsikС рабочей БД не получается снять статистику, у меня подвисает аналитический сервис тогда.Странно.
Если так, то можно попробовать в часы минимальной загрузки БД (ночью ?)

Можно попробовать, но не вижу смысла (с учетом Вашего поста на счет бекапной версии), в выходные (суббота, воскресенье) делается полный бекап/рестор базы, и пересчет индексов.

hvladLarsikМогу только с копии базы, с меньшим объемом.Если копия есть поднятый бекап, то смысла в этом нет. Иначе можно попробовать.

Да копия из бекапа.

hvladLarsikЗапрос
Код: plaintext
SELECT AVG(CHAR_LENGTH(url)) FROM jurnal
показал среднею длину 109Ну так это же совсем не 60% от 2000, не так ли ?

Согласен!

hvladСдаётся мне, что пора перейти в профильный форум, ибо мы всё больше уходим от "сравнения субд" :)
И тут согласен!
...
Рейтинг: 0 / 0
07.01.2011, 15:35
| Ответить | Цитировать | Написать  
Бесплатный сервер БД с возможностью динамического сжатия данных.
    #37048459
hvlad
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
hvlad
Участник
Larsikв выходные (суббота, воскресенье) делается полный бекап/рестор базыВ таком случае вопрос о мусоре отпадает сам собой.
Но не вопрос о пользе\возможности сжатия данных.
...
Рейтинг: 0 / 0
07.01.2011, 15:36
| Ответить | Цитировать | Написать  
Бесплатный сервер БД с возможностью динамического сжатия данных.
    #37048464
Larsik
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Larsik
Участник
hvlad,

Получается так.

оффтоп:
Я со своей работой скоро свихнуть
...
Рейтинг: 0 / 0
07.01.2011, 15:44
| Ответить | Цитировать | Написать  
Бесплатный сервер БД с возможностью динамического сжатия данных.
    #37048468
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Dimitry Sibiryakov
Участник
hvladИзмерь, тебе же интересно.

Мне - неинтересно. Классовое чутьё утверждает, что сравнение будет в пользу Firebird и я
ему доверяю.
Posted via ActualForum NNTP Server 1.4
...
Рейтинг: 0 / 0
07.01.2011, 15:54
| Ответить | Цитировать | Написать  
Бесплатный сервер БД с возможностью динамического сжатия данных.
    #37048499
Фотография Di_LIne
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Di_LIne
Участник
Код: plaintext
1.
2.
3.
4.
5.
6.
7.
8.
9.
CREATE TABLE calendar(
  id BIGINT,
  date DATE NOT NULL,
  day SMALLINT,
  month SMALLINT,
  year SMALLINT,
  PRIMARY KEY (date),
  UNIQUE INDEX id (id)
)
За такое поектирование голову с другим местом менять надо.
Задлянафига для: day, month и year SMALLINT?

А за
Код: plaintext
url VARCHAR( 2000 )
еще и руки-ноги нужно менять.
...
Рейтинг: 0 / 0
07.01.2011, 16:44
| Ответить | Цитировать | Написать  
Бесплатный сервер БД с возможностью динамического сжатия данных.
    #37048509
Larsik
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Larsik
Участник
Di_LIne
Код: plaintext
1.
2.
3.
4.
5.
6.
7.
8.
9.
CREATE TABLE calendar(
  id BIGINT,
  date DATE NOT NULL,
  day SMALLINT,
  month SMALLINT,
  year SMALLINT,
  PRIMARY KEY (date),
  UNIQUE INDEX id (id)
)
За такое поектирование голову с другим местом менять надо.
Задлянафига для: day, month и year SMALLINT?

А за
Код: plaintext
url VARCHAR( 2000 )
еще и руки-ноги нужно менять.

Предложите свой вариант, может я не прав. Но в этой таблице за год накапливается 356 записей, а разделение сделано, для поиска по составному индексу. А по поводу VARCHAR(2000) не согласен, для хранения длинных URL адресов, что использовать тогда? Blob это еще хуже.

Предлагайте, я для этого и создал эту тему!
...
Рейтинг: 0 / 0
07.01.2011, 16:53
| Ответить | Цитировать | Написать  
Бесплатный сервер БД с возможностью динамического сжатия данных.
    #37048522
Larsik
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Larsik
Участник
Di_LIne
А за
Код: plaintext
url VARCHAR( 2000 )
еще и руки-ноги нужно менять.

Вот эту строку запишите мне в другое поле (длина этого запроса 1000 символов, я взял первый попавшийся)
http://bs.yandex.ru/watch/12441?rn=110211&cnt-class=1&page-ref=http%3A%2F%2Fyandex.ru%2Fyandsearch%3Ftext%3D%25D0%259F%25D1%2580%25D0%25BE%25D0%25B4%25D1%2583%25D0%25BA%25D1%2586%25D0%25B8%25D1%258F%2B%25D0%25A1%25D0%25B5%25D0%25B2%25D0%25B5%25D1%2580%25D0%25BD%25D1%258B%25D0%25B9%2B%25D0%2592%25D0%25B5%25D1%2582%25D0%25B5%25D1%2580-%25D0%259F%25D0%25BE%25D0%25BB%25D0%25B8%25D0%25B3%25D1%2580%25D0%25B0%25D1%2584%25D0%25B8%25D1%258F%26lr%3D213%26stpar2%3D%252Fh1%252Ftm37%252Fs1%26stpar4%3D%252Fs1%26stpar1%3D%252Fu0&page-url=http%3A%2F%2Fopenmarket.ru%2Fviewoffer.asp%3Fid%3D22599&browser-info=j:1:s:320x256x32:f:10.0.12.36:t:%22%D0%A1%D0%B5%D0%B2%D0%B5%D1%80%D0%BD%D1%8B%D0%B9%20%D0%B2%D0%B5%D1%82%D0%B5%D1%80%20-%20%D0%9F%D0%BE%D0%BB%D0%B8%D0%B3%D1%80%D0%B0%D1%84%D0%B8%D1%8F%22%20%D0%9E%D0%9E%D0%9E%20%E2%80%94%20%D0%9C%D0%BE%D1%81%D0%BA%D0%B2%D0%B0%20%E2%80%94%20%D0%9F%D1%80%D0%BE%D0%B8%D0%B7%D0%B2%D0%BE%D0%B4%D0%B8%D1%82%D0%B5%D0%BB%D0%B8%20%D1%82%D0%BE%D0%B2%D0%B0%D1%80%D0%BE%D0%B2%20%D0
...
Рейтинг: 0 / 0
07.01.2011, 17:10
| Ответить | Цитировать | Написать  
Бесплатный сервер БД с возможностью динамического сжатия данных.
    #37048625
Фотография Di_LIne
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Di_LIne
Участник
LarsikВот эту строку запишите мне в другое поле (длина этого запроса 1000 символов, я взял первый попавшийся)
Ну я и грю: - Открой для себя URL-кодирование. Это два.
А раз: - На фига хратить в кодированом виде строку поиска в Яндексе?


авторНо в этой таблице за год накапливается 356 записей
Для этого и текстового файла хватит.
Как говорит великий гуру: - Мучать птичку для хранения каких-то жалких 3 мульнов записей...
(У мну по 50-70 тыс. строк лога web-сервера в сутки. 7,5 мильенов строк в 2,6 гига БД)


автор...может я не прав. Угу...
Для хранения дня, месяца и года - хватит по 2 байта на каждый. Ага? ;-)
Больше, чем 2099 год тебе не понадобится. Как и мне впрочем.
...
Рейтинг: 0 / 0
07.01.2011, 18:55
| Ответить | Цитировать | Написать  
Бесплатный сервер БД с возможностью динамического сжатия данных.
    #37048670
Фотография Ggg_old
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Ggg_old
Участник
а может, если производтельности хватает просто включеть коспрессию файла с базой данных на уровне файловой системы? На ntfs такое точно есть, за линуксы не знаю.
...
Рейтинг: 0 / 0
07.01.2011, 19:34
| Ответить | Цитировать | Написать  
Бесплатный сервер БД с возможностью динамического сжатия данных.
    #37048673
Фотография iscrafm
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
iscrafm
Участник
Di_LIneавтор...может я не прав. Угу...
Для хранения дня, месяца и года - хватит по 2 байта на каждый.
Больше, чем 2099 год тебе не понадобится . Как и мне впрочем.
вот так, на ровном месте, и возникают проблемы типа "2000-года". "Тебе не понадобиться", а дальше хоть трава не расти. Грамотный подход к разработке.
...
Рейтинг: 0 / 0
07.01.2011, 19:40
| Ответить | Цитировать | Написать  
Бесплатный сервер БД с возможностью динамического сжатия данных.
    #37048678
Фотография iscrafm
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
iscrafm
Участник
Di_LIneLarsikВот эту строку запишите мне в другое поле (длина этого запроса 1000 символов, я взял первый попавшийся)
Ну я и грю: - Открой для себя URL-кодирование. Это два.
А раз: - На фига хратить в кодированом виде строку поиска в Яндексе?

логично.
...
Рейтинг: 0 / 0
07.01.2011, 19:43
| Ответить | Цитировать | Написать  
Бесплатный сервер БД с возможностью динамического сжатия данных.
    #37048689
Andrey Sribnyak
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Andrey Sribnyak
Участник
iscrafmDi_LIneпропущено...
Угу...
Для хранения дня, месяца и года - хватит по 2 байта на каждый.
Больше, чем 2099 год тебе не понадобится . Как и мне впрочем.
вот так, на ровном месте, и возникают проблемы типа "2000-года". "Тебе не понадобиться", а дальше хоть трава не расти. Грамотный подход к разработке.

я в принципе не понимаю, ЗАЧЕМ??? когда мы храним полную дату необходимо записывать отдельно еще ГОД, МЕСЯЦ и ДЕНЬ???

Возможно есть какие-то тайные причины... тогда хотелось бы их услышать...

Конечно, я допускаю, что чего-то не понимаю ;-)
...
Рейтинг: 0 / 0
07.01.2011, 19:58
| Ответить | Цитировать | Написать  
Бесплатный сервер БД с возможностью динамического сжатия данных.
    #37048698
Larsik
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Larsik
Участник
iscrafmDi_LIneпропущено...

Ну я и грю: - Открой для себя URL-кодирование. Это два.
А раз: - На фига хратить в кодированом виде строку поиска в Яндексе?

логично.

1. Не логично, есть заказчик ПО (служба безопасности) их требования хранить все без исключения(а это и поисковые запросы тоже) даже неправильные запросы к прокси серверу, с кодами ошибок (например: 401, 403, 404, 500 и т.д.), а URL кодирование не поможет повсеместно. Их на всю базу примерно 30%. Импорт и так проходит достаточно долго, а если я сейчас ввиду URL декодирования, я по скорости не успею все поступающие данные обработать.
2. У тебя 50-70т за сутки, а у меня за 1 час столько записей, а строк в таблице Jurnal у меня 96 миллионов и баз 64 Гб.

Не надо меня учить разработке приложений, дайте дельный совет согласно сабжа. По поводу длины я уже придумал, как сократить длинну поля, по при этом, если верить точу, что сказал hvlad hvladFirebird сжимает записи и не хранит декларированную длину поля - только содержимое (с небольшим оверхедом)., это не поможет.
...
Рейтинг: 0 / 0
07.01.2011, 20:14
| Ответить | Цитировать | Написать  
Бесплатный сервер БД с возможностью динамического сжатия данных.
    #37048701
NetObserver
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
NetObserver
Участник
LarsikDi_LIne
Код: plaintext
1.
2.
3.
4.
5.
6.
7.
8.
9.
CREATE TABLE calendar(
  id BIGINT,
  date DATE NOT NULL,
  day SMALLINT,
  month SMALLINT,
  year SMALLINT,
  PRIMARY KEY (date),
  UNIQUE INDEX id (id)
)
За такое поектирование голову с другим местом менять надо.
Задлянафига для: day, month и year SMALLINT?

А за
Код: plaintext
url VARCHAR( 2000 )
еще и руки-ноги нужно менять.

Предложите свой вариант, может я не прав. Но в этой таблице за год накапливается 356 записей, а разделение сделано, для поиска по составному индексу. А по поводу VARCHAR(2000) не согласен, для хранения длинных URL адресов, что использовать тогда? Blob это еще хуже.

Предлагайте, я для этого и создал эту тему!

У меня была подобная задача - сжимал трафик. Пакеты до 4Kb. Использовал zlib. Сжатие в среднем 40% от исходного обьема(данные похожие - текст). При этом пакеты <200байт не сжимались (иначе пакет увеличивался, а не уменьшался). Могу посоветовать:
1)Написать пару UDF со сжаием\распаковкой и сжать длинные строки из базы. По запросу распаковывать.
2)Нафига в строке URL хранить название домена? " http://bs.yandex.ru" - у тебя же есть отдельная таблица domains?
3)Разобратся с URL кодированием, у тебя до 60% "лишних" данных из за этого.
...
Рейтинг: 0 / 0
07.01.2011, 20:18
| Ответить | Цитировать | Написать  
Бесплатный сервер БД с возможностью динамического сжатия данных.
    #37048703
Larsik
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Larsik
Участник
Andrey Sribnyakя в принципе не понимаю, ЗАЧЕМ??? когда мы храним полную дату необходимо записывать отдельно еще ГОД, МЕСЯЦ и ДЕНЬ???

Возможно есть какие-то тайные причины... тогда хотелось бы их услышать...

Конечно, я допускаю, что чего-то не понимаю ;-)

Читайте выше, по топику. А если лень, то я повторюсь - для составных индексов. Когда происходит выбор в диапазоне, проверено на практике, так быстрее.

Хотя все и дальше могут отвлекаться от основного вопроса топика, и обсуждать таблицу которая занимает менее одного 1% всего файла.
...
Рейтинг: 0 / 0
07.01.2011, 20:20
| Ответить | Цитировать | Написать  
Бесплатный сервер БД с возможностью динамического сжатия данных.
    #37048705
Фотография iscrafm
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
iscrafm
Участник
Larsik2. У тебя 50-70т за сутки, а у меня за 1 час столько записей, а строк в таблице Jurnal у меня 96 миллионов и баз 64 Гб.

у меня вообще ничего этого нет, ты адресом ошибся.
...
Рейтинг: 0 / 0
07.01.2011, 20:25
| Ответить | Цитировать | Написать  
Бесплатный сервер БД с возможностью динамического сжатия данных.
    #37048707
Larsik
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Larsik
Участник
iscrafm,

да это я Di_LIne
...
Рейтинг: 0 / 0
07.01.2011, 20:27
| Ответить | Цитировать | Написать  
Бесплатный сервер БД с возможностью динамического сжатия данных.
    #37048749
Фотография -2-
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
-2-
Участник
Как часто приходится разбирать содержимое урла? Если содержимое не используется для поиска, храните колонку в отдельном файле на дешевом диске, хоть по usb подключить террабайтник. Можно попробовать прозрачно-сжимать файл средствами ОС, но с осторожностью - сжатие увеличит нагрузку на процессор и время доступа. Если FB поддерживает directio - этот режим может запортить сжатый средствами ОС файл.
Не знаю как это в FB с вертикальным партиционированием или хранением блобов в отдельном файле, на крайний, можно положить url в отдельную таблицу, а в мастер-таблице только ключ.
...
Рейтинг: 0 / 0
07.01.2011, 21:38
| Ответить | Цитировать | Написать  
25 сообщений из 92, страница 2 из 4
  2  все
Форумы / Сравнение СУБД [игнор отключен] [закрыт для гостей] / Бесплатный сервер БД с возможностью динамического сжатия данных.
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение
NoSQL.ru       Новости, Чат       Фотоальбом: Участники, Встречи
Закрыть
start [/forum/topic.php?fid=35&msg=37048468&tid=1552697]:
 0ms
get settings:
 10ms
get forum list:
 15ms
check forum access:
 4ms
check topic access:
 4ms
track hit:
 56ms
get topic data:
 10ms
get forum data:
 3ms
get page messages:
 60ms
get tp. blocked users:
 1ms
others: 243ms
total:  406ms
созд. / загр.: 406ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]