ReSQL.ru
     
powered by simpleCommunicator - 2.0.59     © 2025 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / Сравнение СУБД [игнор отключен] [закрыт для гостей] / Бесплатный сервер БД с возможностью динамического сжатия данных.
25 сообщений из 92, страница 1 из 4
  1  все
Бесплатный сервер БД с возможностью динамического сжатия данных.
    #37048309
Larsik
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Larsik
Участник
Есть проект на FB, все замечательно, НО очень сильно растет размер файла.
За прошедший год размер БД увеличился на 40ГБ, у меня при таком росте файла не хватит места, на планируемый срок.

Мои предположения роста файла, это поле поле VARCHAR(2000), но по требованиям к ПО такое поле должно быть, там хранится URL куда ходил пользователь.

Что можно выбрать, что бы у меня такие поля сжимались?


--------------------------------------------------------------
Изменить мир возможно, но не каждому это под силу
...
Рейтинг: 0 / 0
07.01.2011, 12:11
| Ответить | Цитировать | Написать  
Бесплатный сервер БД с возможностью динамического сжатия данных.
    #37048312
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Dimitry Sibiryakov
Участник
LarsikЗа прошедший год размер БД увеличился на 40ГБ, у меня при таком росте файла не хватит
места, на планируемый срок.

Пойди в магазин и купи террабайтный винт. Хватит на 25 лет.
Posted via ActualForum NNTP Server 1.4
...
Рейтинг: 0 / 0
07.01.2011, 12:17
| Ответить | Цитировать | Написать  
Бесплатный сервер БД с возможностью динамического сжатия данных.
    #37048317
Larsik
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Larsik
Участник
Dimitry SibiryakovLarsikЗа прошедший год размер БД увеличился на 40ГБ, у меня при таком росте файла не хватит
места, на планируемый срок.

Пойди в магазин и купи террабайтный винт. Хватит на 25 лет.


Ну если вы мне покажите, где можно купить 1Tb SCSI винт, то я прикуплю, и не один, а 10.
Да еще и обновление биоса для IBM ServerRAID 7 сделаете, Вам вообще не будет равных!
...
Рейтинг: 0 / 0
07.01.2011, 12:21
| Ответить | Цитировать | Написать  
Бесплатный сервер БД с возможностью динамического сжатия данных.
    #37048325
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Dimitry Sibiryakov
Участник
LarsikНу если вы мне покажите, где можно купить 1Tb SCSI винт, то я прикуплю, и не один, а 10.

http://www.nix.ru/autocatalog/hdd_seagate/HDD_Tb_SAS2.0_Seagate_Constellation_ES_ST31000424SS_99932.html
http://www.nix.ru/autocatalog/hdd_seagate/HDD_Tb_SAS_2.0_Seagate_Constellation_ES_SED_ST32000445SS_106042.html
http://www.nix.ru/autocatalog/hdd_ibm_hitachi/HDD_SAS_2.0_Hitachi_Ultrastar_15K600_HUS156060VLS600_15000rpm_95568.html
http://www.nix.ru/autocatalog/hdd_fujitsu/HDD_450_SAS_2.0_Toshiba_MBF245LRC_10025rpm_3.5_105628.html
Posted via ActualForum NNTP Server 1.4
...
Рейтинг: 0 / 0
07.01.2011, 12:31
| Ответить | Цитировать | Написать  
Бесплатный сервер БД с возможностью динамического сжатия данных.
    #37048333
Larsik
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Larsik
Участник
Dimitry Sibiryakov,

Спасибо большое!

Я наверное дебил, но все таки SAS отличается от SCSI 68-пинового. Да еще и RAID контроллер не поддерживает винты больше чем 160Gb.
...
Рейтинг: 0 / 0
07.01.2011, 12:39
| Ответить | Цитировать | Написать  
Бесплатный сервер БД с возможностью динамического сжатия данных.
    #37048338
Yo.!
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Yo.!
Гость
LarsikDimitry Sibiryakov,

Спасибо большое!

Я наверное дебил, но все таки SAS отличается от SCSI 68-пинового. Да еще и RAID контроллер не поддерживает винты больше чем 160Gb.

я по мск уже неделю ищу IBM DISK DRIVES 1TB HD 7200 6GBPS NL SAS 3.5IN HS [42D0777]
мне найти не удается. только под спец заказ за клилобакс.
...
Рейтинг: 0 / 0
07.01.2011, 12:43
| Ответить | Цитировать | Написать  
Бесплатный сервер БД с возможностью динамического сжатия данных.
    #37048340
Larsik
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Larsik
Участник
Может хватит флудить, дайте свои предложения, более конкретные.

Мне нужно хранить статистику использования Internet'a за 5 лет. Требование СБ такое.
Все работает нормально, только места не хватает. Готов перененсти все на другую СУБД, где строки могут быть сжаты сильнее, чем в FB
...
Рейтинг: 0 / 0
07.01.2011, 12:47
| Ответить | Цитировать | Написать  
Бесплатный сервер БД с возможностью динамического сжатия данных.
    #37048342
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Dimitry Sibiryakov
Участник
LarsikЯ наверное дебил, но все таки SAS отличается от SCSI 68-пинового. Да еще и RAID контроллер
не поддерживает винты больше чем 160Gb.

Так, может, позволишь этому динозавру наконец-то умереть?.. Или таки потрёшь порнуху... 10
винтов по 160 Гб в RAID 5 дают всё тот же террабайт.

И, кстати, можешь искать пока не заржавеешь, но по компактности хранения данных Firebird
равных нет.
Posted via ActualForum NNTP Server 1.4
...
Рейтинг: 0 / 0
07.01.2011, 12:49
| Ответить | Цитировать | Написать  
Бесплатный сервер БД с возможностью динамического сжатия данных.
    #37048348
Larsik
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Larsik
Участник
Dimitry SibiryakovТак, может, позволишь этому динозавру наконец-то умереть?.. Или таки потрёшь порнуху... 10
винтов по 160 Гб в RAID 5 дают всё тот же террабайт.

Ну тут Вы не правы, железка великолепно справляется с задачами, поставленными ей. Винтов максимум в нее впихнуть можно только 6, а не 10. Да и порнухи нет, не судите людей по себе.

Dimitry SibiryakovИ, кстати, можешь искать пока не заржавеешь, но по компактности хранения данных Firebird
равных нет.


Не знаю, не видел, приведите тесты, сравнения с другой СУБД. Холивар устраивать не хочу и не буду, мне самому, очень нравится FB, но если есть система у которой данные более компактно хранятся это будет великолепно.


PS
Dimitry Sibiryakov

Не стоит думать, что Вы самый умный. Мы тоже все вокруг, не пальцем деланные, может я не такой спец, как Вы в FB, но в другом я смогу Вам нос утереть. Подумайте на досуге.
...
Рейтинг: 0 / 0
07.01.2011, 12:58
| Ответить | Цитировать | Написать  
Бесплатный сервер БД с возможностью динамического сжатия данных.
    #37048353
Siemargl
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Siemargl
Участник
Larsik,

1)А может заказать сервер начального уровня на SATA RAID? Неизвестно, что больше замедлит - SATA или сжатие. Цена вопроса сравнима с заменой дисков на большие SCSI.
2)Можно в базе хранить ссылки на текстовые логи. А логи сжимать средствами NTFS или прикрутить зипование например суточных фрагментов.
3)Слышал, что в MySQL есть compress engine.
...
Рейтинг: 0 / 0
07.01.2011, 13:04
| Ответить | Цитировать | Написать  
Бесплатный сервер БД с возможностью динамического сжатия данных.
    #37048356
Siemargl
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Siemargl
Участник
Siemargl3)Слышал, что в MySQL есть compress engine. http://dev.mysql.com/tech-resources/articles/storage-engine.html
...
Рейтинг: 0 / 0
07.01.2011, 13:06
| Ответить | Цитировать | Написать  
Бесплатный сервер БД с возможностью динамического сжатия данных.
    #37048358
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Dimitry Sibiryakov
Участник
LarsikНу тут Вы не правы, железка великолепно справляется с задачами, поставленными ей. Винтов
максимум в нее впихнуть можно только 6, а не 10. Да и порнухи нет, не судите людей по себе.

40 гигабайт на 5 лет составляет 200 гигабайт. RAID 10 на шести винтах даст тебе более 400.
Чем ты забил оставшиеся 200 что тебе не хватает?

LarsikНе знаю, не видел, приведите тесты, сравнения с другой СУБД.
В поиск. В этом разделе kdv когда-то предлагал как раз померяться компактностью хранения.
Желающих не нашлось. Более того, никто вообще не понял о чём идёт речь и куда компактность
хранения упирается.

Larsikможет я не такой спец, как Вы в FB, но в другом я смогу Вам нос утереть

Мои познания в FB сильно преувеличены ((с) Влад Х.), но давай поищем что-нибудь в чём Вы
сможете утереть мне нос. Забег на 10 километров? Да, скорее всего.
Posted via ActualForum NNTP Server 1.4
...
Рейтинг: 0 / 0
07.01.2011, 13:07
| Ответить | Цитировать | Написать  
Бесплатный сервер БД с возможностью динамического сжатия данных.
    #37048362
Фотография vadiminfo
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
vadiminfo
Участник
Dimitry Sibiryakov... но по компактности хранения данных Firebird
равных нет.

Даже Оракл? Все же думау, что без дополнительных подтверждений, рано сбрасыать его со счетов. Все же нуно проверить все возможности его фич (включая сжатие - типа попадалось упоминание и о таком). По крайней мере, када речь идет о компактонсти измеряемой в гигабайтах. Конечно, меньше 1 Гб он, наверное, не претендует на комактность. А вот выше нуно смотреть. А так как-то не сталкивался, чтобы росло из-за VARCHAR(2000), и уж точно моно более или менее однозначно определить из-за чего в нем что растет.
...
Рейтинг: 0 / 0
07.01.2011, 13:13
| Ответить | Цитировать | Написать  
Бесплатный сервер БД с возможностью динамического сжатия данных.
    #37048364
hvlad
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
hvlad
Участник
Dimitry Sibiryakovпо компактности хранения данных Firebird равных нет.Зачем делать такие заявления ?
А потом плодятся сказки о неадекватности всех FB-пользователей...
...
Рейтинг: 0 / 0
07.01.2011, 13:18
| Ответить | Цитировать | Написать  
Бесплатный сервер БД с возможностью динамического сжатия данных.
    #37048369
hvlad
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
hvlad
Участник
LarsikЕсть проект на FB, все замечательно, НО очень сильно растет размер файла.
За прошедший год размер БД увеличился на 40ГБ, у меня при таком росте файла не хватит места, на планируемый срок.На всякий случай спрошу - есть уверенность, что это не накопившийся мусор ?

LarsikМои предположения роста файла, это поле поле VARCHAR(2000), но по требованиям к ПО такое поле должно быть, там хранится URL куда ходил пользователь.На сколько, в среднем, заполнено это поле ? Firebird сжимает записи и не хранит декларированную длину поля - только содержимое (с небольшим оверхедом).

LarsikЧто можно выбрать, что бы у меня такие поля сжимались?Чудес не бывает. Можно выбрать одну из новомодных СУБД, хранящих данные поколоночно, но там будут другие проблемы.
...
Рейтинг: 0 / 0
07.01.2011, 13:23
| Ответить | Цитировать | Написать  
Бесплатный сервер БД с возможностью динамического сжатия данных.
    #37048372
Larsik
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Larsik
Участник
Dimitry Sibiryakov,

Я смотрю, не получается нормального диалога с Вами.
Dimitry Sibiryakovно давай поищем что-нибудь в чём Вы сможете утереть мне нос

В моем отношении к людям и моей воспитанности и адекватности. Я задал вопрос про СУБД, а не про сервера и жесткие диски, если мне нужен будет совет про железо, то я пойду на тематический форум.

vadiminfo,

Схема данных такая, что основное место занимает как раз таблица с этим полем, ну и конечно индексы.
Код: plaintext
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
25.
26.
27.
28.
29.
30.
31.
32.
33.
34.
35.
36.
37.
38.
39.
CREATE TABLE calendar(
  id BIGINT,
  date DATE NOT NULL,
  day SMALLINT,
  month SMALLINT,
  year SMALLINT,
  PRIMARY KEY (date),
  UNIQUE INDEX id (id)
)

CREATE TABLE domains(
  id BIGINT,
  name VARCHAR( 100 ),
  isLocal smallint,
  iswarning smallint,
  PRIMARY KEY (name),
  UNIQUE INDEX id (id)
)

CREATE TABLE users(
  id BIGINT,
  name VARCHAR( 100 ),
  PRIMARY KEY (name),
  UNIQUE INDEX id (id)
)

CREATE TABLE jurnal(
  id BIGINT,
  id_date BIGINT,
  time TIME NOT NULL,
  id_user,
  ipadress VARCHAR( 16 ),
  id_domain BIGINT,
  url VARCHAR( 2000 ),
  code SMALLINT,
  size BIGINT,
  iserror SMALLINT,
  UNIQUE INDEX id (id)
)

Соответственно в таблице Jurnal есть FK на PK 3 других таблиц. Если Вы мне подскажите из за чего может расти, буду благодарен Вам.
...
Рейтинг: 0 / 0
07.01.2011, 13:25
| Ответить | Цитировать | Написать  
Бесплатный сервер БД с возможностью динамического сжатия данных.
    #37048378
Larsik
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Larsik
Участник
hvladLarsikЕсть проект на FB, все замечательно, НО очень сильно растет размер файла.
За прошедший год размер БД увеличился на 40ГБ, у меня при таком росте файла не хватит места, на планируемый срок.На всякий случай спрошу - есть уверенность, что это не накопившийся мусор ?


Возможно, как его тогда почистить?

hvladLarsikМои предположения роста файла, это поле поле VARCHAR(2000), но по требованиям к ПО такое поле должно быть, там хранится URL куда ходил пользователь.На сколько, в среднем, заполнено это поле ? Firebird сжимает записи и не хранит декларированную длину поля - только содержимое (с небольшим оверхедом).


Я думаю в среднем около 60%, есть много Web-сервисов внутренних, а там url очень длинный.

hvladLarsikЧто можно выбрать, что бы у меня такие поля сжимались?Чудес не бывает. Можно выбрать одну из новомодных СУБД, хранящих данные поколоночно, но там будут другие проблемы.

Я знаю и работаю с FB и немного с ASA11 (но он платный), знал бы другие не спрашивал бы совета у сообщества.
...
Рейтинг: 0 / 0
07.01.2011, 13:30
| Ответить | Цитировать | Написать  
Бесплатный сервер БД с возможностью динамического сжатия данных.
    #37048382
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Dimitry Sibiryakov
Участник
hvladЗачем делать такие заявления ?
За тем, что опровергнуть это ещё никому не удалось. Желающие сделать это могут повторить
вот это: http://ibase.ru/devinfo/fb1tbtech.htm Т.е. залить в свою СУБД данные для TPC-C на
12500 warehouses и рассказать всем присутствующим сколько места заняла база.
Posted via ActualForum NNTP Server 1.4
...
Рейтинг: 0 / 0
07.01.2011, 13:33
| Ответить | Цитировать | Написать  
Бесплатный сервер БД с возможностью динамического сжатия данных.
    #37048389
Yo.!
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Yo.!
Гость
Dimitry SibiryakovЗа тем, что опровергнуть это ещё никому не удалось. Желающие сделать это могут повторить
вот это: http://ibase.ru/devinfo/fb1tbtech.htm Т.е. залить в свою СУБД данные для TPC-C на
12500 warehouses и рассказать всем присутствующим сколько места заняла база.

тебе показать какие транзакции запустить на эту базу чтоб эта база за счет мусора распухла в десятки раз больше чем база любой промышленной субд ?
...
Рейтинг: 0 / 0
07.01.2011, 13:40
| Ответить | Цитировать | Написать  
Бесплатный сервер БД с возможностью динамического сжатия данных.
    #37048397
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Dimitry Sibiryakov
Участник
Yo.!тебе показать какие транзакции запустить на эту базу чтоб эта база за счет мусора распухла
в десятки раз больше чем база любой промышленной субд ?

Мы не об этом в данном топике говорим. Для Оракула будет достаточно одного запроса delete
from order_line, чтобы логи переросли любые разумные и неразумные размеры.
Posted via ActualForum NNTP Server 1.4
...
Рейтинг: 0 / 0
07.01.2011, 13:45
| Ответить | Цитировать | Написать  
Бесплатный сервер БД с возможностью динамического сжатия данных.
    #37048398
hvlad
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
hvlad
Участник
LarsikhvladНа всякий случай спрошу - есть уверенность, что это не накопившийся мусор ?Возможно, как его тогда почистить?Как обычно - sweep'ом. Сделай gstat -r и покажи результат, можно в более правильном форуме, можно мне мылом.

LarsikhvladНа сколько, в среднем, заполнено это поле ? Firebird сжимает записи и не хранит декларированную длину поля - только содержимое (с небольшим оверхедом).Я думаю в среднем около 60%, есть много Web-сервисов внутренних, а там url очень длинный.
Это легко определить запросом
Код: plaintext
SELECT AVG(CHAR_LENGTH(url)) FROM jurnal
...
Рейтинг: 0 / 0
07.01.2011, 13:46
| Ответить | Цитировать | Написать  
Бесплатный сервер БД с возможностью динамического сжатия данных.
    #37048402
hvlad
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
hvlad
Участник
Dimitry SibiryakovhvladЗачем делать такие заявления ?За тем, что опровергнуть это ещё никому не удалось. Не нужно глупости публично говорить. На коротких записях FB имеет значительный оверхед.
Вот насчёт индексов пожалуй соглашусь, хотя префиксную компрессию ключей вроде и другие научились делать (оракл ? не помню)
...
Рейтинг: 0 / 0
07.01.2011, 13:49
| Ответить | Цитировать | Написать  
Бесплатный сервер БД с возможностью динамического сжатия данных.
    #37048407
Фотография vadiminfo
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
vadiminfo
Участник
Larsik
vadiminfo,

Схема данных такая, что основное место занимает как раз таблица с этим полем, ну и конечно индексы.

Я имел в виду, что в Оракле можно посмотреть по факту: про анализировать таблы и индексы с помощью специальных команд или процедур, которые соберут статистику. И с помощью представлений словаря БД тупо посмотреть за счет чего БД имеет такие размеры. Ну и соотвественно можно делать анализы в разное время и сравнивать, и т.д.

А не самому сидеть теоретически там считать.
Если нуно планировать все равно проще по началу заполнить тестовыми данными и с помощью средств СУБД все посчитать.
...
Рейтинг: 0 / 0
07.01.2011, 13:53
| Ответить | Цитировать | Написать  
Бесплатный сервер БД с возможностью динамического сжатия данных.
    #37048409
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Dimitry Sibiryakov
Участник
hvladНа коротких записях FB имеет значительный оверхед.

Да, имеет. Но что заставляет тебя думать, что другие сервера - нет?
Posted via ActualForum NNTP Server 1.4
...
Рейтинг: 0 / 0
07.01.2011, 13:53
| Ответить | Цитировать | Написать  
Бесплатный сервер БД с возможностью динамического сжатия данных.
    #37048416
Larsik
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Larsik
Участник
hvladLarsikпропущено...
Возможно, как его тогда почистить?Как обычно - sweep'ом. Сделай gstat -r и покажи результат, можно в более правильном форуме, можно мне мылом.

Как долго будет идти эта операция?
...
Рейтинг: 0 / 0
07.01.2011, 14:00
| Ответить | Цитировать | Написать  
25 сообщений из 92, страница 1 из 4
  1  все
Форумы / Сравнение СУБД [игнор отключен] [закрыт для гостей] / Бесплатный сервер БД с возможностью динамического сжатия данных.
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение
NoSQL.ru       Новости, Чат       Фотоальбом: Участники, Встречи
Закрыть
start [/forum/topic.php?fid=35&msg=37048382&tid=1552697]:
 0ms
get settings:
 9ms
get forum list:
 12ms
check forum access:
 3ms
check topic access:
 3ms
track hit:
 23ms
get topic data:
 9ms
get forum data:
 2ms
get page messages:
 64ms
get tp. blocked users:
 1ms
others: 16ms
total:  142ms
созд. / загр.: 142ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]