Гость
Целевая тема:
Создать новую тему:
Автор:
Форумы / Сравнение СУБД [игнор отключен] [закрыт для гостей] / Бесплатный сервер БД с возможностью динамического сжатия данных. / 25 сообщений из 92, страница 1 из 4
07.01.2011, 12:11
    #37048309
Larsik
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Бесплатный сервер БД с возможностью динамического сжатия данных.
Есть проект на FB, все замечательно, НО очень сильно растет размер файла.
За прошедший год размер БД увеличился на 40ГБ, у меня при таком росте файла не хватит места, на планируемый срок.

Мои предположения роста файла, это поле поле VARCHAR(2000), но по требованиям к ПО такое поле должно быть, там хранится URL куда ходил пользователь.

Что можно выбрать, что бы у меня такие поля сжимались?


--------------------------------------------------------------
Изменить мир возможно, но не каждому это под силу
...
Рейтинг: 0 / 0
07.01.2011, 12:17
    #37048312
Dimitry Sibiryakov
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Бесплатный сервер БД с возможностью динамического сжатия данных.
LarsikЗа прошедший год размер БД увеличился на 40ГБ, у меня при таком росте файла не хватит
места, на планируемый срок.

Пойди в магазин и купи террабайтный винт. Хватит на 25 лет.
Posted via ActualForum NNTP Server 1.4
...
Рейтинг: 0 / 0
07.01.2011, 12:21
    #37048317
Larsik
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Бесплатный сервер БД с возможностью динамического сжатия данных.
Dimitry SibiryakovLarsikЗа прошедший год размер БД увеличился на 40ГБ, у меня при таком росте файла не хватит
места, на планируемый срок.

Пойди в магазин и купи террабайтный винт. Хватит на 25 лет.


Ну если вы мне покажите, где можно купить 1Tb SCSI винт, то я прикуплю, и не один, а 10.
Да еще и обновление биоса для IBM ServerRAID 7 сделаете, Вам вообще не будет равных!
...
Рейтинг: 0 / 0
07.01.2011, 12:31
    #37048325
Dimitry Sibiryakov
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Бесплатный сервер БД с возможностью динамического сжатия данных.
...
Рейтинг: 0 / 0
07.01.2011, 12:39
    #37048333
Larsik
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Бесплатный сервер БД с возможностью динамического сжатия данных.
Dimitry Sibiryakov,

Спасибо большое!

Я наверное дебил, но все таки SAS отличается от SCSI 68-пинового. Да еще и RAID контроллер не поддерживает винты больше чем 160Gb.
...
Рейтинг: 0 / 0
07.01.2011, 12:43
    #37048338
Yo.!
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Бесплатный сервер БД с возможностью динамического сжатия данных.
LarsikDimitry Sibiryakov,

Спасибо большое!

Я наверное дебил, но все таки SAS отличается от SCSI 68-пинового. Да еще и RAID контроллер не поддерживает винты больше чем 160Gb.

я по мск уже неделю ищу IBM DISK DRIVES 1TB HD 7200 6GBPS NL SAS 3.5IN HS [42D0777]
мне найти не удается. только под спец заказ за клилобакс.
...
Рейтинг: 0 / 0
07.01.2011, 12:47
    #37048340
Larsik
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Бесплатный сервер БД с возможностью динамического сжатия данных.
Может хватит флудить, дайте свои предложения, более конкретные.

Мне нужно хранить статистику использования Internet'a за 5 лет. Требование СБ такое.
Все работает нормально, только места не хватает. Готов перененсти все на другую СУБД, где строки могут быть сжаты сильнее, чем в FB
...
Рейтинг: 0 / 0
07.01.2011, 12:49
    #37048342
Dimitry Sibiryakov
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Бесплатный сервер БД с возможностью динамического сжатия данных.
LarsikЯ наверное дебил, но все таки SAS отличается от SCSI 68-пинового. Да еще и RAID контроллер
не поддерживает винты больше чем 160Gb.

Так, может, позволишь этому динозавру наконец-то умереть?.. Или таки потрёшь порнуху... 10
винтов по 160 Гб в RAID 5 дают всё тот же террабайт.

И, кстати, можешь искать пока не заржавеешь, но по компактности хранения данных Firebird
равных нет.
Posted via ActualForum NNTP Server 1.4
...
Рейтинг: 0 / 0
07.01.2011, 12:58
    #37048348
Larsik
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Бесплатный сервер БД с возможностью динамического сжатия данных.
Dimitry SibiryakovТак, может, позволишь этому динозавру наконец-то умереть?.. Или таки потрёшь порнуху... 10
винтов по 160 Гб в RAID 5 дают всё тот же террабайт.

Ну тут Вы не правы, железка великолепно справляется с задачами, поставленными ей. Винтов максимум в нее впихнуть можно только 6, а не 10. Да и порнухи нет, не судите людей по себе.

Dimitry SibiryakovИ, кстати, можешь искать пока не заржавеешь, но по компактности хранения данных Firebird
равных нет.


Не знаю, не видел, приведите тесты, сравнения с другой СУБД. Холивар устраивать не хочу и не буду, мне самому, очень нравится FB, но если есть система у которой данные более компактно хранятся это будет великолепно.


PS
Dimitry Sibiryakov

Не стоит думать, что Вы самый умный. Мы тоже все вокруг, не пальцем деланные, может я не такой спец, как Вы в FB, но в другом я смогу Вам нос утереть. Подумайте на досуге.
...
Рейтинг: 0 / 0
07.01.2011, 13:04
    #37048353
Siemargl
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Бесплатный сервер БД с возможностью динамического сжатия данных.
Larsik,

1)А может заказать сервер начального уровня на SATA RAID? Неизвестно, что больше замедлит - SATA или сжатие. Цена вопроса сравнима с заменой дисков на большие SCSI.
2)Можно в базе хранить ссылки на текстовые логи. А логи сжимать средствами NTFS или прикрутить зипование например суточных фрагментов.
3)Слышал, что в MySQL есть compress engine.
...
Рейтинг: 0 / 0
07.01.2011, 13:06
    #37048356
Siemargl
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Бесплатный сервер БД с возможностью динамического сжатия данных.
Siemargl3)Слышал, что в MySQL есть compress engine. http://dev.mysql.com/tech-resources/articles/storage-engine.html
...
Рейтинг: 0 / 0
07.01.2011, 13:07
    #37048358
Dimitry Sibiryakov
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Бесплатный сервер БД с возможностью динамического сжатия данных.
LarsikНу тут Вы не правы, железка великолепно справляется с задачами, поставленными ей. Винтов
максимум в нее впихнуть можно только 6, а не 10. Да и порнухи нет, не судите людей по себе.

40 гигабайт на 5 лет составляет 200 гигабайт. RAID 10 на шести винтах даст тебе более 400.
Чем ты забил оставшиеся 200 что тебе не хватает?

LarsikНе знаю, не видел, приведите тесты, сравнения с другой СУБД.
В поиск. В этом разделе kdv когда-то предлагал как раз померяться компактностью хранения.
Желающих не нашлось. Более того, никто вообще не понял о чём идёт речь и куда компактность
хранения упирается.

Larsikможет я не такой спец, как Вы в FB, но в другом я смогу Вам нос утереть

Мои познания в FB сильно преувеличены ((с) Влад Х.), но давай поищем что-нибудь в чём Вы
сможете утереть мне нос. Забег на 10 километров? Да, скорее всего.
Posted via ActualForum NNTP Server 1.4
...
Рейтинг: 0 / 0
07.01.2011, 13:13
    #37048362
vadiminfo
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Бесплатный сервер БД с возможностью динамического сжатия данных.
Dimitry Sibiryakov... но по компактности хранения данных Firebird
равных нет.

Даже Оракл? Все же думау, что без дополнительных подтверждений, рано сбрасыать его со счетов. Все же нуно проверить все возможности его фич (включая сжатие - типа попадалось упоминание и о таком). По крайней мере, када речь идет о компактонсти измеряемой в гигабайтах. Конечно, меньше 1 Гб он, наверное, не претендует на комактность. А вот выше нуно смотреть. А так как-то не сталкивался, чтобы росло из-за VARCHAR(2000), и уж точно моно более или менее однозначно определить из-за чего в нем что растет.
...
Рейтинг: 0 / 0
07.01.2011, 13:18
    #37048364
hvlad
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Бесплатный сервер БД с возможностью динамического сжатия данных.
Dimitry Sibiryakovпо компактности хранения данных Firebird равных нет.Зачем делать такие заявления ?
А потом плодятся сказки о неадекватности всех FB-пользователей...
...
Рейтинг: 0 / 0
07.01.2011, 13:23
    #37048369
hvlad
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Бесплатный сервер БД с возможностью динамического сжатия данных.
LarsikЕсть проект на FB, все замечательно, НО очень сильно растет размер файла.
За прошедший год размер БД увеличился на 40ГБ, у меня при таком росте файла не хватит места, на планируемый срок.На всякий случай спрошу - есть уверенность, что это не накопившийся мусор ?

LarsikМои предположения роста файла, это поле поле VARCHAR(2000), но по требованиям к ПО такое поле должно быть, там хранится URL куда ходил пользователь.На сколько, в среднем, заполнено это поле ? Firebird сжимает записи и не хранит декларированную длину поля - только содержимое (с небольшим оверхедом).

LarsikЧто можно выбрать, что бы у меня такие поля сжимались?Чудес не бывает. Можно выбрать одну из новомодных СУБД, хранящих данные поколоночно, но там будут другие проблемы.
...
Рейтинг: 0 / 0
07.01.2011, 13:25
    #37048372
Larsik
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Бесплатный сервер БД с возможностью динамического сжатия данных.
Dimitry Sibiryakov,

Я смотрю, не получается нормального диалога с Вами.
Dimitry Sibiryakovно давай поищем что-нибудь в чём Вы сможете утереть мне нос

В моем отношении к людям и моей воспитанности и адекватности. Я задал вопрос про СУБД, а не про сервера и жесткие диски, если мне нужен будет совет про железо, то я пойду на тематический форум.

vadiminfo,

Схема данных такая, что основное место занимает как раз таблица с этим полем, ну и конечно индексы.
Код: plaintext
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
25.
26.
27.
28.
29.
30.
31.
32.
33.
34.
35.
36.
37.
38.
39.
CREATE TABLE calendar(
  id BIGINT,
  date DATE NOT NULL,
  day SMALLINT,
  month SMALLINT,
  year SMALLINT,
  PRIMARY KEY (date),
  UNIQUE INDEX id (id)
)

CREATE TABLE domains(
  id BIGINT,
  name VARCHAR( 100 ),
  isLocal smallint,
  iswarning smallint,
  PRIMARY KEY (name),
  UNIQUE INDEX id (id)
)

CREATE TABLE users(
  id BIGINT,
  name VARCHAR( 100 ),
  PRIMARY KEY (name),
  UNIQUE INDEX id (id)
)

CREATE TABLE jurnal(
  id BIGINT,
  id_date BIGINT,
  time TIME NOT NULL,
  id_user,
  ipadress VARCHAR( 16 ),
  id_domain BIGINT,
  url VARCHAR( 2000 ),
  code SMALLINT,
  size BIGINT,
  iserror SMALLINT,
  UNIQUE INDEX id (id)
)

Соответственно в таблице Jurnal есть FK на PK 3 других таблиц. Если Вы мне подскажите из за чего может расти, буду благодарен Вам.
...
Рейтинг: 0 / 0
07.01.2011, 13:30
    #37048378
Larsik
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Бесплатный сервер БД с возможностью динамического сжатия данных.
hvladLarsikЕсть проект на FB, все замечательно, НО очень сильно растет размер файла.
За прошедший год размер БД увеличился на 40ГБ, у меня при таком росте файла не хватит места, на планируемый срок.На всякий случай спрошу - есть уверенность, что это не накопившийся мусор ?


Возможно, как его тогда почистить?

hvladLarsikМои предположения роста файла, это поле поле VARCHAR(2000), но по требованиям к ПО такое поле должно быть, там хранится URL куда ходил пользователь.На сколько, в среднем, заполнено это поле ? Firebird сжимает записи и не хранит декларированную длину поля - только содержимое (с небольшим оверхедом).


Я думаю в среднем около 60%, есть много Web-сервисов внутренних, а там url очень длинный.

hvladLarsikЧто можно выбрать, что бы у меня такие поля сжимались?Чудес не бывает. Можно выбрать одну из новомодных СУБД, хранящих данные поколоночно, но там будут другие проблемы.

Я знаю и работаю с FB и немного с ASA11 (но он платный), знал бы другие не спрашивал бы совета у сообщества.
...
Рейтинг: 0 / 0
07.01.2011, 13:33
    #37048382
Dimitry Sibiryakov
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Бесплатный сервер БД с возможностью динамического сжатия данных.
hvladЗачем делать такие заявления ?
За тем, что опровергнуть это ещё никому не удалось. Желающие сделать это могут повторить
вот это: http://ibase.ru/devinfo/fb1tbtech.htm Т.е. залить в свою СУБД данные для TPC-C на
12500 warehouses и рассказать всем присутствующим сколько места заняла база.
Posted via ActualForum NNTP Server 1.4
...
Рейтинг: 0 / 0
07.01.2011, 13:40
    #37048389
Yo.!
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Бесплатный сервер БД с возможностью динамического сжатия данных.
Dimitry SibiryakovЗа тем, что опровергнуть это ещё никому не удалось. Желающие сделать это могут повторить
вот это: http://ibase.ru/devinfo/fb1tbtech.htm Т.е. залить в свою СУБД данные для TPC-C на
12500 warehouses и рассказать всем присутствующим сколько места заняла база.

тебе показать какие транзакции запустить на эту базу чтоб эта база за счет мусора распухла в десятки раз больше чем база любой промышленной субд ?
...
Рейтинг: 0 / 0
07.01.2011, 13:45
    #37048397
Dimitry Sibiryakov
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Бесплатный сервер БД с возможностью динамического сжатия данных.
Yo.!тебе показать какие транзакции запустить на эту базу чтоб эта база за счет мусора распухла
в десятки раз больше чем база любой промышленной субд ?

Мы не об этом в данном топике говорим. Для Оракула будет достаточно одного запроса delete
from order_line, чтобы логи переросли любые разумные и неразумные размеры.
Posted via ActualForum NNTP Server 1.4
...
Рейтинг: 0 / 0
07.01.2011, 13:46
    #37048398
hvlad
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Бесплатный сервер БД с возможностью динамического сжатия данных.
LarsikhvladНа всякий случай спрошу - есть уверенность, что это не накопившийся мусор ?Возможно, как его тогда почистить?Как обычно - sweep'ом. Сделай gstat -r и покажи результат, можно в более правильном форуме, можно мне мылом.

LarsikhvladНа сколько, в среднем, заполнено это поле ? Firebird сжимает записи и не хранит декларированную длину поля - только содержимое (с небольшим оверхедом).Я думаю в среднем около 60%, есть много Web-сервисов внутренних, а там url очень длинный.
Это легко определить запросом
Код: plaintext
SELECT AVG(CHAR_LENGTH(url)) FROM jurnal
...
Рейтинг: 0 / 0
07.01.2011, 13:49
    #37048402
hvlad
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Бесплатный сервер БД с возможностью динамического сжатия данных.
Dimitry SibiryakovhvladЗачем делать такие заявления ?За тем, что опровергнуть это ещё никому не удалось. Не нужно глупости публично говорить. На коротких записях FB имеет значительный оверхед.
Вот насчёт индексов пожалуй соглашусь, хотя префиксную компрессию ключей вроде и другие научились делать (оракл ? не помню)
...
Рейтинг: 0 / 0
07.01.2011, 13:53
    #37048407
vadiminfo
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Бесплатный сервер БД с возможностью динамического сжатия данных.
Larsik
vadiminfo,

Схема данных такая, что основное место занимает как раз таблица с этим полем, ну и конечно индексы.

Я имел в виду, что в Оракле можно посмотреть по факту: про анализировать таблы и индексы с помощью специальных команд или процедур, которые соберут статистику. И с помощью представлений словаря БД тупо посмотреть за счет чего БД имеет такие размеры. Ну и соотвественно можно делать анализы в разное время и сравнивать, и т.д.

А не самому сидеть теоретически там считать.
Если нуно планировать все равно проще по началу заполнить тестовыми данными и с помощью средств СУБД все посчитать.
...
Рейтинг: 0 / 0
07.01.2011, 13:53
    #37048409
Dimitry Sibiryakov
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Бесплатный сервер БД с возможностью динамического сжатия данных.
hvladНа коротких записях FB имеет значительный оверхед.

Да, имеет. Но что заставляет тебя думать, что другие сервера - нет?
Posted via ActualForum NNTP Server 1.4
...
Рейтинг: 0 / 0
07.01.2011, 14:00
    #37048416
Larsik
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Бесплатный сервер БД с возможностью динамического сжатия данных.
hvladLarsikпропущено...
Возможно, как его тогда почистить?Как обычно - sweep'ом. Сделай gstat -r и покажи результат, можно в более правильном форуме, можно мне мылом.

Как долго будет идти эта операция?
...
Рейтинг: 0 / 0
Форумы / Сравнение СУБД [игнор отключен] [закрыт для гостей] / Бесплатный сервер БД с возможностью динамического сжатия данных. / 25 сообщений из 92, страница 1 из 4
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]