ReSQL.ru
     
powered by simpleCommunicator - 2.0.59     © 2025 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / Сравнение СУБД [игнор отключен] [закрыт для гостей] / Бесплатный сервер БД с возможностью динамического сжатия данных.
92 сообщений из 92, показаны все 4 страниц
  все  
Бесплатный сервер БД с возможностью динамического сжатия данных.
    #37048309
Larsik
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Larsik
Участник
Есть проект на FB, все замечательно, НО очень сильно растет размер файла.
За прошедший год размер БД увеличился на 40ГБ, у меня при таком росте файла не хватит места, на планируемый срок.

Мои предположения роста файла, это поле поле VARCHAR(2000), но по требованиям к ПО такое поле должно быть, там хранится URL куда ходил пользователь.

Что можно выбрать, что бы у меня такие поля сжимались?


--------------------------------------------------------------
Изменить мир возможно, но не каждому это под силу
...
Рейтинг: 0 / 0
07.01.2011, 12:11
| Ответить | Цитировать | Написать  
Бесплатный сервер БД с возможностью динамического сжатия данных.
    #37048312
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Dimitry Sibiryakov
Участник
LarsikЗа прошедший год размер БД увеличился на 40ГБ, у меня при таком росте файла не хватит
места, на планируемый срок.

Пойди в магазин и купи террабайтный винт. Хватит на 25 лет.
Posted via ActualForum NNTP Server 1.4
...
Рейтинг: 0 / 0
07.01.2011, 12:17
| Ответить | Цитировать | Написать  
Бесплатный сервер БД с возможностью динамического сжатия данных.
    #37048317
Larsik
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Larsik
Участник
Dimitry SibiryakovLarsikЗа прошедший год размер БД увеличился на 40ГБ, у меня при таком росте файла не хватит
места, на планируемый срок.

Пойди в магазин и купи террабайтный винт. Хватит на 25 лет.


Ну если вы мне покажите, где можно купить 1Tb SCSI винт, то я прикуплю, и не один, а 10.
Да еще и обновление биоса для IBM ServerRAID 7 сделаете, Вам вообще не будет равных!
...
Рейтинг: 0 / 0
07.01.2011, 12:21
| Ответить | Цитировать | Написать  
Бесплатный сервер БД с возможностью динамического сжатия данных.
    #37048325
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Dimitry Sibiryakov
Участник
LarsikНу если вы мне покажите, где можно купить 1Tb SCSI винт, то я прикуплю, и не один, а 10.

http://www.nix.ru/autocatalog/hdd_seagate/HDD_Tb_SAS2.0_Seagate_Constellation_ES_ST31000424SS_99932.html
http://www.nix.ru/autocatalog/hdd_seagate/HDD_Tb_SAS_2.0_Seagate_Constellation_ES_SED_ST32000445SS_106042.html
http://www.nix.ru/autocatalog/hdd_ibm_hitachi/HDD_SAS_2.0_Hitachi_Ultrastar_15K600_HUS156060VLS600_15000rpm_95568.html
http://www.nix.ru/autocatalog/hdd_fujitsu/HDD_450_SAS_2.0_Toshiba_MBF245LRC_10025rpm_3.5_105628.html
Posted via ActualForum NNTP Server 1.4
...
Рейтинг: 0 / 0
07.01.2011, 12:31
| Ответить | Цитировать | Написать  
Бесплатный сервер БД с возможностью динамического сжатия данных.
    #37048333
Larsik
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Larsik
Участник
Dimitry Sibiryakov,

Спасибо большое!

Я наверное дебил, но все таки SAS отличается от SCSI 68-пинового. Да еще и RAID контроллер не поддерживает винты больше чем 160Gb.
...
Рейтинг: 0 / 0
07.01.2011, 12:39
| Ответить | Цитировать | Написать  
Бесплатный сервер БД с возможностью динамического сжатия данных.
    #37048338
Yo.!
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Yo.!
Гость
LarsikDimitry Sibiryakov,

Спасибо большое!

Я наверное дебил, но все таки SAS отличается от SCSI 68-пинового. Да еще и RAID контроллер не поддерживает винты больше чем 160Gb.

я по мск уже неделю ищу IBM DISK DRIVES 1TB HD 7200 6GBPS NL SAS 3.5IN HS [42D0777]
мне найти не удается. только под спец заказ за клилобакс.
...
Рейтинг: 0 / 0
07.01.2011, 12:43
| Ответить | Цитировать | Написать  
Бесплатный сервер БД с возможностью динамического сжатия данных.
    #37048340
Larsik
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Larsik
Участник
Может хватит флудить, дайте свои предложения, более конкретные.

Мне нужно хранить статистику использования Internet'a за 5 лет. Требование СБ такое.
Все работает нормально, только места не хватает. Готов перененсти все на другую СУБД, где строки могут быть сжаты сильнее, чем в FB
...
Рейтинг: 0 / 0
07.01.2011, 12:47
| Ответить | Цитировать | Написать  
Бесплатный сервер БД с возможностью динамического сжатия данных.
    #37048342
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Dimitry Sibiryakov
Участник
LarsikЯ наверное дебил, но все таки SAS отличается от SCSI 68-пинового. Да еще и RAID контроллер
не поддерживает винты больше чем 160Gb.

Так, может, позволишь этому динозавру наконец-то умереть?.. Или таки потрёшь порнуху... 10
винтов по 160 Гб в RAID 5 дают всё тот же террабайт.

И, кстати, можешь искать пока не заржавеешь, но по компактности хранения данных Firebird
равных нет.
Posted via ActualForum NNTP Server 1.4
...
Рейтинг: 0 / 0
07.01.2011, 12:49
| Ответить | Цитировать | Написать  
Бесплатный сервер БД с возможностью динамического сжатия данных.
    #37048348
Larsik
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Larsik
Участник
Dimitry SibiryakovТак, может, позволишь этому динозавру наконец-то умереть?.. Или таки потрёшь порнуху... 10
винтов по 160 Гб в RAID 5 дают всё тот же террабайт.

Ну тут Вы не правы, железка великолепно справляется с задачами, поставленными ей. Винтов максимум в нее впихнуть можно только 6, а не 10. Да и порнухи нет, не судите людей по себе.

Dimitry SibiryakovИ, кстати, можешь искать пока не заржавеешь, но по компактности хранения данных Firebird
равных нет.


Не знаю, не видел, приведите тесты, сравнения с другой СУБД. Холивар устраивать не хочу и не буду, мне самому, очень нравится FB, но если есть система у которой данные более компактно хранятся это будет великолепно.


PS
Dimitry Sibiryakov

Не стоит думать, что Вы самый умный. Мы тоже все вокруг, не пальцем деланные, может я не такой спец, как Вы в FB, но в другом я смогу Вам нос утереть. Подумайте на досуге.
...
Рейтинг: 0 / 0
07.01.2011, 12:58
| Ответить | Цитировать | Написать  
Бесплатный сервер БД с возможностью динамического сжатия данных.
    #37048353
Siemargl
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Siemargl
Участник
Larsik,

1)А может заказать сервер начального уровня на SATA RAID? Неизвестно, что больше замедлит - SATA или сжатие. Цена вопроса сравнима с заменой дисков на большие SCSI.
2)Можно в базе хранить ссылки на текстовые логи. А логи сжимать средствами NTFS или прикрутить зипование например суточных фрагментов.
3)Слышал, что в MySQL есть compress engine.
...
Рейтинг: 0 / 0
07.01.2011, 13:04
| Ответить | Цитировать | Написать  
Бесплатный сервер БД с возможностью динамического сжатия данных.
    #37048356
Siemargl
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Siemargl
Участник
Siemargl3)Слышал, что в MySQL есть compress engine. http://dev.mysql.com/tech-resources/articles/storage-engine.html
...
Рейтинг: 0 / 0
07.01.2011, 13:06
| Ответить | Цитировать | Написать  
Бесплатный сервер БД с возможностью динамического сжатия данных.
    #37048358
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Dimitry Sibiryakov
Участник
LarsikНу тут Вы не правы, железка великолепно справляется с задачами, поставленными ей. Винтов
максимум в нее впихнуть можно только 6, а не 10. Да и порнухи нет, не судите людей по себе.

40 гигабайт на 5 лет составляет 200 гигабайт. RAID 10 на шести винтах даст тебе более 400.
Чем ты забил оставшиеся 200 что тебе не хватает?

LarsikНе знаю, не видел, приведите тесты, сравнения с другой СУБД.
В поиск. В этом разделе kdv когда-то предлагал как раз померяться компактностью хранения.
Желающих не нашлось. Более того, никто вообще не понял о чём идёт речь и куда компактность
хранения упирается.

Larsikможет я не такой спец, как Вы в FB, но в другом я смогу Вам нос утереть

Мои познания в FB сильно преувеличены ((с) Влад Х.), но давай поищем что-нибудь в чём Вы
сможете утереть мне нос. Забег на 10 километров? Да, скорее всего.
Posted via ActualForum NNTP Server 1.4
...
Рейтинг: 0 / 0
07.01.2011, 13:07
| Ответить | Цитировать | Написать  
Бесплатный сервер БД с возможностью динамического сжатия данных.
    #37048362
Фотография vadiminfo
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
vadiminfo
Участник
Dimitry Sibiryakov... но по компактности хранения данных Firebird
равных нет.

Даже Оракл? Все же думау, что без дополнительных подтверждений, рано сбрасыать его со счетов. Все же нуно проверить все возможности его фич (включая сжатие - типа попадалось упоминание и о таком). По крайней мере, када речь идет о компактонсти измеряемой в гигабайтах. Конечно, меньше 1 Гб он, наверное, не претендует на комактность. А вот выше нуно смотреть. А так как-то не сталкивался, чтобы росло из-за VARCHAR(2000), и уж точно моно более или менее однозначно определить из-за чего в нем что растет.
...
Рейтинг: 0 / 0
07.01.2011, 13:13
| Ответить | Цитировать | Написать  
Бесплатный сервер БД с возможностью динамического сжатия данных.
    #37048364
hvlad
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
hvlad
Участник
Dimitry Sibiryakovпо компактности хранения данных Firebird равных нет.Зачем делать такие заявления ?
А потом плодятся сказки о неадекватности всех FB-пользователей...
...
Рейтинг: 0 / 0
07.01.2011, 13:18
| Ответить | Цитировать | Написать  
Бесплатный сервер БД с возможностью динамического сжатия данных.
    #37048369
hvlad
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
hvlad
Участник
LarsikЕсть проект на FB, все замечательно, НО очень сильно растет размер файла.
За прошедший год размер БД увеличился на 40ГБ, у меня при таком росте файла не хватит места, на планируемый срок.На всякий случай спрошу - есть уверенность, что это не накопившийся мусор ?

LarsikМои предположения роста файла, это поле поле VARCHAR(2000), но по требованиям к ПО такое поле должно быть, там хранится URL куда ходил пользователь.На сколько, в среднем, заполнено это поле ? Firebird сжимает записи и не хранит декларированную длину поля - только содержимое (с небольшим оверхедом).

LarsikЧто можно выбрать, что бы у меня такие поля сжимались?Чудес не бывает. Можно выбрать одну из новомодных СУБД, хранящих данные поколоночно, но там будут другие проблемы.
...
Рейтинг: 0 / 0
07.01.2011, 13:23
| Ответить | Цитировать | Написать  
Бесплатный сервер БД с возможностью динамического сжатия данных.
    #37048372
Larsik
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Larsik
Участник
Dimitry Sibiryakov,

Я смотрю, не получается нормального диалога с Вами.
Dimitry Sibiryakovно давай поищем что-нибудь в чём Вы сможете утереть мне нос

В моем отношении к людям и моей воспитанности и адекватности. Я задал вопрос про СУБД, а не про сервера и жесткие диски, если мне нужен будет совет про железо, то я пойду на тематический форум.

vadiminfo,

Схема данных такая, что основное место занимает как раз таблица с этим полем, ну и конечно индексы.
Код: plaintext
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
25.
26.
27.
28.
29.
30.
31.
32.
33.
34.
35.
36.
37.
38.
39.
CREATE TABLE calendar(
  id BIGINT,
  date DATE NOT NULL,
  day SMALLINT,
  month SMALLINT,
  year SMALLINT,
  PRIMARY KEY (date),
  UNIQUE INDEX id (id)
)

CREATE TABLE domains(
  id BIGINT,
  name VARCHAR( 100 ),
  isLocal smallint,
  iswarning smallint,
  PRIMARY KEY (name),
  UNIQUE INDEX id (id)
)

CREATE TABLE users(
  id BIGINT,
  name VARCHAR( 100 ),
  PRIMARY KEY (name),
  UNIQUE INDEX id (id)
)

CREATE TABLE jurnal(
  id BIGINT,
  id_date BIGINT,
  time TIME NOT NULL,
  id_user,
  ipadress VARCHAR( 16 ),
  id_domain BIGINT,
  url VARCHAR( 2000 ),
  code SMALLINT,
  size BIGINT,
  iserror SMALLINT,
  UNIQUE INDEX id (id)
)

Соответственно в таблице Jurnal есть FK на PK 3 других таблиц. Если Вы мне подскажите из за чего может расти, буду благодарен Вам.
...
Рейтинг: 0 / 0
07.01.2011, 13:25
| Ответить | Цитировать | Написать  
Бесплатный сервер БД с возможностью динамического сжатия данных.
    #37048378
Larsik
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Larsik
Участник
hvladLarsikЕсть проект на FB, все замечательно, НО очень сильно растет размер файла.
За прошедший год размер БД увеличился на 40ГБ, у меня при таком росте файла не хватит места, на планируемый срок.На всякий случай спрошу - есть уверенность, что это не накопившийся мусор ?


Возможно, как его тогда почистить?

hvladLarsikМои предположения роста файла, это поле поле VARCHAR(2000), но по требованиям к ПО такое поле должно быть, там хранится URL куда ходил пользователь.На сколько, в среднем, заполнено это поле ? Firebird сжимает записи и не хранит декларированную длину поля - только содержимое (с небольшим оверхедом).


Я думаю в среднем около 60%, есть много Web-сервисов внутренних, а там url очень длинный.

hvladLarsikЧто можно выбрать, что бы у меня такие поля сжимались?Чудес не бывает. Можно выбрать одну из новомодных СУБД, хранящих данные поколоночно, но там будут другие проблемы.

Я знаю и работаю с FB и немного с ASA11 (но он платный), знал бы другие не спрашивал бы совета у сообщества.
...
Рейтинг: 0 / 0
07.01.2011, 13:30
| Ответить | Цитировать | Написать  
Бесплатный сервер БД с возможностью динамического сжатия данных.
    #37048382
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Dimitry Sibiryakov
Участник
hvladЗачем делать такие заявления ?
За тем, что опровергнуть это ещё никому не удалось. Желающие сделать это могут повторить
вот это: http://ibase.ru/devinfo/fb1tbtech.htm Т.е. залить в свою СУБД данные для TPC-C на
12500 warehouses и рассказать всем присутствующим сколько места заняла база.
Posted via ActualForum NNTP Server 1.4
...
Рейтинг: 0 / 0
07.01.2011, 13:33
| Ответить | Цитировать | Написать  
Бесплатный сервер БД с возможностью динамического сжатия данных.
    #37048389
Yo.!
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Yo.!
Гость
Dimitry SibiryakovЗа тем, что опровергнуть это ещё никому не удалось. Желающие сделать это могут повторить
вот это: http://ibase.ru/devinfo/fb1tbtech.htm Т.е. залить в свою СУБД данные для TPC-C на
12500 warehouses и рассказать всем присутствующим сколько места заняла база.

тебе показать какие транзакции запустить на эту базу чтоб эта база за счет мусора распухла в десятки раз больше чем база любой промышленной субд ?
...
Рейтинг: 0 / 0
07.01.2011, 13:40
| Ответить | Цитировать | Написать  
Бесплатный сервер БД с возможностью динамического сжатия данных.
    #37048397
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Dimitry Sibiryakov
Участник
Yo.!тебе показать какие транзакции запустить на эту базу чтоб эта база за счет мусора распухла
в десятки раз больше чем база любой промышленной субд ?

Мы не об этом в данном топике говорим. Для Оракула будет достаточно одного запроса delete
from order_line, чтобы логи переросли любые разумные и неразумные размеры.
Posted via ActualForum NNTP Server 1.4
...
Рейтинг: 0 / 0
07.01.2011, 13:45
| Ответить | Цитировать | Написать  
Бесплатный сервер БД с возможностью динамического сжатия данных.
    #37048398
hvlad
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
hvlad
Участник
LarsikhvladНа всякий случай спрошу - есть уверенность, что это не накопившийся мусор ?Возможно, как его тогда почистить?Как обычно - sweep'ом. Сделай gstat -r и покажи результат, можно в более правильном форуме, можно мне мылом.

LarsikhvladНа сколько, в среднем, заполнено это поле ? Firebird сжимает записи и не хранит декларированную длину поля - только содержимое (с небольшим оверхедом).Я думаю в среднем около 60%, есть много Web-сервисов внутренних, а там url очень длинный.
Это легко определить запросом
Код: plaintext
SELECT AVG(CHAR_LENGTH(url)) FROM jurnal
...
Рейтинг: 0 / 0
07.01.2011, 13:46
| Ответить | Цитировать | Написать  
Бесплатный сервер БД с возможностью динамического сжатия данных.
    #37048402
hvlad
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
hvlad
Участник
Dimitry SibiryakovhvladЗачем делать такие заявления ?За тем, что опровергнуть это ещё никому не удалось. Не нужно глупости публично говорить. На коротких записях FB имеет значительный оверхед.
Вот насчёт индексов пожалуй соглашусь, хотя префиксную компрессию ключей вроде и другие научились делать (оракл ? не помню)
...
Рейтинг: 0 / 0
07.01.2011, 13:49
| Ответить | Цитировать | Написать  
Бесплатный сервер БД с возможностью динамического сжатия данных.
    #37048407
Фотография vadiminfo
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
vadiminfo
Участник
Larsik
vadiminfo,

Схема данных такая, что основное место занимает как раз таблица с этим полем, ну и конечно индексы.

Я имел в виду, что в Оракле можно посмотреть по факту: про анализировать таблы и индексы с помощью специальных команд или процедур, которые соберут статистику. И с помощью представлений словаря БД тупо посмотреть за счет чего БД имеет такие размеры. Ну и соотвественно можно делать анализы в разное время и сравнивать, и т.д.

А не самому сидеть теоретически там считать.
Если нуно планировать все равно проще по началу заполнить тестовыми данными и с помощью средств СУБД все посчитать.
...
Рейтинг: 0 / 0
07.01.2011, 13:53
| Ответить | Цитировать | Написать  
Бесплатный сервер БД с возможностью динамического сжатия данных.
    #37048409
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Dimitry Sibiryakov
Участник
hvladНа коротких записях FB имеет значительный оверхед.

Да, имеет. Но что заставляет тебя думать, что другие сервера - нет?
Posted via ActualForum NNTP Server 1.4
...
Рейтинг: 0 / 0
07.01.2011, 13:53
| Ответить | Цитировать | Написать  
Бесплатный сервер БД с возможностью динамического сжатия данных.
    #37048416
Larsik
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Larsik
Участник
hvladLarsikпропущено...
Возможно, как его тогда почистить?Как обычно - sweep'ом. Сделай gstat -r и покажи результат, можно в более правильном форуме, можно мне мылом.

Как долго будет идти эта операция?
...
Рейтинг: 0 / 0
07.01.2011, 14:00
| Ответить | Цитировать | Написать  
Бесплатный сервер БД с возможностью динамического сжатия данных.
    #37048437
hvlad
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
hvlad
Участник
Dimitry SibiryakovhvladНа коротких записях FB имеет значительный оверхед.

Да, имеет. Но что заставляет тебя думать, что другие сервера - нет?
Знания и опыт, представь себе.
...
Рейтинг: 0 / 0
07.01.2011, 14:41
| Ответить | Цитировать | Написать  
Бесплатный сервер БД с возможностью динамического сжатия данных.
    #37048440
hvlad
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
hvlad
Участник
LarsikhvladКак обычно - sweep'ом. Сделай gstat -r и покажи результат, можно в более правильном форуме, можно мне мылом.
Как долго будет идти эта операция?Зависит от производительности ИО.
Судя по этому вопросу, ни то, ни другое ни разу не делалось ?...
...
Рейтинг: 0 / 0
07.01.2011, 14:43
| Ответить | Цитировать | Написать  
Бесплатный сервер БД с возможностью динамического сжатия данных.
    #37048445
SERG1257
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
SERG1257
Участник
Larsik Я думаю в среднем около 60%, есть много Web-сервисов внутренних, а там url очень длинный.
В лоб - разбейте его на условно постоянную и условно переменную часть нормализовав условно постоянную, если большую часть адреса составляют длинные параметры, нормализуйте их тоже. Совсем старые данные (старше года, или месяца) экспортируйте в файл с возможностью быстрого импорта если надо. Уверен, что это требование из разряда шоб было и требований мгновенного доступа к пятилетнему журналу внутренних веб служб не будет.
Larsik Бесплатный сервер БД с возможностью динамического сжатия данных
А риск потери ВСЕХ данных из-за недостатка опыта в неизвестной бесплатной субд плюс время на изучение/переписывание/тестирование не смущают.
...
Рейтинг: 0 / 0
07.01.2011, 15:00
| Ответить | Цитировать | Написать  
Бесплатный сервер БД с возможностью динамического сжатия данных.
    #37048450
Larsik
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Larsik
Участник
SERG1257,

Требования действительно такие, шоб было.

hvlad,
С рабочей БД не получается снять статистику, у меня подвисает аналитический сервис тогда.
Могу только с копии базы, с меньшим объемом.

Запрос
Код: plaintext
SELECT AVG(CHAR_LENGTH(url)) FROM jurnal
показал среднею длину 109
...
Рейтинг: 0 / 0
07.01.2011, 15:20
| Ответить | Цитировать | Написать  
Бесплатный сервер БД с возможностью динамического сжатия данных.
    #37048453
hvlad
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
hvlad
Участник
LarsikС рабочей БД не получается снять статистику, у меня подвисает аналитический сервис тогда.Странно.
Если так, то можно попробовать в часы минимальной загрузки БД (ночью ?)

LarsikМогу только с копии базы, с меньшим объемом.Если копия есть поднятый бекап, то смысла в этом нет. Иначе можно попробовать.

LarsikЗапрос
Код: plaintext
SELECT AVG(CHAR_LENGTH(url)) FROM jurnal
показал среднею длину 109Ну так это же совсем не 60% от 2000, не так ли ?

Сдаётся мне, что пора перейти в профильный форум, ибо мы всё больше уходим от "сравнения субд" :)
...
Рейтинг: 0 / 0
07.01.2011, 15:27
| Ответить | Цитировать | Написать  
Бесплатный сервер БД с возможностью динамического сжатия данных.
    #37048454
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Dimitry Sibiryakov
Участник
hvladЗнания и опыт, представь себе.

У TPC-C как раз записи короткие. Насколько Оракул выигрывает по объёму базы?
Posted via ActualForum NNTP Server 1.4
...
Рейтинг: 0 / 0
07.01.2011, 15:29
| Ответить | Цитировать | Написать  
Бесплатный сервер БД с возможностью динамического сжатия данных.
    #37048456
hvlad
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
hvlad
Участник
Dimitry SibiryakovhvladЗнания и опыт, представь себе.

У TPC-C как раз записи короткие. Насколько Оракул выигрывает по объёму базы?
Измерь, тебе же интересно. Или найми меня (ты любишь оказывать платные услуги)
...
Рейтинг: 0 / 0
07.01.2011, 15:35
| Ответить | Цитировать | Написать  
Бесплатный сервер БД с возможностью динамического сжатия данных.
    #37048457
Larsik
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Larsik
Участник
hvladLarsikС рабочей БД не получается снять статистику, у меня подвисает аналитический сервис тогда.Странно.
Если так, то можно попробовать в часы минимальной загрузки БД (ночью ?)

Можно попробовать, но не вижу смысла (с учетом Вашего поста на счет бекапной версии), в выходные (суббота, воскресенье) делается полный бекап/рестор базы, и пересчет индексов.

hvladLarsikМогу только с копии базы, с меньшим объемом.Если копия есть поднятый бекап, то смысла в этом нет. Иначе можно попробовать.

Да копия из бекапа.

hvladLarsikЗапрос
Код: plaintext
SELECT AVG(CHAR_LENGTH(url)) FROM jurnal
показал среднею длину 109Ну так это же совсем не 60% от 2000, не так ли ?

Согласен!

hvladСдаётся мне, что пора перейти в профильный форум, ибо мы всё больше уходим от "сравнения субд" :)
И тут согласен!
...
Рейтинг: 0 / 0
07.01.2011, 15:35
| Ответить | Цитировать | Написать  
Бесплатный сервер БД с возможностью динамического сжатия данных.
    #37048459
hvlad
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
hvlad
Участник
Larsikв выходные (суббота, воскресенье) делается полный бекап/рестор базыВ таком случае вопрос о мусоре отпадает сам собой.
Но не вопрос о пользе\возможности сжатия данных.
...
Рейтинг: 0 / 0
07.01.2011, 15:36
| Ответить | Цитировать | Написать  
Бесплатный сервер БД с возможностью динамического сжатия данных.
    #37048464
Larsik
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Larsik
Участник
hvlad,

Получается так.

оффтоп:
Я со своей работой скоро свихнуть
...
Рейтинг: 0 / 0
07.01.2011, 15:44
| Ответить | Цитировать | Написать  
Бесплатный сервер БД с возможностью динамического сжатия данных.
    #37048468
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Dimitry Sibiryakov
Участник
hvladИзмерь, тебе же интересно.

Мне - неинтересно. Классовое чутьё утверждает, что сравнение будет в пользу Firebird и я
ему доверяю.
Posted via ActualForum NNTP Server 1.4
...
Рейтинг: 0 / 0
07.01.2011, 15:54
| Ответить | Цитировать | Написать  
Бесплатный сервер БД с возможностью динамического сжатия данных.
    #37048499
Фотография Di_LIne
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Di_LIne
Участник
Код: plaintext
1.
2.
3.
4.
5.
6.
7.
8.
9.
CREATE TABLE calendar(
  id BIGINT,
  date DATE NOT NULL,
  day SMALLINT,
  month SMALLINT,
  year SMALLINT,
  PRIMARY KEY (date),
  UNIQUE INDEX id (id)
)
За такое поектирование голову с другим местом менять надо.
Задлянафига для: day, month и year SMALLINT?

А за
Код: plaintext
url VARCHAR( 2000 )
еще и руки-ноги нужно менять.
...
Рейтинг: 0 / 0
07.01.2011, 16:44
| Ответить | Цитировать | Написать  
Бесплатный сервер БД с возможностью динамического сжатия данных.
    #37048509
Larsik
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Larsik
Участник
Di_LIne
Код: plaintext
1.
2.
3.
4.
5.
6.
7.
8.
9.
CREATE TABLE calendar(
  id BIGINT,
  date DATE NOT NULL,
  day SMALLINT,
  month SMALLINT,
  year SMALLINT,
  PRIMARY KEY (date),
  UNIQUE INDEX id (id)
)
За такое поектирование голову с другим местом менять надо.
Задлянафига для: day, month и year SMALLINT?

А за
Код: plaintext
url VARCHAR( 2000 )
еще и руки-ноги нужно менять.

Предложите свой вариант, может я не прав. Но в этой таблице за год накапливается 356 записей, а разделение сделано, для поиска по составному индексу. А по поводу VARCHAR(2000) не согласен, для хранения длинных URL адресов, что использовать тогда? Blob это еще хуже.

Предлагайте, я для этого и создал эту тему!
...
Рейтинг: 0 / 0
07.01.2011, 16:53
| Ответить | Цитировать | Написать  
Бесплатный сервер БД с возможностью динамического сжатия данных.
    #37048522
Larsik
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Larsik
Участник
Di_LIne
А за
Код: plaintext
url VARCHAR( 2000 )
еще и руки-ноги нужно менять.

Вот эту строку запишите мне в другое поле (длина этого запроса 1000 символов, я взял первый попавшийся)
http://bs.yandex.ru/watch/12441?rn=110211&cnt-class=1&page-ref=http%3A%2F%2Fyandex.ru%2Fyandsearch%3Ftext%3D%25D0%259F%25D1%2580%25D0%25BE%25D0%25B4%25D1%2583%25D0%25BA%25D1%2586%25D0%25B8%25D1%258F%2B%25D0%25A1%25D0%25B5%25D0%25B2%25D0%25B5%25D1%2580%25D0%25BD%25D1%258B%25D0%25B9%2B%25D0%2592%25D0%25B5%25D1%2582%25D0%25B5%25D1%2580-%25D0%259F%25D0%25BE%25D0%25BB%25D0%25B8%25D0%25B3%25D1%2580%25D0%25B0%25D1%2584%25D0%25B8%25D1%258F%26lr%3D213%26stpar2%3D%252Fh1%252Ftm37%252Fs1%26stpar4%3D%252Fs1%26stpar1%3D%252Fu0&page-url=http%3A%2F%2Fopenmarket.ru%2Fviewoffer.asp%3Fid%3D22599&browser-info=j:1:s:320x256x32:f:10.0.12.36:t:%22%D0%A1%D0%B5%D0%B2%D0%B5%D1%80%D0%BD%D1%8B%D0%B9%20%D0%B2%D0%B5%D1%82%D0%B5%D1%80%20-%20%D0%9F%D0%BE%D0%BB%D0%B8%D0%B3%D1%80%D0%B0%D1%84%D0%B8%D1%8F%22%20%D0%9E%D0%9E%D0%9E%20%E2%80%94%20%D0%9C%D0%BE%D1%81%D0%BA%D0%B2%D0%B0%20%E2%80%94%20%D0%9F%D1%80%D0%BE%D0%B8%D0%B7%D0%B2%D0%BE%D0%B4%D0%B8%D1%82%D0%B5%D0%BB%D0%B8%20%D1%82%D0%BE%D0%B2%D0%B0%D1%80%D0%BE%D0%B2%20%D0
...
Рейтинг: 0 / 0
07.01.2011, 17:10
| Ответить | Цитировать | Написать  
Бесплатный сервер БД с возможностью динамического сжатия данных.
    #37048625
Фотография Di_LIne
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Di_LIne
Участник
LarsikВот эту строку запишите мне в другое поле (длина этого запроса 1000 символов, я взял первый попавшийся)
Ну я и грю: - Открой для себя URL-кодирование. Это два.
А раз: - На фига хратить в кодированом виде строку поиска в Яндексе?


авторНо в этой таблице за год накапливается 356 записей
Для этого и текстового файла хватит.
Как говорит великий гуру: - Мучать птичку для хранения каких-то жалких 3 мульнов записей...
(У мну по 50-70 тыс. строк лога web-сервера в сутки. 7,5 мильенов строк в 2,6 гига БД)


автор...может я не прав. Угу...
Для хранения дня, месяца и года - хватит по 2 байта на каждый. Ага? ;-)
Больше, чем 2099 год тебе не понадобится. Как и мне впрочем.
...
Рейтинг: 0 / 0
07.01.2011, 18:55
| Ответить | Цитировать | Написать  
Бесплатный сервер БД с возможностью динамического сжатия данных.
    #37048670
Фотография Ggg_old
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Ggg_old
Участник
а может, если производтельности хватает просто включеть коспрессию файла с базой данных на уровне файловой системы? На ntfs такое точно есть, за линуксы не знаю.
...
Рейтинг: 0 / 0
07.01.2011, 19:34
| Ответить | Цитировать | Написать  
Бесплатный сервер БД с возможностью динамического сжатия данных.
    #37048673
Фотография iscrafm
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
iscrafm
Участник
Di_LIneавтор...может я не прав. Угу...
Для хранения дня, месяца и года - хватит по 2 байта на каждый.
Больше, чем 2099 год тебе не понадобится . Как и мне впрочем.
вот так, на ровном месте, и возникают проблемы типа "2000-года". "Тебе не понадобиться", а дальше хоть трава не расти. Грамотный подход к разработке.
...
Рейтинг: 0 / 0
07.01.2011, 19:40
| Ответить | Цитировать | Написать  
Бесплатный сервер БД с возможностью динамического сжатия данных.
    #37048678
Фотография iscrafm
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
iscrafm
Участник
Di_LIneLarsikВот эту строку запишите мне в другое поле (длина этого запроса 1000 символов, я взял первый попавшийся)
Ну я и грю: - Открой для себя URL-кодирование. Это два.
А раз: - На фига хратить в кодированом виде строку поиска в Яндексе?

логично.
...
Рейтинг: 0 / 0
07.01.2011, 19:43
| Ответить | Цитировать | Написать  
Бесплатный сервер БД с возможностью динамического сжатия данных.
    #37048689
Andrey Sribnyak
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Andrey Sribnyak
Участник
iscrafmDi_LIneпропущено...
Угу...
Для хранения дня, месяца и года - хватит по 2 байта на каждый.
Больше, чем 2099 год тебе не понадобится . Как и мне впрочем.
вот так, на ровном месте, и возникают проблемы типа "2000-года". "Тебе не понадобиться", а дальше хоть трава не расти. Грамотный подход к разработке.

я в принципе не понимаю, ЗАЧЕМ??? когда мы храним полную дату необходимо записывать отдельно еще ГОД, МЕСЯЦ и ДЕНЬ???

Возможно есть какие-то тайные причины... тогда хотелось бы их услышать...

Конечно, я допускаю, что чего-то не понимаю ;-)
...
Рейтинг: 0 / 0
07.01.2011, 19:58
| Ответить | Цитировать | Написать  
Бесплатный сервер БД с возможностью динамического сжатия данных.
    #37048698
Larsik
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Larsik
Участник
iscrafmDi_LIneпропущено...

Ну я и грю: - Открой для себя URL-кодирование. Это два.
А раз: - На фига хратить в кодированом виде строку поиска в Яндексе?

логично.

1. Не логично, есть заказчик ПО (служба безопасности) их требования хранить все без исключения(а это и поисковые запросы тоже) даже неправильные запросы к прокси серверу, с кодами ошибок (например: 401, 403, 404, 500 и т.д.), а URL кодирование не поможет повсеместно. Их на всю базу примерно 30%. Импорт и так проходит достаточно долго, а если я сейчас ввиду URL декодирования, я по скорости не успею все поступающие данные обработать.
2. У тебя 50-70т за сутки, а у меня за 1 час столько записей, а строк в таблице Jurnal у меня 96 миллионов и баз 64 Гб.

Не надо меня учить разработке приложений, дайте дельный совет согласно сабжа. По поводу длины я уже придумал, как сократить длинну поля, по при этом, если верить точу, что сказал hvlad hvladFirebird сжимает записи и не хранит декларированную длину поля - только содержимое (с небольшим оверхедом)., это не поможет.
...
Рейтинг: 0 / 0
07.01.2011, 20:14
| Ответить | Цитировать | Написать  
Бесплатный сервер БД с возможностью динамического сжатия данных.
    #37048701
NetObserver
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
NetObserver
Участник
LarsikDi_LIne
Код: plaintext
1.
2.
3.
4.
5.
6.
7.
8.
9.
CREATE TABLE calendar(
  id BIGINT,
  date DATE NOT NULL,
  day SMALLINT,
  month SMALLINT,
  year SMALLINT,
  PRIMARY KEY (date),
  UNIQUE INDEX id (id)
)
За такое поектирование голову с другим местом менять надо.
Задлянафига для: day, month и year SMALLINT?

А за
Код: plaintext
url VARCHAR( 2000 )
еще и руки-ноги нужно менять.

Предложите свой вариант, может я не прав. Но в этой таблице за год накапливается 356 записей, а разделение сделано, для поиска по составному индексу. А по поводу VARCHAR(2000) не согласен, для хранения длинных URL адресов, что использовать тогда? Blob это еще хуже.

Предлагайте, я для этого и создал эту тему!

У меня была подобная задача - сжимал трафик. Пакеты до 4Kb. Использовал zlib. Сжатие в среднем 40% от исходного обьема(данные похожие - текст). При этом пакеты <200байт не сжимались (иначе пакет увеличивался, а не уменьшался). Могу посоветовать:
1)Написать пару UDF со сжаием\распаковкой и сжать длинные строки из базы. По запросу распаковывать.
2)Нафига в строке URL хранить название домена? " http://bs.yandex.ru" - у тебя же есть отдельная таблица domains?
3)Разобратся с URL кодированием, у тебя до 60% "лишних" данных из за этого.
...
Рейтинг: 0 / 0
07.01.2011, 20:18
| Ответить | Цитировать | Написать  
Бесплатный сервер БД с возможностью динамического сжатия данных.
    #37048703
Larsik
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Larsik
Участник
Andrey Sribnyakя в принципе не понимаю, ЗАЧЕМ??? когда мы храним полную дату необходимо записывать отдельно еще ГОД, МЕСЯЦ и ДЕНЬ???

Возможно есть какие-то тайные причины... тогда хотелось бы их услышать...

Конечно, я допускаю, что чего-то не понимаю ;-)

Читайте выше, по топику. А если лень, то я повторюсь - для составных индексов. Когда происходит выбор в диапазоне, проверено на практике, так быстрее.

Хотя все и дальше могут отвлекаться от основного вопроса топика, и обсуждать таблицу которая занимает менее одного 1% всего файла.
...
Рейтинг: 0 / 0
07.01.2011, 20:20
| Ответить | Цитировать | Написать  
Бесплатный сервер БД с возможностью динамического сжатия данных.
    #37048705
Фотография iscrafm
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
iscrafm
Участник
Larsik2. У тебя 50-70т за сутки, а у меня за 1 час столько записей, а строк в таблице Jurnal у меня 96 миллионов и баз 64 Гб.

у меня вообще ничего этого нет, ты адресом ошибся.
...
Рейтинг: 0 / 0
07.01.2011, 20:25
| Ответить | Цитировать | Написать  
Бесплатный сервер БД с возможностью динамического сжатия данных.
    #37048707
Larsik
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Larsik
Участник
iscrafm,

да это я Di_LIne
...
Рейтинг: 0 / 0
07.01.2011, 20:27
| Ответить | Цитировать | Написать  
Бесплатный сервер БД с возможностью динамического сжатия данных.
    #37048749
Фотография -2-
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
-2-
Участник
Как часто приходится разбирать содержимое урла? Если содержимое не используется для поиска, храните колонку в отдельном файле на дешевом диске, хоть по usb подключить террабайтник. Можно попробовать прозрачно-сжимать файл средствами ОС, но с осторожностью - сжатие увеличит нагрузку на процессор и время доступа. Если FB поддерживает directio - этот режим может запортить сжатый средствами ОС файл.
Не знаю как это в FB с вертикальным партиционированием или хранением блобов в отдельном файле, на крайний, можно положить url в отдельную таблицу, а в мастер-таблице только ключ.
...
Рейтинг: 0 / 0
07.01.2011, 21:38
| Ответить | Цитировать | Написать  
Бесплатный сервер БД с возможностью динамического сжатия данных.
    #37048769
pkarklin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
pkarklin
Участник
авторЯ наверное дебил

Не... Я начинаю чуствовать себя дебилом, когда:

авторМне нужно хранить статистику использования Internet'a за 5 лет. Требование СБ такое.
...
За прошедший год размер БД увеличился на 40ГБ, у меня при таком росте файла не хватит места, на планируемый срок.
...
Бесплатный сервер БД с возможностью динамического сжатия данных.
...
Не стоит думать, что Вы самый умный.

Вспомнился анекдот:

Вопрос: Сколько нужно програмистов, чтобы заменить перегоревшую лампочку?
Ответ: Нисколько! Проблема аппаратная. Програмными средствами не решается.

К чему это я... Мы хотим следить за людьми с "гапом" в 5ть лет, но бабла нет ни на диски, ни на "полноценный" сервер. Поэтому будем выносить мозг всем и вся.

ЗЫ. MS SQL Express 2008 R2 + FILESTREAM + NTFS Compression.
...
Рейтинг: 0 / 0
07.01.2011, 21:55
| Ответить | Цитировать | Написать  
Бесплатный сервер БД с возможностью динамического сжатия данных.
    #37048855
__ЛП
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
__ЛП
Гость
LarsikТребование СБ такое
Понять не могу - зачем овощному ларьку СБ?
А если это не овощной ларёк, то не могу понять - откуда проблемы с дисковым пространством размером аж в 200Гб за пять лет.
...
Рейтинг: 0 / 0
07.01.2011, 23:12
| Ответить | Цитировать | Написать  
Бесплатный сервер БД с возможностью динамического сжатия данных.
    #37048880
Larsik
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Larsik
Участник
Всем, кто не может понять почему такие проблемы.

1. Овощных ларьков у меня нет, есть большой химический завод.
2. Сервер нормальный IBM xSerias 3650 - 4Gb/3GHz x 4/6x73Gb (да можно увеличить дисковое пространство установив диски по 160Gb, но я не могу остановить рабочий сервер). Помимо этой базы на нем есть еще одна аналитическая, точнее эта же база, только агрегированная для построения отчетов.
3. Новый сервер заложен на следующий год, но с нашей закупкой боюсь не успеют приобрести, к моменту Х, потому и задаю такие вопросы.
4. Структуру базы буду переделывать, совет одного из участников обсуждения по поводу хранения сжатых данных или вынос в отдельный файл строки запросов.
...
Рейтинг: 0 / 0
07.01.2011, 23:59
| Ответить | Цитировать | Написать  
Бесплатный сервер БД с возможностью динамического сжатия данных.
    #37048969
NetObserver
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
NetObserver
Участник
Larsik,

правильно ли я понял, что все таблицы очень редко меняются, кроме jurnal, а она только растет(вставка)?
если так, то попробуй отресторить базу с -use_all_space и -page_size 16384
получишь 20% выигрыша в размере базы.
...
Рейтинг: 0 / 0
08.01.2011, 09:45
| Ответить | Цитировать | Написать  
Бесплатный сервер БД с возможностью динамического сжатия данных.
    #37048983
Larsik
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Larsik
Участник
NetObserver,

Да вы правильно поняли. Структура таблиц уже давно не меняется. Основные изменения (вставка) это Jurnal и Domains в меньшей степени.
Попробую сделать, как Вы посоветовали, потом отпишусь.
...
Рейтинг: 0 / 0
08.01.2011, 10:47
| Ответить | Цитировать | Написать  
Бесплатный сервер БД с возможностью динамического сжатия данных.
    #37049094
Фотография arni
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
arni
Участник
Larsikда можно увеличить дисковое пространство установив диски по 160Gb, но я не могу остановить рабочий серверВыше вы отметили, что делаете еженедельный b/r, т.е. время на ТО базы у вас есть, а на вставить/переупорядочить дисковый массив - нет?
...
Рейтинг: 0 / 0
08.01.2011, 14:37
| Ответить | Цитировать | Написать  
Бесплатный сервер БД с возможностью динамического сжатия данных.
    #37049096
Фотография MasterZiv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
MasterZiv
Участник
On 07.01.2011 12:47, Larsik wrote:
> Мне нужно хранить статистику использования Internet'a за 5 лет.

ВСЕГО ? 8-0
Posted via ActualForum NNTP Server 1.4
...
Рейтинг: 0 / 0
08.01.2011, 14:40
| Ответить | Цитировать | Написать  
Бесплатный сервер БД с возможностью динамического сжатия данных.
    #37049200
Фотография alexeyvg
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
alexeyvg
Участник
pkarklinЗЫ. MS SQL Express 2008 R2 + FILESTREAM + NTFS Compression.Или раздобыть пару тыщ дененг на MS SQL 2008 R2 Std - там есть встроенное сжатие данных и бакапов. Прекрасно работает, ещё и скорость увеличивает.

В итоге получится дешевле - диски покупать не надо.
...
Рейтинг: 0 / 0
08.01.2011, 16:46
| Ответить | Цитировать | Написать  
Бесплатный сервер БД с возможностью динамического сжатия данных.
    #37049283
_Di_LIne
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
_Di_LIne
Гость
iscrafmвот так, на ровном месте, и возникают проблемы типа "2000-года". "Тебе не понадобиться", а дальше хоть трава не расти. Грамотный подход к разработке.А ты пишешь ПО, которое 89 лет юзают без изменений?
Ну... Тогда это точно Парадокс или ФокснаФиг...
...
Рейтинг: 0 / 0
08.01.2011, 18:42
| Ответить | Цитировать | Написать  
Бесплатный сервер БД с возможностью динамического сжатия данных.
    #37049289
_Di_LIne
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
_Di_LIne
Гость
Larsik1. Овощных ларьков у меня нет, есть большой химический завод...

... на котором служба ИТ не может найти (выбить) пару штук баксов.
...
Рейтинг: 0 / 0
08.01.2011, 18:47
| Ответить | Цитировать | Написать  
Бесплатный сервер БД с возможностью динамического сжатия данных.
    #37049372
NetObserver
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
NetObserver
Участник
_Di_LIneLarsik1. Овощных ларьков у меня нет, есть большой химический завод...

... на котором служба ИТ не может найти (выбить) пару штук баксов.

И чего все так на человека наехали?
Во-первых чтобы выбить денег, надо прийти к начальству с конкретными предложениями и списком чего уже сделано. А то и денег не выделят и работу придется искать :) а человек не в Москве живет.
Во-вторых, вопрос конечно поставлен не корректно. Вместо оптимизации базы, хочет решить вопрос сразу,быстро и дешево, а так не бывает :)
...
Рейтинг: 0 / 0
08.01.2011, 20:05
| Ответить | Цитировать | Написать  
Бесплатный сервер БД с возможностью динамического сжатия данных.
    #37049378
Siemargl
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Siemargl
Участник
_Di_LIne,

1.Ты что не видел Плана инвестиций/закупок до 2018г?
2.На крупных холдингах MS можно ставить без ограничений. У Лукойла по крайней мере так, а вот у Еврохима не интересовался.
...
Рейтинг: 0 / 0
08.01.2011, 20:09
| Ответить | Цитировать | Написать  
Бесплатный сервер БД с возможностью динамического сжатия данных.
    #37049443
__ЛП
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
__ЛП
Гость
arniLarsikда можно увеличить дисковое пространство установив диски по 160Gb, но я не могу остановить рабочий серверВыше вы отметили, что делаете еженедельный b/r, т.е. время на ТО базы у вас есть, а на вставить/переупорядочить дисковый массив - нет?
Мало того, что backup/restore делается, так еще и всерьёз обсуждается возможность смены самой СУБД.
А переконфигурить RAID - никак.
Чушь чушовая. Весь топик.
...
Рейтинг: 0 / 0
08.01.2011, 20:50
| Ответить | Цитировать | Написать  
Бесплатный сервер БД с возможностью динамического сжатия данных.
    #37049470
Siemargl
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Siemargl
Участник
__ЛП, надо писать: Самой Субд.

Подскажешь безопасный алгоритм пошаговой замены всех дисков на большие в 5м рейде? Онлайн конечно.
...
Рейтинг: 0 / 0
08.01.2011, 21:15
| Ответить | Цитировать | Написать  
Бесплатный сервер БД с возможностью динамического сжатия данных.
    #37049522
Фотография SergSuper
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
SergSuper
Участник
Siemargl__ЛП, надо писать: Самой Субд.

Подскажешь безопасный алгоритм пошаговой замены всех дисков на большие в 5м рейде? Онлайн конечно.я не подскажу, но у меня есть смутное ощущение что поменять субд несколько сложнее. Онлайн конечно
...
Рейтинг: 0 / 0
08.01.2011, 22:05
| Ответить | Цитировать | Написать  
Бесплатный сервер БД с возможностью динамического сжатия данных.
    #37049771
_Di_LIne
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
_Di_LIne
Гость
Siemargl1.Ты что не видел Плана инвестиций/закупок до 2018г?
Не-а, не видел... А задля он мне, чужой-то?
Но видел как на плановом выключении/включении питания 3 января из 7 серверов один не поднялся, так как на ем сдох винт.
Что привело к 6-ти часовому простою.
Со всеми втекающими оргвводами. :-)
...
Рейтинг: 0 / 0
09.01.2011, 01:34
| Ответить | Цитировать | Написать  
Бесплатный сервер БД с возможностью динамического сжатия данных.
    #37049982
Фотография kdv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
kdv
Участник
на всякий случай - зачем хранить http:// ? если большинство запросов содержит эту строку, то ее можно вырезать. Экономия 7 символов на запись.
Потом, веб-лог обычно пишется в какие-нибудь текстовые файлы, потом уже переливается единоразово в БД. Это дает простор для профилактики БД хоть на неделю, и даже больше.
И т.д. Я понимаю, что все это уже работает, и поздно метаться, но раз регулярно делается рестор базы, значит и добавить диски тоже можно без особых проблем.
...
Рейтинг: 0 / 0
09.01.2011, 12:34
| Ответить | Цитировать | Написать  
Бесплатный сервер БД с возможностью динамического сжатия данных.
    #37050014
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Dimitry Sibiryakov
Участник
SiemarglПодскажешь безопасный алгоритм пошаговой замены всех дисков на большие в 5м рейде? Онлайн
конечно.

Поднимается дубль-сервер на рабочей станции помощнее. Пользователи переключаются на него.
Сервер останавливается и реконфигурируется. Потом обратный процесс. Работы на пару дней.
Posted via ActualForum NNTP Server 1.4
...
Рейтинг: 0 / 0
09.01.2011, 13:07
| Ответить | Цитировать | Написать  
Бесплатный сервер БД с возможностью динамического сжатия данных.
    #37220464
Tayfur
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Tayfur
Участник
NetObserver_Di_LIneпропущено...

... на котором служба ИТ не может найти (выбить) пару штук баксов.

И чего все так на человека наехали?
Во-первых чтобы выбить денег, надо прийти к начальству с конкретными предложениями и списком чего уже сделано. А то и денег не выделят и работу придется искать :) а человек не в Москве живет.
Во-вторых, вопрос конечно поставлен не корректно. Вместо оптимизации базы, хочет решить вопрос сразу,быстро и дешево, а так не бывает :)
Нафиг такого работодателя!!!
...
Рейтинг: 0 / 0
17.04.2011, 16:50
| Ответить | Цитировать | Написать  
Бесплатный сервер БД с возможностью динамического сжатия данных.
    #37221133
Volochkova
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Volochkova
Участник
Проверьте поля с этими VarChar(2000) может там куча пробелов?
У меня есть для weba база за 5 лет 40 mb...

p.s.
логи всегда стоят дорого, может добавите для них SATA контроллер в сервер?
...
Рейтинг: 0 / 0
18.04.2011, 10:59
| Ответить | Цитировать | Написать  
Бесплатный сервер БД с возможностью динамического сжатия данных.
    #37221940
Ivan Durak
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Ivan Durak
Участник
Dimitry SibiryakovhvladИзмерь, тебе же интересно.

Мне - неинтересно. Классовое чутьё утверждает, что сравнение будет в пользу Firebird и я
ему доверяю.

извиняюсь за оффтопик, но стало интересно. Пусть примем даже за аксиому что чистая с нуля залитая база - у ФБ меньше чем у остальных. Но этож версионник. В процессе нормальной работы копятся версии (которые селекты чистят, емним) и в принципе при активных писателях(и редких читателях) в олтп системе ФБ в принципе по месту не может потягатся с блокировочниками!!! Верно я мыслю, аль нет?
...
Рейтинг: 0 / 0
19.04.2011, 10:05
| Ответить | Цитировать | Написать  
Бесплатный сервер БД с возможностью динамического сжатия данных.
    #37222352
Фотография kdv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
kdv
Участник
Ivan DurakВ процессе нормальной работы копятся версии (которые селекты чистят, емним) и в принципе при активных писателях(и редких читателях) в олтп системе ФБ в принципе по месту не может потягатся с блокировочниками!!! Верно я мыслю, аль нет?
смотря как тягаться. в задачах, где в таблицу заливаются данные, потом удаляются, опять заливаются и т.д. - да, у версионника придется собирать мусор. Но тут быстрее всех будут Foxpro или MySQL с движком без транзакций.

То есть, голые oltp бывают, но сейчас реже, чем раньше. А потому для работы выгоднее не напарываться на блокировки, компенсируя это распределенными по времени затратами на сборку мусорных версий.

Если речь про размеры, то в блокировочниках все-же есть Transaction log, и его надо периодически бэкапить. У ФБ "transaction log" получается внутри базы, и он чистится сам.
...
Рейтинг: 0 / 0
19.04.2011, 12:42
| Ответить | Цитировать | Написать  
Бесплатный сервер БД с возможностью динамического сжатия данных.
    #37222469
Зайцев Фёдор
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Зайцев Фёдор
Участник
[quot kdv]Ivan DurakЕсли речь про размеры, то в блокировочниках все-же есть Transaction log, и его надо периодически бэкапить. У ФБ "transaction log" получается внутри базы, и он чистится сам.
Если сравнивать с MS SQL, то с ФБ сравнима только простая модель восстановления. Так что не совсем понятно, в чём преимущество (речь шла о некотором преимуществе?) у ФБ
...
Рейтинг: 0 / 0
19.04.2011, 13:13
| Ответить | Цитировать | Написать  
Бесплатный сервер БД с возможностью динамического сжатия данных.
    #37222546
hvlad
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
hvlad
Участник
Ivan Durakизвиняюсь за оффтопик, но стало интересно. Пусть примем даже за аксиому что чистая с нуля залитая база - у ФБ меньше чем у остальных.Данные у ФБ, скорее всего , займут больше места, чем у например МССКЛ. Ибо заголовок записи 13 байт никто не отменял. Хотя это зависит от самих данных и они могут хорошо сжиматься. ну и если МССКЛ перевести в версионный режим, то у него тоже немаленький заголовок у записи получится, так что тут ФБ может даже выиграть.
А вот индексы у ФБ жмутся очень даже неплохо и тут МССКЛ, скорее всего , проиграет. Если конечно у него будут ещё индексы кроме кластерного :)

Ivan DurakНо этож версионник. В процессе нормальной работы копятся версии (которые селекты чистят, емним) и в принципе при активных писателях(и редких читателях) в олтп системе ФБ в принципе по месту не может потягатся с блокировочниками!!! Верно я мыслю, аль нет?Писатели тоже читают запись, перед тем как её переписать. Кроме того, есть фоновая сборка мусора (в SS), так что явное чтение не всегда обязательно для того, чтобы собрать мусор.

Вывод банален и обычен - нужно сравнивать конкретные приложения. Точнее их реализации. СУБД только предоставляет механизмы для реализации...
...
Рейтинг: 0 / 0
19.04.2011, 13:35
| Ответить | Цитировать | Написать  
Бесплатный сервер БД с возможностью динамического сжатия данных.
    #37222737
pkarklin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
pkarklin
Участник
авторДанные у ФБ, скорее всего, займут больше места, чем у например МССКЛ. Ибо заголовок записи 13 байт никто не отменял. Хотя это зависит от самих данных и они могут хорошо сжиматься. ну и если МССКЛ перевести в версионный режим , то у него тоже немаленький заголовок у записи получится, так что тут ФБ может даже выиграть .

Целый байт на заголовке. :)

авторА вот индексы у ФБ жмутся очень даже неплохо и тут МССКЛ, скорее всего, проиграет. Если конечно у него будут ещё индексы кроме кластерного :)

MS SQL он, это, тоже "жать умеет". И некластерные индексы тоже. ;)
...
Рейтинг: 0 / 0
19.04.2011, 14:33
| Ответить | Цитировать | Написать  
Бесплатный сервер БД с возможностью динамического сжатия данных.
    #37222764
Ivan Durak
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Ivan Durak
Участник
hvladВывод банален и обычен - нужно сравнивать конкретные приложения. Точнее их реализации
дык а Dimitry Sibiryakov утверждает без всяких оговорок про реализацию и т.п. что:
авторможешь искать пока не заржавеешь, но по компактности хранения данных Firebird
равных нет.
Может он секрет какой знает, аль слово волшебное?
...
Рейтинг: 0 / 0
19.04.2011, 14:41
| Ответить | Цитировать | Написать  
Бесплатный сервер БД с возможностью динамического сжатия данных.
    #37222851
hvlad
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
hvlad
Участник
Ivan Durakдык а Dimitry Sibiryakov утверждает без всяких оговорок про реализацию и т.п. Он много чего утверждает и обычно без всяких оговорок :)
Я не могу за него расписываться.
Разве что скажу, что несмотря не вредность, он часто говорит правильные вещи. Но, на своём языке :)
...
Рейтинг: 0 / 0
19.04.2011, 15:09
| Ответить | Цитировать | Написать  
Бесплатный сервер БД с возможностью динамического сжатия данных.
    #37222921
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Dimitry Sibiryakov
Участник
hvladОн много чего утверждает и обычно без всяких оговорок :)

Патаму шта агаворки это шипка многа букаффф! А чайникам ответ нужен простой и
недвусмысленный. Иначе не доходит.

И таки да, я знаю пару волшебных слов, позволяющих Атому обогнать Коре 2.
Posted via ActualForum NNTP Server 1.4
...
Рейтинг: 0 / 0
19.04.2011, 15:36
| Ответить | Цитировать | Написать  
Бесплатный сервер БД с возможностью динамического сжатия данных.
    #37226216
FreemanZAV
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
FreemanZAV
Участник
Ivan DurakDimitry Sibiryakovпропущено...

Мне - неинтересно. Классовое чутьё утверждает, что сравнение будет в пользу Firebird и я
ему доверяю.

извиняюсь за оффтопик, но стало интересно. Пусть примем даже за аксиому что чистая с нуля залитая база - у ФБ меньше чем у остальных. Но этож версионник. В процессе нормальной работы копятся версии (которые селекты чистят, емним) и в принципе при активных писателях(и редких читателях) в олтп системе ФБ в принципе по месту не может потягатся с блокировочниками!!! Верно я мыслю, аль нет?

Если говорить о размерах, сразу вспоминается лог транзакций mssql
...
Рейтинг: 0 / 0
21.04.2011, 11:33
| Ответить | Цитировать | Написать  
Бесплатный сервер БД с возможностью динамического сжатия данных.
    #37226250
pkarklin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
pkarklin
Участник
FreemanZAVЕсли говорить о размерах, сразу вспоминается лог транзакций mssql

Кому он вспоминается, тот его "просто не умеет готовить". ;)
...
Рейтинг: 0 / 0
21.04.2011, 11:46
| Ответить | Цитировать | Написать  
Бесплатный сервер БД с возможностью динамического сжатия данных.
    #37226272
hvlad
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
hvlad
Участник
pkarklinFreemanZAVЕсли говорить о размерах, сразу вспоминается лог транзакций mssql

Кому он вспоминается, тот его "просто не умеет готовить". ;)То же самое могу сказать о мифическом мусоре в Firebird
...
Рейтинг: 0 / 0
21.04.2011, 11:51
| Ответить | Цитировать | Написать  
Бесплатный сервер БД с возможностью динамического сжатия данных.
    #37227023
Фотография softwarer
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
softwarer
Участник
FreemanZAVЕсли говорить о размерах, сразу вспоминается лог транзакций mssql
Я вообще не очень понимаю смысла вспоминать про лог транзакций и любые другие временные структуры. В процессе работы любой нормальной ИС в ней копятся данные. А следовательно, либо база откровенно маленькая (и тогда говорить про размер имеет смысл разве что с точки зрения "влезает на флешку вместе с двумя фильмами") либо размеры временных и технических структур малозаметны на общем объёме. Ну отведём на логи 10 Гб, хватит по уши, но какая нам разница в терабайтной-то базе?
...
Рейтинг: 0 / 0
21.04.2011, 16:13
| Ответить | Цитировать | Написать  
Бесплатный сервер БД с возможностью динамического сжатия данных.
    #37227222
FreemanZAV
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
FreemanZAV
Участник
softwarerFreemanZAVЕсли говорить о размерах, сразу вспоминается лог транзакций mssql
Я вообще не очень понимаю смысла вспоминать про лог транзакций и любые другие временные структуры. В процессе работы любой нормальной ИС в ней копятся данные. А следовательно, либо база откровенно маленькая (и тогда говорить про размер имеет смысл разве что с точки зрения "влезает на флешку вместе с двумя фильмами") либо размеры временных и технических структур малозаметны на общем объёме. Ну отведём на логи 10 Гб, хватит по уши, но какая нам разница в терабайтной-то базе?
Ну так и про мусор можно сказать то же самое.
...
Рейтинг: 0 / 0
21.04.2011, 17:30
| Ответить | Цитировать | Написать  
Бесплатный сервер БД с возможностью динамического сжатия данных.
    #37227242
pkarklin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
pkarklin
Участник
FreemanZAVНу так и про мусор можно сказать то же самое.

Я могу Ваш "мусор" положить на отдельный дисковый массив, чтобы операции с ним не мешали операциям с "немусором"?
...
Рейтинг: 0 / 0
21.04.2011, 17:38
| Ответить | Цитировать | Написать  
Бесплатный сервер БД с возможностью динамического сжатия данных.
    #37227274
Фотография softwarer
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
softwarer
Участник
FreemanZAVНу так и про мусор можно сказать то же самое.
Ну так и скажите. Мне-то Вы зачем об этом говорите?
...
Рейтинг: 0 / 0
21.04.2011, 17:50
| Ответить | Цитировать | Написать  
Бесплатный сервер БД с возможностью динамического сжатия данных.
    #37227892
FreemanZAV
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
FreemanZAV
Участник
softwarerFreemanZAVНу так и про мусор можно сказать то же самое.
Ну так и скажите. Мне-то Вы зачем об этом говорите?
Вообще-то я отвечал г-ну Ivan Durak.
...
Рейтинг: 0 / 0
22.04.2011, 08:17
| Ответить | Цитировать | Написать  
Бесплатный сервер БД с возможностью динамического сжатия данных.
    #37227897
FreemanZAV
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
FreemanZAV
Участник
pkarklinFreemanZAVНу так и про мусор можно сказать то же самое.

Я могу Ваш "мусор" положить на отдельный дисковый массив, чтобы операции с ним не мешали операциям с "немусором"?

Во первых,я так понял, что нет возможности у автора подключить отдельный массив. Во вторых, хотя и нет возможности положить "мусор" на отдельный дисковый массив, чтобы операции с ним не мешали , но есть возможность избавиться от этих операций.
...
Рейтинг: 0 / 0
22.04.2011, 08:22
| Ответить | Цитировать | Написать  
Бесплатный сервер БД с возможностью динамического сжатия данных.
    #37227898
FreemanZAV
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
FreemanZAV
Участник
Как и от мусора "вообще"
...
Рейтинг: 0 / 0
22.04.2011, 08:23
| Ответить | Цитировать | Написать  
Бесплатный сервер БД с возможностью динамического сжатия данных.
    #37228193
Ivan Durak
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Ivan Durak
Участник
FreemanZAVКак и от мусора "вообще"
Согласись, "можно избавиться от мусора" и
"по компактности хранения данных Firebird равных нет"
получается несколько разные утверждения.

з.ы. Сразу возник вопрос, с ФБ понятно а как и кто у других версионников версионный
мусор чистит??
...
Рейтинг: 0 / 0
22.04.2011, 11:17
| Ответить | Цитировать | Написать  
Бесплатный сервер БД с возможностью динамического сжатия данных.
    #37228213
Фотография softwarer
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
softwarer
Участник
Ivan Durakз.ы. Сразу возник вопрос, с ФБ понятно а как и кто у других версионников версионный мусор чистит??
По-разному. В Postgres для этого есть специальная команда и соответствующий системный процесс. В Oracle его никто никогда не чистит, просто следующие данные пишутся поверх ненужных. В версионном режиме MSSQL вроде аналогично, хотя плохо знаю.
...
Рейтинг: 0 / 0
22.04.2011, 11:25
| Ответить | Цитировать | Написать  
Бесплатный сервер БД с возможностью динамического сжатия данных.
    #37228471
pkarklin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
pkarklin
Участник
Ivan Durak,

MS SQL-> Row Versioning Resource Usage

...
Row versions must be stored for as long as an active transaction needs to access it. Once every minute, a background thread removes row versions that are no longer needed and frees up the version space in tempdb.
...
...
Рейтинг: 0 / 0
22.04.2011, 12:55
| Ответить | Цитировать | Написать  
Бесплатный сервер БД с возможностью динамического сжатия данных.
    #37229228
Фотография Gluk (Kazan)
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Gluk (Kazan)
Участник
OffTop:

2 softwarer: глянь сюда , разведи па панятиям ;)
...
Рейтинг: 0 / 0
22.04.2011, 16:38
| Ответить | Цитировать | Написать  
92 сообщений из 92, показаны все 4 страниц
  все  
Форумы / Сравнение СУБД [игнор отключен] [закрыт для гостей] / Бесплатный сервер БД с возможностью динамического сжатия данных.
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение
NoSQL.ru       Новости, Чат       Фотоальбом: Участники, Встречи
Закрыть
start [/forum/topic.php?all=1&fid=35&tid=1552697]:
 0ms
get settings:
 10ms
get forum list:
 13ms
check forum access:
 4ms
check topic access:
 4ms
track hit:
 34ms
get topic data:
 11ms
get forum data:
 3ms
get page messages:
 96ms
get tp. blocked users:
 1ms
others: 239ms
total:  415ms
созд. / загр.: 415ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]