ReSQL.ru
     
powered by simpleCommunicator - 2.0.51     © 2025 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / Firebird, InterBase [игнор отключен] [закрыт для гостей] / Firebird 2.5. Нужна ли валидация до backup?
25 сообщений из 55, страница 2 из 3
  2  все
Firebird 2.5. Нужна ли валидация до backup?
    #39712209
Basil A. Sidorov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Basil A. Sidorov
Участник
kdv2. если же говорить про упаковку бэкапа и базы, то
бэкап меньше базы, потому что а) в нем нет индексов, б) он уже сжат (внезапно!).Люд..., тьфу, бэкапы сложнее, чем кажутся
 
представительной базы под руками нет, но всё-таки
Код: plaintext
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
25.
26.
27.
28.
29.
30.
31.
32.
33.
EMPLOYEE - no_compress, no_transportable 
gbak: time     delta  reads  writes 
gbak:    0.021  0.001     14      1 database examples/empbuild/EMPLOYEE.FDB has a page size of 4096 bytes.
gbak:    0.073  0.000      0      0 closing file, committing, and finishing. 81408 bytes written
gbak:    0.073  0.000    168      2 total statistics
*** LZ4 command line interface 64-bits v1.8.3, by Yann Collet ***
Compressed 81408 bytes into 28643 bytes ==> 35.18%


EMPLOYEE - no_compress, transportable 
gbak: time     delta  reads  writes 
gbak:    0.023  0.001     14      1 database examples/empbuild/EMPLOYEE.FDB has a page size of 4096 bytes.
gbak:    0.075  0.000      0      0 closing file, committing, and finishing. 83968 bytes written
gbak:    0.075  0.000    168      2 total statistics
*** LZ4 command line interface 64-bits v1.8.3, by Yann Collet ***
Compressed 83968 bytes into 29182 bytes ==> 34.75%


EMPLOYEE - compress, no_transportable 
gbak: time     delta  reads  writes 
gbak:    0.023  0.001     14      1 database examples/empbuild/EMPLOYEE.FDB has a page size of 4096 bytes.
gbak:    0.074  0.000      0      0 closing file, committing, and finishing. 72704 bytes written
gbak:    0.075  0.000    168      2 total statistics
*** LZ4 command line interface 64-bits v1.8.3, by Yann Collet ***
Compressed 72704 bytes into 28513 bytes ==> 39.22%


EMPLOYEE - compress, transportable 
gbak: time     delta  reads  writes 
gbak:    0.022  0.001     14      1 database examples/empbuild/EMPLOYEE.FDB has a page size of 4096 bytes.
gbak:    0.074  0.000      0      0 closing file, committing, and finishing. 74752 bytes written
gbak:    0.075  0.000    168      2 total statistics
*** LZ4 command line interface 64-bits v1.8.3, by Yann Collet ***
Compressed 74752 bytes into 28937 bytes ==> 38.71%
Если важна скорость бэкапа и есть (очень немного) дополнительных ресурсов (до одного ядра, типично - половинка-треть), то "нетранспортабельный" бэкап без сжатия и скоростной потоковый компрессор, видимо, будет лучшим выбором.
...
Рейтинг: 0 / 0
03.10.2018, 08:21
| Ответить | Цитировать | Написать  
Firebird 2.5. Нужна ли валидация до backup?
    #39712258
Belotsky Serge
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Belotsky Serge
Гость
короче тема свалилась в что выгоднее, хранить бекап или готовую базу, и выгоднее ли архивировать.

Но изначально вопрос был: как проверить валидность БД перед отправкой в архив. Был предложен вариант: бекап/рестор, но это долго, а быстрее можно?
...
Рейтинг: 0 / 0
03.10.2018, 09:57
| Ответить | Цитировать | Написать  
Firebird 2.5. Нужна ли валидация до backup?
    #39712314
Фотография kdv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
kdv
Участник
Belotsky Sergeно это долго, а быстрее можно?
Вариантов 2

1. gbak -b -g, gbak -c
2. gfix -v

проверка БД это либо 1, либо 2.
...
Рейтинг: 0 / 0
03.10.2018, 11:33
| Ответить | Цитировать | Написать  
Firebird 2.5. Нужна ли валидация до backup?
    #39712315
Arioch
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Arioch
Участник
kdvСжатие раром такого несжатого бэкапа (34 гиг) - 41 минута, размер архива - 6 гиг

34 ГиБ = 34816 МиБ на обычной линейной скорости винчестера это 348 секунд, чуть меньше 6 минут
Бэкап делали на тот же диск, с которого базу читали? и уперлись в thrashing?
...
Рейтинг: 0 / 0
03.10.2018, 11:38
| Ответить | Цитировать | Написать  
Firebird 2.5. Нужна ли валидация до backup?
    #39712317
Arioch
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Arioch
Участник
kdvРазмер сжатой раром 30 гиг базы - 9 гиг, за 1 час

А вот тут вопрос - можно ли в FB добавить фичу, чтобы он по запросу занулял неиспользованные страницы и неиспользованные области обычных страниц? Не мусор там оставлял, который RAR будет прилежно сжимат ьс полным сохранением, а нули?

И еще несколько гипотетический интерес, если бы страницы FB разбить по типам, не оказалось ли бы их раздельное сжатие лучше, чем когда всё в перемешку....
...
Рейтинг: 0 / 0
03.10.2018, 11:40
| Ответить | Цитировать | Написать  
Firebird 2.5. Нужна ли валидация до backup?
    #39712321
Фотография Симонов Денис
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Симонов Денис
Участник
Arioch,

страницы FB и так разбиты по типам (DP, PP, PIP, BLOB ....). Ты что то не то пишешь.
...
Рейтинг: 0 / 0
03.10.2018, 11:43
| Ответить | Цитировать | Написать  
Firebird 2.5. Нужна ли валидация до backup?
    #39712325
Arioch
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Arioch
Участник
Симонов Денис,

я имел в виду применительно к RAR'y

сжатие LZ-типа постоянно перестраивает словарь сокращений. Поэтому если резко меняется тип данных, то степень сжатия резко падает пока накопленный словарь не будет вытеснен новорастущим.

а поскольку в FDB за исключением начала дальше идут разного типа страницы вперемешку - то это сказывается.

В свое время 7-zip резко обошёл RAR нa cжатии EXE/DLL когда ввёл специальный фильтр и начал их разбивать на 4 потока, которые сжимались независимо.

Вот и подумалось, сделать простую утилитку, которая FDB разложит на несколько файлов (в каждом - страницы только одного типа), а потом RAR'ом сжать папку - будет ли заметная разница со сжатием исходного смешанного FDB
...
Рейтинг: 0 / 0
03.10.2018, 11:48
| Ответить | Цитировать | Написать  
Firebird 2.5. Нужна ли валидация до backup?
    #39712327
Мимопроходящий
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Мимопроходящий
Участник
03.10.2018 11:33, kdv пишет:
> Вариантов 2
>
> 1. gbak -b -g, gbak -c
> 2. gfix -v
>
> проверка БД это либо 1, либо 2.

добавлю, что в варианте 1 можно делать бекап и рестор одновременно,
передавая выходной поток одного gbak на вход другого.
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
03.10.2018, 11:50
| Ответить | Цитировать | Написать  
Firebird 2.5. Нужна ли валидация до backup?
    #39712331
Фотография kdv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
kdv
Участник
Arioch34 ГиБ = 34816 МиБ на обычной линейной скорости винчестера это 348 секунд, чуть меньше 6 минут
Бэкап делали на тот же диск, с которого базу читали? и уперлись в thrashing?
я вообще не понял, про что это. Скопировать 34 гига на скорости 100мб сек с одного физ диска на другой - да, это 6 минут.
И что?
Бэкапы я всегда делаю на другой физический диск, мне зря терять время на одном диске некогда.
А архивация обычно (зависит от архиватора) делается на тот же диск.
Бэкап - это не копирование. Архивация - это не копирование.

Проц FX8350, диски hdd sata2, копирование у всех не меньше 100мб сек.
Rar при скорости чтения файла в 9мб в секунду грузит 4 ядра на 80% (в итоге получается где-то 40% загрузки всего процессора),
сжатие - среднее.
Ariochне оказалось ли бы их раздельное сжатие лучше, чем когда всё в перемешку....
архиватор про типы страниц ФБ ничего не знает, и вряд ли будет знать.
...
Рейтинг: 0 / 0
03.10.2018, 11:55
| Ответить | Цитировать | Написать  
Firebird 2.5. Нужна ли валидация до backup?
    #39712333
Фотография kdv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
kdv
Участник
Ariochи начал их разбивать на 4 потока, которые сжимались независимо.
у нас были эксперименты с параллельным сжатием на линуксе, в результате иногда архивы получаются битыми. Отказались.
...
Рейтинг: 0 / 0
03.10.2018, 11:57
| Ответить | Цитировать | Написать  
Firebird 2.5. Нужна ли валидация до backup?
    #39712334
Фотография Симонов Денис
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Симонов Денис
Участник
Arioch,

на фиг надо. Будут тейблспейсы, там можно разные варианты делать. А пока пусть будет как есть.
...
Рейтинг: 0 / 0
03.10.2018, 11:57
| Ответить | Цитировать | Написать  
Firebird 2.5. Нужна ли валидация до backup?
    #39712338
Arioch
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Arioch
Участник
kdvя вообще не понял, про что это. Скопировать 34 гига на скорости 100мб сек с одного физ диска на другой - да, это 6 минут.
И что?

и то, что мне с трудом верится, что RAR не мог сжать с одного диска на другой с такой же ровно скоростью

а судя по всему получившийся тест копирования большого файла в другую папку на том же диске - это уже не про "большие БД" ни разу

kdvБэкап - это не копирование. Архивация - это не копирование.

учитывая разницу в скорости HDD и современных CPU/RAM, плюс настраиваемую степень сжатия архиваторов, плюс экспоненциальную рост "стоимости" усиления сжатия - можно считать, что это одно и то же

kdvархиватор про типы страниц ФБ ничего не знает, и вряд ли будет знать

да просто фоновый интерес, если разница будет 5% то наплевать и забыть, если 30 процентов - то уже интересно, взять на заметку, а вот если вдруг (не будет, конечно, но вот если) 75% - то уже можно и заняться. Добавить такой плагин в 7-zip особенно сложно не будет. Но скорее всего разница будет небольшой. Особенно если размер страницы поднять.
...
Рейтинг: 0 / 0
03.10.2018, 12:01
| Ответить | Цитировать | Написать  
Firebird 2.5. Нужна ли валидация до backup?
    #39712339
Arioch
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Arioch
Участник
kdvэксперименты с параллельным сжатием на линуксе

ну p7zip на Линуксе вообще довольно-таки вещь в себе :-)
...
Рейтинг: 0 / 0
03.10.2018, 12:03
| Ответить | Цитировать | Написать  
Firebird 2.5. Нужна ли валидация до backup?
    #39712359
Фотография kdv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
kdv
Участник
Ariochи то, что мне с трудом верится, что RAR не мог сжать с одного диска на другой с такой же ровно скоростью
я специально отметил, что rar пакует на этот же диск.
А предположение о том, что архиватор будет сжимать со скоростью копирования - это бред, ты уж меня извини.
Ariochучитывая разницу в скорости HDD и современных CPU/RAM, плюс настраиваемую степень сжатия архиваторов, плюс экспоненциальную рост "стоимости" усиления сжатия - можно считать, что это одно и то же
нет, не одно и то же. При копировании ресурсы процессора практически не тратятся.
А при бэкапе идет вычитка данных со страниц, формирование версий, и их формирование для записи в бэкап. Это процессорная работа.
При архивации процессор используется еще сильнее. Так что не надо загибать про "одно и то же".

Вместо вот этих голословных предположений возьми любой файл размером около 10 гиг, и сравни
- копирование файла с диска на диск
- архивирование этого файла.

Если у тебя получится одно и то же - ну, я тебя поздравляю, у тебя суперкомпьютер вместо процессора.
...
Рейтинг: 0 / 0
03.10.2018, 12:17
| Ответить | Цитировать | Написать  
Firebird 2.5. Нужна ли валидация до backup?
    #39712459
Arioch
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Arioch
Участник
Ariochс настраиваемую степень сжатия архиваторов, плюс экспоненциальную рост "стоимости" усиления сжатия

мы ведь тут обсуждаем оптимальный баланс между скоростью сохранения/восстановления и объёмом хранимых данных, так ведь? иначе тема FBk vs FDB не имее смысла.

не надо настраивать RAR, чтобы он сжимал на 0,001% сильнее за счет использование на 1000% больше памяти и процессора. Настрой, чтобы он сжимал примерно с той скоростью, с которой диски позволяют читать и писать.
...
Рейтинг: 0 / 0
03.10.2018, 14:29
| Ответить | Цитировать | Написать  
Firebird 2.5. Нужна ли валидация до backup?
    #39712532
Basil A. Sidorov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Basil A. Sidorov
Участник
AriochВ свое время 7-zip резко обошёл RAR нa cжатии EXE/DLL когда ввёл специальный фильтр и начал их разбивать на 4 потока, которые сжимались независимо.

Вот и подумалось, сделать простую утилитку, которая FDB разложит на несколько файлов (в каждом - страницы только одного типа), а потом RAR'ом сжать папку - будет ли заметная разница со сжатием исходного смешанного FDBЧто вы всё велосипеды изобретаете ...
Лично я опробовал быстрое сжатие 7-zip и пришёл к выводу, что он не только лучше, чем zip, но ещё и быстрее.
"Но есть ньюанс" - быстрее оно потому, что 7-zip умеет сжимать в четыре потока, как минимум. По CPU-time - примерный паритет, а по астрономическому времени 7-zip существенно быстрее. Но современном железе.
...
Рейтинг: 0 / 0
03.10.2018, 16:08
| Ответить | Цитировать | Написать  
Firebird 2.5. Нужна ли валидация до backup?
    #39712534
Basil A. Sidorov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Basil A. Sidorov
Участник
kdvА предположение о том, что архиватор будет сжимать со скоростью копирования - это бред, ты уж меня извиниЛехко.
Принципиально однопоточный lz4 делает ~90МБ/с не имея ограничений по скорости записи (сжатие в /dev/nul).
Время ЦП - примерно треть от астрономического. Т.е. четверть терабайта в секунду - вполне достижимая скорость сжатия.

P.S.
У меня - не самый быстрый FX43xx.
...
Рейтинг: 0 / 0
03.10.2018, 16:13
| Ответить | Цитировать | Написать  
Firebird 2.5. Нужна ли валидация до backup?
    #39712536
Basil A. Sidorov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Basil A. Sidorov
Участник
Basil A. SidorovТ.е. четверть терабайта в секундуУрежу осетра до четверти гига байта в секунду
...
Рейтинг: 0 / 0
03.10.2018, 16:16
| Ответить | Цитировать | Написать  
Firebird 2.5. Нужна ли валидация до backup?
    #39712587
Фотография kdv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
kdv
Участник
AriochНастрой, чтобы он сжимал примерно с той скоростью, с которой диски позволяют читать и писать.
настраивается только сжатие и многопоточность.
При минимальном сжатии предполагаемое время архивации 30 гиг с одного диска на диск - 11 минут.
Я уже вижу, что чтение идет ~40мб сек, а запись - ~12мб сек.
То есть, до 100мб чтения как раком до Москвы.
проц загружен на 1 ядро из 8 (13%), почему так, при явно установленной "многопоточности" - х.з.
...
Рейтинг: 0 / 0
03.10.2018, 17:42
| Ответить | Цитировать | Написать  
Firebird 2.5. Нужна ли валидация до backup?
    #39712588
Гаджимурадов Рустам
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гаджимурадов Рустам
Участник
kdv> Я уже вижу, что чтение идет ~40мб сек, а запись - ~12мб сек.

Это что за диски такие?
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
03.10.2018, 17:43
| Ответить | Цитировать | Написать  
Firebird 2.5. Нужна ли валидация до backup?
    #39712601
Arioch
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Arioch
Участник
Гаджимурадов Рустам,

один диск, механический

половину времени занимает thrashing головки между дорожками, половину - реальное чтение и запись

по ходу у винчестера *весьма* неплохой кэш, что он всего лишь половину времени на ad hoc butterfly test тратит, а нe 90%
...
Рейтинг: 0 / 0
03.10.2018, 18:01
| Ответить | Цитировать | Написать  
Firebird 2.5. Нужна ли валидация до backup?
    #39712610
Фотография kdv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
kdv
Участник
Гаджимурадов РустамЭто что за диски такие?
это архиватор так работает. Использует одно ядро, и в него упирается.

Короче, по 30 гиг базе итог:

- просто копирование с диска на диск - чтение и запись 125мб сек, 4 минуты (это к вопросу о дисках. "Принимающий" диск быстрее, чем "источник").

rar, многопоточность включена (но используется одно ядро, потому что старт в интерактивном режиме),
низкий приоритет выключен, база на одном диске, архив идет на другой диск:

- сжатие "скоростное", результат - 11 гиг, 14 минут. По чтению это 35мб в секунду. Вопросы про "сжатие со скоростью диска" есть?
(если бы читалось и паковалось в 4 ядра, было бы чтение 140 мб, но ... rar не хочет так)

- сжатие "без сжатия", результат - 30 гиг, 4 минуты (как и копирование).

Я напомню, что база 30 гиг, а памяти у меня 16 гиг (специально не 32), то есть, база в файловый кэш ОС не влезает.
Поэтому, если кто-то у себя хочет потестировать, учитывайте этот момент. В случае "база меньше RAM" результаты будут быстрее.

p.s. про странности с многопоточностью rar - если в проводнике сказать "упакуй в rar", то в таком режиме при паковке используется 2 ядра, то есть проц загружен на 25%. Но скорость чтения я тут проверить не могу, потому что в этом режиме рар пишет на этот же диск, получается скорость чтения вообще 15мб сек.
...
Рейтинг: 0 / 0
03.10.2018, 18:22
| Ответить | Цитировать | Написать  
Firebird 2.5. Нужна ли валидация до backup?
    #39712613
Фотография kdv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
kdv
Участник
Ariochодин диск, механический
половину времени занимает thrashing головки между дорожками, половину - реальное чтение и запись
нихрена ты не угадал. Пока что всё мимо, совершенно.

Короче, я вам не тестовая машина, хотите дальше - тестируйте сами. Свои данные я привел, мой комп это мой комп.
Так что, предлагаю вам самостоятельно опровергнуть ваши собственные догадки, практическим способом - про "скорость архивации со скоростью записи", "trashing", "один диск" и прочее.
...
Рейтинг: 0 / 0
03.10.2018, 18:26
| Ответить | Цитировать | Написать  
Firebird 2.5. Нужна ли валидация до backup?
    #39712636
Arioch
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Arioch
Участник
kdvпро странности с многопоточностью rar - если в проводнике сказать "упакуй в rar"
kdvв этом режиме рар пишет на этот же диск

WinRar ( или WinZip или 7-zip или PeaZip или.... ) | Настройки | .... | Конеткстное меню Проводника | Команды...

Кроме "Добавить в архив <name>" включаем команду "Добавить в архив...." - она открывает диалог, в котором можно указать на какой диск класть.

Кстати, при этом может ещё, тиритисски, и антивирус возбуждаться. И NTFS-сжатие на обоих дисках. И всё это маскируется под "ядро операционной системы"....
...
Рейтинг: 0 / 0
03.10.2018, 19:13
| Ответить | Цитировать | Написать  
Firebird 2.5. Нужна ли валидация до backup?
    #39712670
Фотография kdv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
kdv
Участник
Ariochона открывает диалог, в котором можно указать на какой диск класть.
после чего начинает использовать 1 ядро, а не 2. Проверял специально.
Arioch и антивирус возбуждаться
на архивацию без сжатия это не повлияло.
...
Рейтинг: 0 / 0
03.10.2018, 20:23
| Ответить | Цитировать | Написать  
25 сообщений из 55, страница 2 из 3
  2  все
Форумы / Firebird, InterBase [игнор отключен] [закрыт для гостей] / Firebird 2.5. Нужна ли валидация до backup?
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение
NoSQL.ru       Новости, Чат       Фотоальбом: Участники, Встречи
Закрыть
start [/forum/topic.php?fid=40&msg=39712338&tid=1560938]:
 0ms
get settings:
 10ms
get forum list:
 14ms
check forum access:
 3ms
check topic access:
 3ms
track hit:
 60ms
get topic data:
 8ms
get forum data:
 2ms
get page messages:
 52ms
get tp. blocked users:
 1ms
others: 14ms
total:  167ms
созд. / загр.: 167ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]