|
NBACKUP с перенаправлением
|
|||
---|---|---|---|
#18+
Господа! Нет ли у кого-нибудь батника с nbackup(backup) nbackup(restore) без промежуточного файла (с перенаправлением потоков)? для 2.5 Хочется на ходу иметь рабочую копию БД. ... |
|||
:
Нравится:
Не нравится:
|
|||
14.11.2019, 10:08 |
|
NBACKUP с перенаправлением
|
|||
---|---|---|---|
#18+
А чё ты задумал-то? Сколько уровней бэкапа? Если тебе просто иметь рабочую базу на момент бэкапа, то всё равно этот файл надо на диске иметь Всего три команды так-то nbackup -L (копирование файла) nbackup -F на выполненной копии ... |
|||
:
Нравится:
Не нравится:
|
|||
14.11.2019, 10:13 |
|
NBACKUP с перенаправлением
|
|||
---|---|---|---|
#18+
o_v_a А чё ты задумал-то? Сколько уровней бэкапа? Если тебе просто иметь рабочую базу на момент бэкапа, то всё равно этот файл надо на диске иметь Всего три команды так-то nbackup -L (копирование файла) nbackup -F на выполненной копии Упс - четыре же. Разблокировку базы забыл. nbackup -L (копирование файла) nbackup -N nbackup -F на выполненной копии ... |
|||
:
Нравится:
Не нравится:
|
|||
14.11.2019, 10:24 |
|
NBACKUP с перенаправлением
|
|||
---|---|---|---|
#18+
o_v_a, две команды: nbackup -b 0 база копия nbackup -f копия ... |
|||
:
Нравится:
Не нравится:
|
|||
14.11.2019, 11:52 |
|
NBACKUP с перенаправлением
|
|||
---|---|---|---|
#18+
kdv, сыпасиба. я таки должен был это знать. ... |
|||
:
Нравится:
Не нравится:
|
|||
14.11.2019, 11:57 |
|
NBACKUP с перенаправлением
|
|||
---|---|---|---|
#18+
Код: plaintext 1. 2.
... |
|||
:
Нравится:
Не нравится:
|
|||
14.11.2019, 12:17 |
|
NBACKUP с перенаправлением
|
|||
---|---|---|---|
#18+
Basil A. Sidorov Код: plaintext 1. 2.
вау. с перенаправлением и компрессором. в точности, как просил :) ... |
|||
:
Нравится:
Не нравится:
|
|||
14.11.2019, 13:04 |
|
NBACKUP с перенаправлением
|
|||
---|---|---|---|
#18+
kdv, ну и раз все тут такие умные. почему финальная база меньше исходной? исходная пустая 73 мб, копия поле F - 70 мб ... |
|||
:
Нравится:
Не нравится:
|
|||
14.11.2019, 13:05 |
|
NBACKUP с перенаправлением
|
|||
---|---|---|---|
#18+
pastor, может потому что в БД есть свободные страницы? ... |
|||
:
Нравится:
Не нравится:
|
|||
14.11.2019, 13:10 |
|
NBACKUP с перенаправлением
|
|||
---|---|---|---|
#18+
kdv, открыл мне глаза пойду скрипты упрощать Я почему-то считал, что -b 0 даст не базу, а таки бэкап, который надо потом восстанавливать. ... |
|||
:
Нравится:
Не нравится:
|
|||
14.11.2019, 13:14 |
|
NBACKUP с перенаправлением
|
|||
---|---|---|---|
#18+
Basil A. Sidorov Код: plaintext 1. 2.
... |
|||
:
Нравится:
Не нравится:
|
|||
14.11.2019, 13:23 |
|
NBACKUP с перенаправлением
|
|||
---|---|---|---|
#18+
hvlad Уверен в последней строке ? ... |
|||
:
Нравится:
Не нравится:
|
|||
14.11.2019, 13:48 |
|
NBACKUP с перенаправлением
|
|||
---|---|---|---|
#18+
Basil A. Sidorov, я не очень понимаю смысла сначала потоком архивировать копию БД, а потом ее разархивировать и переводить в RW. По мне это лишняя загрузка процессора. Хотя, эффект будет, если диски медленные, а процессор быстрый, и база хоть как-то упаковывается. Это как бэкап с опцией -e http://interbase.blogspot.com/2018/09/gbak-b-e.html ... |
|||
:
Нравится:
Не нравится:
|
|||
14.11.2019, 13:54 |
|
NBACKUP с перенаправлением
|
|||
---|---|---|---|
#18+
1. бекап с архивацией 2. пересылка на другой хост 3. восстановление на оном хосте. экономит время и траффик. Posted via ActualForum NNTP Server 1.5 ... |
|||
:
Нравится:
Не нравится:
|
|||
14.11.2019, 14:02 |
|
NBACKUP с перенаправлением
|
|||
---|---|---|---|
#18+
o_v_a kdv, открыл мне глаза пойду скрипты упрощать Я почему-то считал, что -b 0 даст не базу, а таки бэкап, который надо потом восстанавливать. не я один поезда под откос пускаю ... |
|||
:
Нравится:
Не нравится:
|
|||
14.11.2019, 14:06 |
|
NBACKUP с перенаправлением
|
|||
---|---|---|---|
#18+
Мимопроходящий 1. бекап с архивацией 2. пересылка на другой хост 3. восстановление на оном хосте. экономит время и траффик. хоть чем-то занимает оставшиеся 11 ядер ... |
|||
:
Нравится:
Не нравится:
|
|||
14.11.2019, 14:07 |
|
NBACKUP с перенаправлением
|
|||
---|---|---|---|
#18+
kdv я не очень понимаю смысла сначала потоком архивировать копию БД, а потом ее разархивировать и переводить в RW. zstd даёт весьма приличную степень сжатия и упаковку со скоростью до сотен мегабайт в секунду. Даже в гигабитной сети время для "упаковать, scp/nfs и распаковать" будет заметно меньше, чем "просто копировать". Если на источнике нет места, а приёмник доступен по nfs/smb, то получить в гигабитной сети копирование на скорости 200-300 МБ/сек - вполне реально. Если на приёмнике есть http/ftp, то добавив в конвеейр curl, можно получить такую же скорость. P.S. Именно "nbackup -b 0 stdout|компрессор" нужен редко - достаточно "nbackup -lock, упаковать файл, nbackup -unlock", но если хочется в потоке - оно именно так и работает. ... |
|||
:
Нравится:
Не нравится:
|
|||
14.11.2019, 15:18 |
|
NBACKUP с перенаправлением
|
|||
---|---|---|---|
#18+
Basil A. Sidorov Быстрый компрессор позволяет сократить время копирования. Это, в свою очередь заметно уменьшает время, на которое требуется лочить базу. Время блокировки базы можно уменьшить если база данных расположена на файловой системе с поддержкой клонирования блоков (zfs, btrfs, xfs, ReFS) - копирование файла базы командой cp --reflink, между nbackup -lock и nbackup -unlock, будет почти мгновенным. ... |
|||
:
Нравится:
Не нравится:
|
|||
16.11.2019, 20:02 |
|
NBACKUP с перенаправлением
|
|||
---|---|---|---|
#18+
inoremap, в этом случае после -unlock сразу начнутся тормоза? ... |
|||
:
Нравится:
Не нравится:
|
|||
16.11.2019, 20:23 |
|
NBACKUP с перенаправлением
|
|||
---|---|---|---|
#18+
kdv inoremap, в этом случае после -unlock сразу начнутся тормоза? ... |
|||
:
Нравится:
Не нравится:
|
|||
16.11.2019, 22:38 |
|
NBACKUP с перенаправлением
|
|||
---|---|---|---|
#18+
kdv inoremap, в этом случае после -unlock сразу начнутся тормоза? Хороший вопрос, быстротест подтвердил падение скорости записи примерно в 2 раза. База для теста: Код: sql 1. 2. 3. 4. 5. 6.
тест записи: Код: plaintext
результаты: Код: plaintext 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13. 14. 15.
интересно что при выключеном forced writes скорость не падает: Код: plaintext 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13. 14. 15.
файловая система - xfs. ... |
|||
:
Нравится:
Не нравится:
|
|||
17.11.2019, 00:06 |
|
NBACKUP с перенаправлением
|
|||
---|---|---|---|
#18+
inoremap быстротест подтвердил падение скорости записи примерно в 2 раза. inoremap интересно что при выключеном forced writes скорость не падает Думаю, с другими объёмами БД оно было бы заметнее. PS Не в 2 раза, а на 50% (40сек -> 60 сек), но не суть ... |
|||
:
Нравится:
Не нравится:
|
|||
17.11.2019, 00:17 |
|
NBACKUP с перенаправлением
|
|||
---|---|---|---|
#18+
hvlad inoremap интересно что при выключеном forced writes скорость не падает Думаю, с другими объёмами БД оно было бы заметнее. Тогда sync выполнялся бы дольше. Если предположить что размеры страниц которые записывает firebird не совпадают с размерами блоков с которыми работает CoW, то при включенном forced writes CoW должен копировать весь блок при записи хотя бы одной страницы, но если forced writes выключен, то CoW может копировать блок только когда в него будут записаны все страницы, в этом случае скорость не будет сильно отличаться от скорости обычной записи. ... |
|||
:
Нравится:
Не нравится:
|
|||
17.11.2019, 00:50 |
|
NBACKUP с перенаправлением
|
|||
---|---|---|---|
#18+
Ivan_Pisarevsky Тормоза начнутся сразу, как положишь базу на brtfs. Плавали знаем. да *** такое "счастье" https://arxiv.org/pdf/1707.08514.pdf ... |
|||
:
Нравится:
Не нравится:
|
|||
19.11.2019, 08:29 |
|
NBACKUP с перенаправлением
|
|||
---|---|---|---|
#18+
Дегтярев Евгений да *** такое "счастье" В исследование весь файловый ввод-вывод делается блоками по 4КБ с вызовом fsync() после каждой операции. Если брать более типичные для FB 16КБ, то картина делается уже не такой страшной. ... |
|||
:
Нравится:
Не нравится:
|
|||
19.11.2019, 09:37 |
|
NBACKUP с перенаправлением
|
|||
---|---|---|---|
#18+
Basil A. Sidorov, что так что этак разница с ext4 - 8x фтопку, темболее на сервере БД, где все иопсы на счету ... |
|||
:
Нравится:
Не нравится:
|
|||
19.11.2019, 11:53 |
|
NBACKUP с перенаправлением
|
|||
---|---|---|---|
#18+
нет уж, н**. у нас ораклячий ДБА приобщившись к сакральным знаниям впердолил btrfs на Oracle Linux Server 7.6 с развёрнутым Oracle 9.2, а потом мужественно пару месяцев боролся с чудесами тормозами. беременные женщины были очень недовольны! (С) ... |
|||
:
Нравится:
Не нравится:
|
|||
19.11.2019, 11:59 |
|
NBACKUP с перенаправлением
|
|||
---|---|---|---|
#18+
Ну из CentOS8 btrfs выкинули, но речь не про то. В исследовании взят искусственный сценарий. Если взять другой искусственный сценарий, то btrfs покроет остальных, как бык овцу. ... |
|||
:
Нравится:
Не нравится:
|
|||
19.11.2019, 12:08 |
|
NBACKUP с перенаправлением
|
|||
---|---|---|---|
#18+
Немного не по теме.... А как вообще готовить nbackup -decompress ? Команда в виде строки передаётся? Такое подозрение что она вообще игнорится PS: FB 3.0.5.33179, Win10 ... |
|||
:
Нравится:
Не нравится:
|
|||
19.11.2019, 16:16 |
|
NBACKUP с перенаправлением
|
|||
---|---|---|---|
#18+
ABog, а ты где про decompress читал ? А что там про Win написано ? PS http://tracker.firebirdsql.org/browse/CORE-4462 ... |
|||
:
Нравится:
Не нравится:
|
|||
19.11.2019, 16:34 |
|
NBACKUP с перенаправлением
|
|||
---|---|---|---|
#18+
hvlad, Ну раз nbackup -? в винде показывает -de в наличии - ожидал что оно таки работает. ... |
|||
:
Нравится:
Не нравится:
|
|||
19.11.2019, 16:43 |
|
NBACKUP с перенаправлением
|
|||
---|---|---|---|
#18+
hvlad, А какие сейчас вообще перспективы появления nbackup -decompress под виндой? ... |
|||
:
Нравится:
Не нравится:
|
|||
30.11.2019, 04:43 |
|
NBACKUP с перенаправлением
|
|||
---|---|---|---|
#18+
ABog, такие же как и раньше :) Это реально сильно нужно ? У меня есть большие сомнения в скорости такого режима работы... ... |
|||
:
Нравится:
Не нравится:
|
|||
30.11.2019, 14:44 |
|
NBACKUP с перенаправлением
|
|||
---|---|---|---|
#18+
hvlad, Не то чтобы без этого совсем жить нельзя, но как говориться, шанцевый инструмент заточкой не испортишь. На счёт сомнений в скорости... тут вот какой момент - если между диском с БДой и местом где должен лежать бекап находится сетка, то чем он (бекап) по размеру меньше, тем процесс быстрее. Подобные прыжки в ширину со сжатием обычно начинаются из-за конечности локальных ресурсов на сервере БД, когда например держать локально инкременталку 0-го уровня уже нет возможности. За всех не скажу, но лично в моём случае использование сжатия вывода nbackup-а сокращает время процесса примерно в 2.5 - 3 раза (nbackup -B ... stdout|zstd -3 -o %BackUpFile%) И всё бы хорошо, но теперь проблема в том что в случае аларма придётся разархивировать бекап перед восстановлением БД. А это, мало того, что время на промежуточное копирование (что в таких случаях ресурс очень ценный), так и собственно пресловутое дополнительное место на дисках требуется. ... |
|||
:
Нравится:
Не нравится:
|
|||
30.11.2019, 20:33 |
|
NBACKUP с перенаправлением
|
|||
---|---|---|---|
#18+
ABog, тестировать будешь ? ... |
|||
:
Нравится:
Не нравится:
|
|||
01.12.2019, 01:13 |
|
NBACKUP с перенаправлением
|
|||
---|---|---|---|
#18+
hvlad, Почему нет, для себя - то? ... |
|||
:
Нравится:
Не нравится:
|
|||
01.12.2019, 08:48 |
|
NBACKUP с перенаправлением
|
|||
---|---|---|---|
#18+
ABog, ну тогда - пробуй https://we.tl/t-8yY1tl0I51 Тут nbackup.exe с поддержкой ключа -DE Сборка VC10 x64, т.е. можно просто заменить nbackup.exe в уже установленном FB3 Я проверял с 7z (-DE "7z e -so") и с zstd (-DE "zstd -dc --no-progress") ... |
|||
:
Нравится:
Не нравится:
|
|||
02.12.2019, 14:32 |
|
NBACKUP с перенаправлением
|
|||
---|---|---|---|
#18+
hvlad, Понял, завтра погоняю в реальном окружении и отпишусь. ... |
|||
:
Нравится:
Не нравится:
|
|||
02.12.2019, 16:32 |
|
NBACKUP с перенаправлением
|
|||
---|---|---|---|
#18+
ABog, сначала погоняй в тестовом окружении :) ... |
|||
:
Нравится:
Не нравится:
|
|||
02.12.2019, 17:28 |
|
NBACKUP с перенаправлением
|
|||
---|---|---|---|
#18+
hvlad, Чего-то не взлетает. Никакой реакции на ключ -DE . Работает точно так же как и предыдущая версия, распаковщик (ни zstd, ни 7z) не вызывается. ... |
|||
:
Нравится:
Не нравится:
|
|||
02.12.2019, 20:51 |
|
NBACKUP с перенаправлением
|
|||
---|---|---|---|
#18+
ABog, и ничего не пишет ? И не висит ? А ты его точно заменил ? Покажи полную ком строку (пароли и реальные пути не нужны) ... |
|||
:
Нравится:
Не нравится:
|
|||
02.12.2019, 21:13 |
|
NBACKUP с перенаправлением
|
|||
---|---|---|---|
#18+
hvlad, Заменил. Версия 3.0.5.33190(x64) от сегодня на 14:23 Не висит, копирует файл из \\STORAGE\Backups\db.level0.nbk.zstd в D:\DB\test.fdb потом выдает ошибку что это не файл снапшота (не записал точный текст) Ком.строка: nbackup -DE "zstd -dc --no-progress" -R D:\DB\test.fdb \\STORAGE\Backups\db.level0.nbk.zstd zstd в папке фаербёрда (установлен снапшот Firebird-3.0.5.33190-0_x64) ... |
|||
:
Нравится:
Не нравится:
|
|||
02.12.2019, 21:27 |
|
NBACKUP с перенаправлением
|
|||
---|---|---|---|
#18+
hvlad, Последний, по крайней мере завёлся. О результатах позже. ... |
|||
:
Нравится:
Не нравится:
|
|||
02.12.2019, 21:31 |
|
NBACKUP с перенаправлением
|
|||
---|---|---|---|
#18+
Итак, отвечу сразу на два вопроса: 1. Работает ли это? - О да!!! Прекрасно работает :) 2. Был ли в этом смысл? Тестировал только для zstd, так как 7z тут совсем не в кассу. Использованные БД: Размер БД Размер архива Коэффициент сжатия (Ka) 64.1 GB 17.4 GB 3.683908045977011405.0 GB 168.0 GB 2.410714285714286 Время восстановления nbackup из снапшота 0-го уровня Ta - из сжатого Twa - из несжатого Сценарии 1. SSD-SSD (с быстрого диска на быстрый диск на локальном хосте) Twa ~= Ta 2. HDD-SSD (с небыстрого диска на быстрый диск на локальном хосте) Twa ~= 0.7*Ka*Ta 3. SSD-LAN-SSD (с быстрого диска на быстрый диск через локальную сеть) Twa ~= 1.1*Ta 4. SSD-WAN-SSD (с быстрого диска на быстрый диск через высоколатентную сеть(канал с филиалом)) Twa ~= Ka*Ta PS: Удивил результат 2-го сценария. При коэффициентах сжатия от ~1.45 и выше даже тут zstd уже имеет смысл. PPS: Все результаты получены путём поверхностной проверки в реальном окружении и полноценным тестом не являются. Короче Disclaimer. Имхо, с учётом кучи освобождённого места при хранении и как минимум неотставания распаковки от прямого копирования во всех сценариях - смысл в использования сжатия очевиден. ... |
|||
:
Нравится:
Не нравится:
|
|||
04.12.2019, 11:17 |
|
NBACKUP с перенаправлением
|
|||
---|---|---|---|
#18+
Виндовый zstd собиратся --with-zlib и умеет ещё gzip. Можно не запоминать марсианские команды 7z - мелочь, а приятно ... |
|||
:
Нравится:
Не нравится:
|
|||
04.12.2019, 12:19 |
|
NBACKUP с перенаправлением
|
|||
---|---|---|---|
#18+
ABog, спасибо за тестирование. ... |
|||
:
Нравится:
Не нравится:
|
|||
04.12.2019, 14:28 |
|
NBACKUP с перенаправлением
|
|||
---|---|---|---|
#18+
hvlad, Вообще не вопрос. Тебе спасибо, что было что тестировать. PS: С удовольствием бы протестировал такую же фичу и для gbak -c(-b) -se, когда stdin(stdout) недоступен и сжать(распаковать) динамически не возможно. Ну это так, мечтательно :) ... |
|||
:
Нравится:
Не нравится:
|
|||
04.12.2019, 22:11 |
|
|
start [/forum/topic.php?all=1&fid=40&tid=1560499]: |
0ms |
get settings: |
8ms |
get forum list: |
14ms |
check forum access: |
4ms |
check topic access: |
4ms |
track hit: |
179ms |
get topic data: |
11ms |
get forum data: |
3ms |
get page messages: |
71ms |
get tp. blocked users: |
2ms |
others: | 257ms |
total: | 553ms |
0 / 0 |