Гость
Форумы / Firebird, InterBase [игнор отключен] [закрыт для гостей] / Ускорить gbak / 15 сообщений из 15, страница 1 из 1
16.05.2019, 11:50
    #39813948
smatch
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Ускорить gbak
добрый день
есть база 264 ГБ, мусора в ней может в ней на 50 Г.
Делаю ей gbak
автор%gbak% -b -g -se localhost:service_mgr %database_name% %backup_filename% -v -y %log_file% -user %user% -pass %password%
делается крайне долго, за пару часов ~63 Г сделалось :( и продолжается.

Машина виртуальная, делаю на ту же машину на другой логический диск.
Версия FB 2.5.8.27084, gbak тоже самое.
Версия classic

Что где можно подправить с целью ускорить процесс?
...
Рейтинг: 0 / 0
16.05.2019, 11:55
    #39813952
Dimitry Sibiryakov
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Ускорить gbak
smatchЧто где можно подправить с целью ускорить процесс?

В консерватории (то бишь железе): http://www.ibase.ru/backupspeed3/
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
16.05.2019, 11:55
    #39813953
Гаджимурадов Рустам
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Ускорить gbak
Виртуалки мало смысла обсуждать.

Глобальная цель какая - бэкап-рестор вместо свипа?
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
16.05.2019, 12:05
    #39813957
smatch
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Ускорить gbak
Гаджимурадов Рустам,

Цель замерить время, сколько будет в боевом режиме делаться gbak, сейчас по факту стоп служба копипаст и снова запуск службы.
Так же оценить потери времени по рестору, на случай ЧП.
А свип и так делается, но увы он не высвобождает место для ОС, и файл продолжает рост.
...
Рейтинг: 0 / 0
16.05.2019, 12:14
    #39813964
Симонов Денис
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Ускорить gbak
Что за машина на которой стоит виртуалька? Intel® Virtualization Technology for Directed I/O (VT-d) поддерживается?

smatchА свип и так делается, но увы он не высвобождает место для ОС, и файл продолжает рост.

он и не должен это делать.
...
Рейтинг: 0 / 0
16.05.2019, 12:30
    #39813970
Ivan_Pisarevsky
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Ускорить gbak
smatchЧто где можно подправить с целью ускорить процесс? Сколько ИОпсов и мегабайт в секунду способна выдать дисковая? Сколько по факту съедено во время работы гбак?

Виртуалка для нагруженного сервера БД не лучшее решение.

smatchТак же оценить потери времени по рестору, на случай ЧП.На случай ЧП должен быть сервер на репликации с возможностью принять нагрузку на себя после ЧП.

smatchне высвобождает место для ОС, и файл продолжает рост.Свип точно проходит успешно? крайне желательно перед запуском свип закоммитить/откатить все транзакции, чтобы свипу достался именно мусор, а не цепочки условно живых версий.
...
Рейтинг: 0 / 0
17.05.2019, 10:07
    #39814441
Гаджимурадов Рустам
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Ускорить gbak
smatch> Цель замерить время, сколько будет в боевом режиме делаться gbak

Странно замерять это на виртуалке. Тестового (или "запасного") железного сервера нет?

> А свип и так делается, но увы он не высвобождает
> место для ОС, и файл продолжает рост.

Во-первых, свип (как уже сказали) и не должен это делать.
Но файл "продолжать расти" будет "меньше", ибо часть
данных будет размещена на освобожденных страницах.
Во0вторых, зачем вам эти копейки, у вас там что - мусора
на половину БД ?
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
17.05.2019, 11:01
    #39814483
rdb_dev
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Ускорить gbak
Вариант 1:
Если хостовая система под вендой, диск виртуальной системы в формате VHD и файловая система с БД на гостевой ОС - NTFS, погасить виртуалку, подцепить VHD к хостовой системе и сделать gbak.

Вариант 2:
Поднять на хостовой ОС iSCSI Target, цепануть его в гостевой ОС iSCSI инициатором и делать резервную копию туда.


Кстати, на чём виртуалка?
...
Рейтинг: 0 / 0
17.05.2019, 21:27
    #39814800
smatch
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Ускорить gbak
Виртуалка на VMware, к серверам физически и к хостам у меня доступа нет.
Политика "партии" что сервера виртуальные.

Ivan_Pisarevsky, свип проходит успешно

Гаджимурадов Рустам, мусора очень много, каждый день удаляю "старые" данных, уверен очень много там барахла, жалко нет аналога shrink в mssql

rdb_dev, увы я не серверный админ :) доступа нет у меня к настройке ВМ со стороны ВМ менеджера
...
Рейтинг: 0 / 0
17.05.2019, 22:43
    #39814806
Ivan_Pisarevsky
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Ускорить gbak
smatchПолитика "партии" что сервера виртуальные.Политика подкреплена файберной СХД на полсотни-сотню дисков? Или на голом энтузиазме стильно-модно-молодежно?

У нас тоже админ порывался замутить БТРФС, софтрейды и виртуалки, пришлось доходчиво объяснять, даже дал на растерзание один из периферийных серверов, убедился, что Ж***, только потом успокоился и все сделал как мы сказали.
...
Рейтинг: 0 / 0
18.05.2019, 00:30
    #39814817
kdv
kdv
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Ускорить gbak
smatch сколько будет в боевом режиме делаться gbak
в каком еще "боевом"? Бэкап должен делаться при наименьшей активности юзеров.
Если в базе 264 гиг скопилось 50 гиг мусора, значит приложения написаны крайне плохо,
управление транзакциями никакое.
Надо оптимизировать приложения (читать про транзакции, сборку мусора, и т.д.)
...
Рейтинг: 0 / 0
22.05.2019, 09:33
    #39816192
rdb_dev
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Ускорить gbak
Ivan_PisarevskyУ нас тоже админ порывался замутить БТРФС, софтрейды и виртуалки, пришлось доходчиво объяснять, даже дал на растерзание один из периферийных серверов, убедился, что Ж***, только потом успокоился и все сделал как мы сказали.Для таких систем очень важен выбор алгоритма хеширования для индекса страниц. Самый надёжный, не значит самый быстрый. Тут нужен компромисс и, возможно, оптимальным выбором будет det + context comparison (обычная детерминанта матрицы + сравнение содержимого при совпадении индекса).
...
Рейтинг: 0 / 0
22.05.2019, 09:36
    #39816196
rdb_dev
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Ускорить gbak
smatchrdb_dev, увы я не серверный админ :) доступа нет у меня к настройке ВМ со стороны ВМ менеджераТогда делайте файл резервной копии на "диск" в гостевой системе, архивируйте и тяните к себе.
...
Рейтинг: 0 / 0
22.05.2019, 09:50
    #39816203
WildSery
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Ускорить gbak
rdb_devТут нужен компромисс и, возможно, оптимальным выбором будет det + context comparison (обычная детерминанта матрицы + сравнение содержимого при совпадении индекса).А что, бывает вариант работы с хешем без сравнения совпадающих?
...
Рейтинг: 0 / 0
22.05.2019, 10:18
    #39816221
rdb_dev
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Ускорить gbak
WildSeryrdb_devТут нужен компромисс и, возможно, оптимальным выбором будет det + context comparison (обычная детерминанта матрицы + сравнение содержимого при совпадении индекса).А что, бывает вариант работы с хешем без сравнения совпадающих?Я исхожу из опций настроек - если контекстное сравнение для страниц задается отдельной (дополнительной) настройкой, значит бывает (по крайней мере для ZFS).
...
Рейтинг: 0 / 0
Форумы / Firebird, InterBase [игнор отключен] [закрыт для гостей] / Ускорить gbak / 15 сообщений из 15, страница 1 из 1
Целевая тема:
Создать новую тему:
Автор:
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]