Гость
Войти | Профиль | Очистить
Действия ...
Форумы / Firebird, InterBase [игнор отключен] [закрыт для гостей] / Тормоза Nbackup после Restore / 25 сообщений из 34, страница 1 из 2
  1  все
24.11.2019, 10:08
    #39893512
Atanas
Atanas
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Тормоза Nbackup после Restore
Добрый день.

База FB 3, размер 100Гб.
Ежедневно утром делается nbackup 0 уровня.
nbackup -D off -B 0 База Бэкап
Времени занимает 15 минут.
По воскресеньям делаем backup/restore gbak'ом.
После restore nbackup работает 1.5 часа. Настройки nbackup не отличаются для обычного дня/воскресенья.
Подскажите куда копать?
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
24.11.2019, 11:14
    #39893520
kdv
kdv
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Тормоза Nbackup после Restore
Atanas,

-d off - это файловый кэш включен, а после рестора БД может в файловом кэше ОС отсутствовать.
Если винда - посмотрите rammap, присутствует БД в файловом кэше, и в каком объеме. Как после рестора, так и утром.

ради эксперимента можно заменить
nbackup -D off -B 0 База Бэкап

на
nbackup -L база
copy /b база бэкап
nbackup -N база

ну и смотреть на скорость дискового ввода-вывод во всех случаях.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
26.11.2019, 12:38
    #39894402
Atanas
Atanas
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Тормоза Nbackup после Restore
kdv
Atanas,

-d off - это файловый кэш включен, а после рестора БД может в файловом кэше ОС отсутствовать.
Если винда - посмотрите rammap, присутствует БД в файловом кэше, и в каком объеме. Как после рестора, так и утром.

ради эксперимента можно заменить
nbackup -D off -B 0 База Бэкап

на
nbackup -L база
copy /b база бэкап
nbackup -N база

ну и смотреть на скорость дискового ввода-вывод во всех случаях.


Да, винда. Rammap показал сегодня что закэшировано около 35% файла БД.
Попробовал убрать -d off, в итоге nbackup шел более 3 часов, после чего пришлось убить. Судя по размеру файла бэкапа должен был закончить за 4 часа.
Файловую копию нет возможности использовать. Т.к. у нас еще инкрементные бэкапы каждый час делаются.
Может есть возможность винду заставить закэшировать файл бд после рестора?
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
26.11.2019, 14:13
    #39894482
o_v_a
o_v_a
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Тормоза Nbackup после Restore
Для того, чтоб что-то закэшировать, надо это "что-то" зачитать. То есть, обратиться к страницам базы данных.
Если вам нужно обеспечить быстродействие nbackup, то после восстановления первым делом "разогревайте" кэш Firebird хотя бы чем-то типа
Код: plsql
1.
select * from table1


Если вы разработчик, вам не составит труда придумать коллекцию запросов для такого разогрева с участием самых больших по размеру таблиц. Прогоняйте этот свой скрипт через isql -i в молчаливом режиме после восстановления базы.
До начала работы nbackup -B 0, надеюсь, у вас будет достаточно времени для этого робота, т.к. работать он может, судя по времени выполнения nbackup -B 0 на неразогретой базе, также несколько часов?

Ну или идите экстенсивным путём: размещайте базу на SSD или вообще даже RAM-диске :) На RAM и "греть" не надо ничего - всё и так с максимальным быстродействием ОЗУ работает (минус затраты на время работы дискового драйвера, разумеется).
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
26.11.2019, 14:22
    #39894490
Симонов Денис
Симонов Денис
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Тормоза Nbackup после Restore
o_v_a,

а смысл? Суммарное время прогрева кеша + копирования вряд ли меньше будет

Atanas,

а зачем вам restore через gbak нужен?
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
26.11.2019, 14:24
    #39894492
o_v_a
o_v_a
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Тормоза Nbackup после Restore
А он не указал, через сколько после бэкапа/рестора работает нулевой nbackup
Если ночью делается рестор, а первый nbackup -B 0 после него только через 6 часов, например, пуркуа бы да ни па, как говорится?..

А если через час, то не поможет. Тогда только ускорение дисковой подсистемы.

Для чего он им нужен - да, интересно. Нормально спроектированная система в таком регулярном бэкап/ресторе не нуждается.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
26.11.2019, 14:39
    #39894506
hvlad
hvlad
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Тормоза Nbackup после Restore
Atanas
Rammap показал сегодня что закэшировано около 35% файла БД.
Это после рестора c gbak'ом ? Небось ещё 30-50% занимает файл бекапа ?
А что показывает RamMap в будний день, когда nbackup быстро работает ?
И - сколько у вас ОЗУ ?
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
26.11.2019, 14:41
    #39894508
Basil A. Sidorov
Basil A. Sidorov
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Тормоза Nbackup после Restore
Atanas
Файловую копию нет возможности использовать. Т.к. у нас еще инкрементные бэкапы каждый час делаются.
Файловой копии надо делать "nbackup -f". Других отличий от "nbackup -b 0" - не имеется.
Тьфу на меня - не подумал :)
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
26.11.2019, 15:33
    #39894547
fraks
fraks
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Тормоза Nbackup после Restore
Абстрактная мысль вслух.

В отличие от FB2.5, на FB3, по слухам, ускорен инкрементальный бэкап, благодаря тому что на страницах, или в ином специальном месте помечается какие страницы были изменены со времени прошлого nbackup, и можно страницы которые не менялись, вообще не читать.

Не может ли быть так что сразу после gbak -c эта информация еще не заполнена, и nbackup приходится инициализировать эту информацию для всех страниц базы, на что и уходит столько времени.
?
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
26.11.2019, 15:35
    #39894550
kdv
kdv
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Тормоза Nbackup после Restore
AtanasПопробовал убрать -d off, в итоге nbackup шел более 3 часов, после чего пришлось убить.
ооо, найн, этого нельзя было делать.
Фишка в том, что Firebird-у кэш ОС помогает, даже суперсерверу. А запуск nbackup с -d on вырубает файловый кэш у БД. Это также можно обнаружить по rammap.
И винда начнет кэшировать БД только после окончания работы nbackup.

Присоединяюсь к вопросам Влада 22025691
AtanasФайловую копию нет возможности использовать. Т.к. у нас еще инкрементные бэкапы каждый час делаются.
что???

Вот эти команды
nbackup -D off -B 0 База Бэкап

и
nbackup -L база
copy /b база бэкап
nbackup -N база

ЭКВИВАЛЕНТНЫ. Чего вы там не можете использовать, если в первом случае нбэкап сам лочит базу, копирует ее, и потом разлочивает? Это та же самая копия -b 0.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
26.11.2019, 16:52
    #39894580
Atanas
Atanas
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Тормоза Nbackup после Restore
hvlad
Atanas
Rammap показал сегодня что закэшировано около 35% файла БД.
Это после рестора c gbak'ом ? Небось ещё 30-50% занимает файл бекапа ?
А что показывает RamMap в будний день, когда nbackup быстро работает ?
И - сколько у вас ОЗУ ?


Нет сегодня будний день. Т.е. сегодня он бы отработал за 15 минут, если бы не убрал -d off
Памяти 144Гб
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
26.11.2019, 17:30
    #39894598
Atanas
Atanas
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Тормоза Nbackup после Restore
kdv,

kdvВот эти команды
nbackup -D off -B 0 База Бэкап

и
nbackup -L база
copy /b база бэкап
nbackup -N база

ЭКВИВАЛЕНТНЫ. Чего вы там не можете использовать, если в первом случае нбэкап сам лочит базу, копирует ее, и потом разлочивает? Это та же самая копия -b 0.

В мануале про это как-то умолчали.
Т.е. имеете ввиду после:

kdvnbackup -L база
copy /b база бэкап
nbackup -N база
а затем
nbackup -B 1 База Бэкап1
В Бэкап1 попадет только дельта с момента блокировки/разблокировки?

Как же тогда таблица RDB$BACKUP_HISTORY?
В ней создается запись при -b 0 (-b 1 и т.д.), но не создается запись при -L -N

Я думал что именно эта таблица используется для определения того, что лить в дельту n-го уровня...
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
26.11.2019, 17:44
    #39894618
Atanas
Atanas
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Тормоза Nbackup после Restore
Симонов Денис
o_v_a,
Atanas,

а зачем вам restore через gbak нужен?


Временными блобами пользуемся часто, база пухнет. В неделю за счет этого до 10 Гб может увеличиться. Gbak с восстановлением ее в чувство приводит. Пробовали не делать еженедельно, увеличивается дальше.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
26.11.2019, 17:52
    #39894625
hvlad
hvlad
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Тормоза Nbackup после Restore
Atanas
hvladЭто после рестора c gbak'ом ? Небось ещё 30-50% занимает файл бекапа ?
А что показывает RamMap в будний день, когда nbackup быстро работает ?
И - сколько у вас ОЗУ ?


Нет сегодня будний день. Т.е. сегодня он бы отработал за 15 минут, если бы не убрал -d off
Памяти 144Гб?
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
26.11.2019, 17:53
    #39894627
hvlad
hvlad
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Тормоза Nbackup после Restore
Atanas
Как же тогда таблица RDB$BACKUP_HISTORY?
В ней создается запись при -b 0 (-b 1 и т.д.), но не создается запись при -L -N

Я думал что именно эта таблица используется для определения того, что лить в дельту n-го уровня...
Так и есть, KDV ошибается
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
26.11.2019, 17:54
    #39894628
hvlad
hvlad
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Тормоза Nbackup после Restore
Atanas
Временными блобами пользуемся часто, база пухнет
И есть 100% уверенность, что дело в блобах ? Откуда она ?
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
26.11.2019, 17:55
    #39894629
Atanas
Atanas
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Тормоза Nbackup после Restore
hvlad,

На это не обратил внимание, завтра утром скриншот сниму перед выполнением nbackup.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
26.11.2019, 17:56
    #39894630
hvlad
hvlad
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Тормоза Nbackup после Restore
fraks
Не может ли быть так что сразу после gbak -c эта информация еще не заполнена, и nbackup приходится инициализировать эту информацию для всех страниц базы, на что и уходит столько времени.
?
Не может.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
26.11.2019, 17:57
    #39894632
hvlad
hvlad
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Тормоза Nbackup после Restore
Atanas
На это не обратил внимание, завтра утром скриншот сниму перед выполнением nbackup.
Завтра не воскресенье, gbak не будет выполняться - не так ли ?
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
26.11.2019, 18:10
    #39894645
Atanas
Atanas
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Тормоза Nbackup после Restore
hvlad
Atanas
На это не обратил внимание, завтра утром скриншот сниму перед выполнением nbackup.
Завтра не воскресенье, gbak не будет выполняться - не так ли ?


Gbak выполняется каждый день. Но restore'ный вариант мы только по воскресеньям заменяем на боевую БД. В остальные дни отресторенная бд просто уходит в архив.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
26.11.2019, 18:13
    #39894647
Atanas
Atanas
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Тормоза Nbackup после Restore
hvlad
Atanas
Временными блобами пользуемся часто, база пухнет
И есть 100% уверенность, что дело в блобах ? Откуда она ?


100% нет. Но вероятность высокая.
Когда начали html отчеты в процедурах клеить и возвращать мобильным клиентам это стало очень заметно.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
26.11.2019, 18:14
    #39894649
Мимопроходящий
Мимопроходящий
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Тормоза Nbackup после Restore
26.11.2019 18:10, Atanas пишет:
> Gbak выполняется каждый день. Но restore'ный вариант мы только по
> воскресеньям заменяем на боевую БД.

зачем?
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
26.11.2019, 18:31
    #39894653
hvlad
hvlad
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Тормоза Nbackup после Restore
Atanas
Gbak выполняется каждый день. Но restore'ный вариант мы только по воскресеньям заменяем на боевую БД
Начинаются выясняться подробности.
Рестор на боевой машине выполняется или нет ?
Запустите RamMap минимум два раза - перед и после gbak.
И ещё раз - перед nbackup, если этот момент сильно после рестора gbak'ом.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
26.11.2019, 18:33
    #39894655
hvlad
hvlad
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Тормоза Nbackup после Restore
Atanas
Когда начали html отчеты в процедурах клеить и возвращать мобильным клиентам
Они сильно больше 32КБ ? Их нельзя в varchar клеить ?
Или научить мобильного клиента собирать отчёт из нескольких строк.
Вы же на чтении блоба по сети мобильным клиентом тоже время теряете, по идее.
Если, конечно, блоб небольшой.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
26.11.2019, 19:36
    #39894691
Дегтярев Евгений
Дегтярев Евгений
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Тормоза Nbackup после Restore
Atanas
100% нет. Но вероятность высокая.
Когда начали html отчеты в процедурах клеить и возвращать мобильным клиентам это стало очень заметно.


...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
  1  все
Форумы / Firebird, InterBase [игнор отключен] [закрыт для гостей] / Тормоза Nbackup после Restore / 25 сообщений из 34, страница 1 из 2
Целевая тема:
Создать новую тему:
Автор:
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение
созд. / загр.: 411ms
Закрыть
start [/forum/topic.php?fid=40&tablet=1&tid=1560505]:
 0ms
get settings:
 8ms
get forum list:
 13ms
check forum access:
 4ms
check topic access:
 4ms
track hit:
 44ms
get topic data:
 12ms
get forum data:
 3ms
get page messages:
 60ms
get tp. blocked users:
 2ms
others: 261ms
total:  411ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]