powered by simpleCommunicator - 2.0.51     © 2025 Programmizd 02
Форумы / Firebird, InterBase [игнор отключен] [закрыт для гостей] / Скорость бэкапа 2.5.8 и 3.0.5
25 сообщений из 30, страница 1 из 2
Скорость бэкапа 2.5.8 и 3.0.5
    #39804852
Ivan_Pisarevsky
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Привет!

Перевожу тут помаленьку свои серверы на трешку и обратил внимание на аномалию:
резко выросло время создания бэкапа одной из баз размер примерно 160 гиг, время создания gbk занимало примерно 15 минут, а стало 2 с лишним часа, база специфическая, в ней мало метаданных, зато полно блобов, собственно в нее и вынесены практически все блобы из основной БД. Нагрузка на запись там небольшая, мусора практически нет. Скорость рестора осталась на примерно том же уровне примерно полчаса на обоих версиях ФБ. При этом пара других баз, где блобов почти нет работает на прежней скорости, аномалий там нет, все в пределах погрешности измерений.

Вызывается обычный гбак без особых изысков, скрипт бэкапа не менял при смене версии:
gbak -user $IBUSER -pass $2 -g -v -y "$PRTPATH/$1.bpr" "$LOGPATH/$1.gdb" "$ARCPATH/$1.gbk"

Само железо в нормальном состоянии, диски планово заменены в прошлом году, сбоев в железе нет.

Это я где-то торможу или делаю что-то не так?
Кто-то еще замечал что-то подобное?
...
Рейтинг: 0 / 0
Скорость бэкапа 2.5.8 и 3.0.5
    #39804862
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Ivan_PisarevskyКто-то еще замечал что-то подобное?

Проверка прав на чтение блобов гораздо небесплатнее, чем ожидалось.
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
Скорость бэкапа 2.5.8 и 3.0.5
    #39804866
Фотография Симонов Денис
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Ivan_Pisarevsky,

а почему без использования сервисов? На удалённый компьютер что ли делается?
...
Рейтинг: 0 / 0
Скорость бэкапа 2.5.8 и 3.0.5
    #39804871
Фотография Симонов Денис
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Dimitry Sibiryakov,

не верю
...
Рейтинг: 0 / 0
Скорость бэкапа 2.5.8 и 3.0.5
    #39804882
Ivan_Pisarevsky
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Dimitry SibiryakovПроверка прав на чтение блобов гораздо небесплатнее, чем ожидалось.под сисдба? В установленном билде 33100 фикс с правами присутствует, который мне "кровЪ пил" в прошлом топике.
Симонов Дениса почему без использования сервисов? На удалённый компьютер что ли делается?на локальный диск, там же потом зипуется и только потом отправляется "в сеть", про сервисы не вспоминали, пока работало, да и двойке работает. В скрипте рестора, кстати, сервисы прописаны. Воткнул и в бэкапный, на одном из серверов, завтра проверю разницу.
...
Рейтинг: 0 / 0
Скорость бэкапа 2.5.8 и 3.0.5
    #39805338
Ivan_Pisarevsky
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Ivan_PisarevskyВоткнул и в бэкапный, на одном из серверов, завтра проверю разницу.Воткнул криво, ночью все нафиг отвалилось. :)
Поправил, запустил днем бэкап, отработало за 26 минут, в принципе уже нормально, учитывая, что примерно 70 коннектов были активны в фоне. На двойке и без сервисов вполне работало, а тут такой стоп-кран. Пока понаблюдаю еще.
...
Рейтинг: 0 / 0
Скорость бэкапа 2.5.8 и 3.0.5
    #39805355
hvlad
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Ivan_PisarevskyВызывается обычный гбак без особых изысков, скрипт бэкапа не менял при смене версии:
gbak -user $IBUSER -pass $2 -g -v -y "$PRTPATH/$1.bpr" "$LOGPATH/$1.gdb" "$ARCPATH/$1.gbk"Это gbak от 3 или остался от 2.5 ?
...
Рейтинг: 0 / 0
Скорость бэкапа 2.5.8 и 3.0.5
    #39805365
Ivan_Pisarevsky
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
hvladЭто gbak от 3соответственно серверу. На троешном сервер гбак строго от тройки.
...
Рейтинг: 0 / 0
Скорость бэкапа 2.5.8 и 3.0.5
    #39805369
hvlad
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Ivan_Pisarevsky,

и конфиг по умолчанию ? Не убирал engine12 из списка провайдеров ?
Я могу объяснить тормоз при бекапе с локальными путями только сетевым соединением с сервером.
...
Рейтинг: 0 / 0
Скорость бэкапа 2.5.8 и 3.0.5
    #39805377
Ivan_Pisarevsky
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
hvladНе убирал engine12 из списка провайдеров ?эту строчку не трогал.
Легаси аутентификацию крутил, кэш страниц крутил, энжин не трогал. Проверил, эта строка по-умолчанию.

hvladЯ могу объяснить тормоз при бекапе с локальными путями только сетевым соединением с сервером.Сеть? странно... Когда я запустил исходный скрипт "на горячую" он отругал, что не может схватить залочить файл базы, т.е. я делаю вывод, что лезет через эмбед, а не через сервер и файлы бэкапа принадлежали руту, а не файрберду.

Кстати, заметил небольшую багу: когда велел серверу класть бэкап в папку и прав не дал, он отругал меня по всей форме:

gbak: ERROR:cannot open backup file /ibbackup/****.gbk
gbak: ERROR: Exiting before completion due to errors
gbak:Exiting before completion due to errors

Все ясно и понятно, а вот когда не дал прав на папку куда сложить отладочный выхлоп ключа -v никакой ругани не было, просто молчаливый кирдык. В трекер?
...
Рейтинг: 0 / 0
Скорость бэкапа 2.5.8 и 3.0.5
    #39805386
hvlad
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Ivan_PisarevskyhvladЯ могу объяснить тормоз при бекапе с локальными путями только сетевым соединением с сервером.Сеть? странно... Когда я запустил исходный скрипт "на горячую" он отругал, что не может схватить залочить файл базы, т.е. я делаю вывод, что лезет через эмбед, а не через серверПохоже на то. Точно выяснить можно, посмотрев в mon$attachments на коннект gbak'а.
Лучшей теории у меня пока нет.

Ivan_Pisarevskyфайлы бэкапа принадлежали руту, а не файрбердуЕсс-но, их же gbak создаёт, а не движок\сервер

Ivan_Pisarevskyкогда не дал прав на папку куда сложить отладочный выхлоп ключа -v никакой ругани не было, просто молчаливый кирдык. В трекер?Думаю - да
...
Рейтинг: 0 / 0
Скорость бэкапа 2.5.8 и 3.0.5
    #39805404
Ivan_Pisarevsky
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
hvladДумаю - да http://tracker.firebirdsql.org/browse/CORE-2251
Уж лет с десяток оно там, не вижу смысла делать дубль.

hvladЛучшей теории у меня пока нет.Странность еще и в том, что обычная база без блобов вполне себе бэкапится в установленный срок и пофиг на сервисы, скрипт бэкапа один на всех.

Завтра соберу все в табличку 3х3: есть серверы 3 шт. 1 - 2.5, 1 - 3.0 с сервисами и 1 - 3.0 без сервисов. И три базы: одна с блобами и две без таковых.
...
Рейтинг: 0 / 0
Скорость бэкапа 2.5.8 и 3.0.5
    #39805429
hvlad
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Ivan_Pisarevsky http://tracker.firebirdsql.org/browse/CORE-2251
Уж лет с десяток оно там, не вижу смысла делать дубль.Там про сервисы, у тебя (насколько я понимаю) от сервисов не зависит.
Можно просто добавить комментарий - это привлёчёт внимание.

Ivan_PisarevskyСтранность еще и в том, что обычная база без блобов вполне себе бэкапится в установленный срок и пофиг на сервисы, скрипт бэкапа один на всех.Для локального (embed) коннекта и должно быть пофиг.
Можешь подготовить небольшую (не 160ГБ) БД с блобами для исследования ?
...
Рейтинг: 0 / 0
Скорость бэкапа 2.5.8 и 3.0.5
    #39805522
Ivan_Pisarevsky
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
hvladТам про сервисы, у тебя (насколько я понимаю) от сервисов не зависит.Я особо не исследовал, не сервисы запускал под рутом, доступ не проверялся, оно и работало. Сервис ФБ запускается штатно от юзера файрберд, ему и не дали доступа. Коммент - это можно.

hvladМожешь подготовить небольшую (не 160ГБ) БД с блобами для исследования ?Я еще проверю у себя на предмет косяков, если будет явно видна закономерность, что-нибудь придумаю. Как вариант набросаю на дельфях генератор такой БД, скормить ему пустую базу, файл и сколько раз запихать этот самый файл в ту самую базу.
...
Рейтинг: 0 / 0
Скорость бэкапа 2.5.8 и 3.0.5
    #39805524
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Ivan_PisarevskyЯ еще проверю у себя на предмет косяков, если будет явно видна закономерность, что-нибудь
придумаю

Для начала gstat-ом посмотри статистику блобов в этой базе по уровням.
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
Скорость бэкапа 2.5.8 и 3.0.5
    #39805525
Ivan_Pisarevsky
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Dimitry SibiryakovДля начала gstat-ом посмотри статистику блобов в этой базе по уровням.База только-только создана, пару дней от роду, чего там такого может быть с уровнями?
...
Рейтинг: 0 / 0
Скорость бэкапа 2.5.8 и 3.0.5
    #39805528
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Ivan_Pisarevskyчего там такого может быть с уровнями?

Распределение. Оно не зависит от старости.
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
Скорость бэкапа 2.5.8 и 3.0.5
    #39806644
Ivan_Pisarevsky
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Добрался таки сегодня до своих слоников:
Код: plaintext
1.
2.
3.
4.
5.
                          база1(без блобов)      база2(блоб)      база3(без блобов)
                          бэкап/рестор          бэкап/рестор          бэкап/рестор
2.5 без сервисов        45/200 (94)                 17/34 (160)         14/70 (27)
3.0 с сервисами         32/128(74,5)                24/52 (160)         10/43 (23)
3.0 без сервисов       74/144 (74,9)               195/26 (160)         24/34 (23)

Время в минутах, в скобках размер бд в гигабайтах после рестора.
Все три сервера имеют сильно похожую дисковую пара ССД в зеркале с которых идет бэкап на пару САТА, рэйд адаптек с батарейным модулем. Серверы в работе, поэтому возможны флуктуации из-за немного разной фоновой нагрузки

Изменение скрипта бэкапа на работу через сервисы проблему в общем-то закрыло, но циферка 195 все равно как-то не радует.

Влад, если надо тест кейз какой соорудить, скажи, постараюсь сделать.
...
Рейтинг: 0 / 0
Скорость бэкапа 2.5.8 и 3.0.5
    #39806684
Фотография Симонов Денис
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Ivan_Pisarevsky,

в этой табличке не хватает сравнение с 2.5 с сервисами.

У меня такое предположение. В 2.5 gbak работает через XNET без сервисов и использует буферизацию и работает в некотором смысле асинхронно, gbak на одном ядре, сам сервер на другом. В 3.0 без сервисов по умолчанию работает в режиме embedded, на одном процессорном ядре, и где то происходит сериализация. В случае с сервисами или tpc/ip, или если заставит gbak работать через XNET всё должно быть одинаково.
...
Рейтинг: 0 / 0
Скорость бэкапа 2.5.8 и 3.0.5
    #39806693
Фотография Симонов Денис
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Ivan_Pisarevsky,

хотя если это всё происходит на Linux моё объяснение не годится
...
Рейтинг: 0 / 0
Скорость бэкапа 2.5.8 и 3.0.5
    #39806705
hvlad
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Симонов ДенисВ 2.5 gbak работает через XNETXNET есть только в Windows
...
Рейтинг: 0 / 0
Скорость бэкапа 2.5.8 и 3.0.5
    #39806711
Ivan_Pisarevsky
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Симонов Денисв этой табличке не хватает сравнение с 2.5 с сервисами. а нет его, остался последний сервер на 2.5 и то я его планирую как можно скорее перевести на тройку.
Симонов Денисвсё происходит на LinuxНа всех центос7
...
Рейтинг: 0 / 0
Скорость бэкапа 2.5.8 и 3.0.5
    #39806717
Фотография Симонов Денис
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
hvlad,

ну я в последнем посте отписался, что вроде моё пояснение не катит. Забыл, что Иван только на линуксах работает.

Dimitry Sibiryakov,

судя потому, что с использованием сервисов скорость приемлемая, объяснение про проверку прав на BLOB не находит подтверждения.
...
Рейтинг: 0 / 0
Скорость бэкапа 2.5.8 и 3.0.5
    #39806720
Фотография Симонов Денис
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Ivan_PisarevskyКогда я запустил исходный скрипт "на горячую" он отругал, что не может схватить залочить файл базы, т.е. я делаю вывод, что лезет через эмбед,

вот поэтому в любом случае лучше бекап через сервисы делать
...
Рейтинг: 0 / 0
Скорость бэкапа 2.5.8 и 3.0.5
    #39806802
hvlad
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Ivan_Pisarevsky,

а у тебя 3-ка - SS ?
2.5 наверняка был не SS ?
...
Рейтинг: 0 / 0
25 сообщений из 30, страница 1 из 2
Форумы / Firebird, InterBase [игнор отключен] [закрыт для гостей] / Скорость бэкапа 2.5.8 и 3.0.5
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]