Гость
Форумы / Firebird, InterBase [игнор отключен] [закрыт для гостей] / Скорость бэкапа 2.5.8 и 3.0.5 / 25 сообщений из 30, страница 1 из 2
22.04.2019, 13:11
    #39804852
Ivan_Pisarevsky
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Скорость бэкапа 2.5.8 и 3.0.5
Привет!

Перевожу тут помаленьку свои серверы на трешку и обратил внимание на аномалию:
резко выросло время создания бэкапа одной из баз размер примерно 160 гиг, время создания gbk занимало примерно 15 минут, а стало 2 с лишним часа, база специфическая, в ней мало метаданных, зато полно блобов, собственно в нее и вынесены практически все блобы из основной БД. Нагрузка на запись там небольшая, мусора практически нет. Скорость рестора осталась на примерно том же уровне примерно полчаса на обоих версиях ФБ. При этом пара других баз, где блобов почти нет работает на прежней скорости, аномалий там нет, все в пределах погрешности измерений.

Вызывается обычный гбак без особых изысков, скрипт бэкапа не менял при смене версии:
gbak -user $IBUSER -pass $2 -g -v -y "$PRTPATH/$1.bpr" "$LOGPATH/$1.gdb" "$ARCPATH/$1.gbk"

Само железо в нормальном состоянии, диски планово заменены в прошлом году, сбоев в железе нет.

Это я где-то торможу или делаю что-то не так?
Кто-то еще замечал что-то подобное?
...
Рейтинг: 0 / 0
22.04.2019, 13:23
    #39804862
Dimitry Sibiryakov
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Скорость бэкапа 2.5.8 и 3.0.5
Ivan_PisarevskyКто-то еще замечал что-то подобное?

Проверка прав на чтение блобов гораздо небесплатнее, чем ожидалось.
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
22.04.2019, 13:25
    #39804866
Симонов Денис
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Скорость бэкапа 2.5.8 и 3.0.5
Ivan_Pisarevsky,

а почему без использования сервисов? На удалённый компьютер что ли делается?
...
Рейтинг: 0 / 0
22.04.2019, 13:27
    #39804871
Симонов Денис
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Скорость бэкапа 2.5.8 и 3.0.5
Dimitry Sibiryakov,

не верю
...
Рейтинг: 0 / 0
22.04.2019, 13:35
    #39804882
Ivan_Pisarevsky
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Скорость бэкапа 2.5.8 и 3.0.5
Dimitry SibiryakovПроверка прав на чтение блобов гораздо небесплатнее, чем ожидалось.под сисдба? В установленном билде 33100 фикс с правами присутствует, который мне "кровЪ пил" в прошлом топике.
Симонов Дениса почему без использования сервисов? На удалённый компьютер что ли делается?на локальный диск, там же потом зипуется и только потом отправляется "в сеть", про сервисы не вспоминали, пока работало, да и двойке работает. В скрипте рестора, кстати, сервисы прописаны. Воткнул и в бэкапный, на одном из серверов, завтра проверю разницу.
...
Рейтинг: 0 / 0
23.04.2019, 13:04
    #39805338
Ivan_Pisarevsky
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Скорость бэкапа 2.5.8 и 3.0.5
Ivan_PisarevskyВоткнул и в бэкапный, на одном из серверов, завтра проверю разницу.Воткнул криво, ночью все нафиг отвалилось. :)
Поправил, запустил днем бэкап, отработало за 26 минут, в принципе уже нормально, учитывая, что примерно 70 коннектов были активны в фоне. На двойке и без сервисов вполне работало, а тут такой стоп-кран. Пока понаблюдаю еще.
...
Рейтинг: 0 / 0
23.04.2019, 13:28
    #39805355
hvlad
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Скорость бэкапа 2.5.8 и 3.0.5
Ivan_PisarevskyВызывается обычный гбак без особых изысков, скрипт бэкапа не менял при смене версии:
gbak -user $IBUSER -pass $2 -g -v -y "$PRTPATH/$1.bpr" "$LOGPATH/$1.gdb" "$ARCPATH/$1.gbk"Это gbak от 3 или остался от 2.5 ?
...
Рейтинг: 0 / 0
23.04.2019, 13:41
    #39805365
Ivan_Pisarevsky
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Скорость бэкапа 2.5.8 и 3.0.5
hvladЭто gbak от 3соответственно серверу. На троешном сервер гбак строго от тройки.
...
Рейтинг: 0 / 0
23.04.2019, 13:44
    #39805369
hvlad
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Скорость бэкапа 2.5.8 и 3.0.5
Ivan_Pisarevsky,

и конфиг по умолчанию ? Не убирал engine12 из списка провайдеров ?
Я могу объяснить тормоз при бекапе с локальными путями только сетевым соединением с сервером.
...
Рейтинг: 0 / 0
23.04.2019, 14:06
    #39805377
Ivan_Pisarevsky
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Скорость бэкапа 2.5.8 и 3.0.5
hvladНе убирал engine12 из списка провайдеров ?эту строчку не трогал.
Легаси аутентификацию крутил, кэш страниц крутил, энжин не трогал. Проверил, эта строка по-умолчанию.

hvladЯ могу объяснить тормоз при бекапе с локальными путями только сетевым соединением с сервером.Сеть? странно... Когда я запустил исходный скрипт "на горячую" он отругал, что не может схватить залочить файл базы, т.е. я делаю вывод, что лезет через эмбед, а не через сервер и файлы бэкапа принадлежали руту, а не файрберду.

Кстати, заметил небольшую багу: когда велел серверу класть бэкап в папку и прав не дал, он отругал меня по всей форме:

gbak: ERROR:cannot open backup file /ibbackup/****.gbk
gbak: ERROR: Exiting before completion due to errors
gbak:Exiting before completion due to errors

Все ясно и понятно, а вот когда не дал прав на папку куда сложить отладочный выхлоп ключа -v никакой ругани не было, просто молчаливый кирдык. В трекер?
...
Рейтинг: 0 / 0
23.04.2019, 14:25
    #39805386
hvlad
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Скорость бэкапа 2.5.8 и 3.0.5
Ivan_PisarevskyhvladЯ могу объяснить тормоз при бекапе с локальными путями только сетевым соединением с сервером.Сеть? странно... Когда я запустил исходный скрипт "на горячую" он отругал, что не может схватить залочить файл базы, т.е. я делаю вывод, что лезет через эмбед, а не через серверПохоже на то. Точно выяснить можно, посмотрев в mon$attachments на коннект gbak'а.
Лучшей теории у меня пока нет.

Ivan_Pisarevskyфайлы бэкапа принадлежали руту, а не файрбердуЕсс-но, их же gbak создаёт, а не движок\сервер

Ivan_Pisarevskyкогда не дал прав на папку куда сложить отладочный выхлоп ключа -v никакой ругани не было, просто молчаливый кирдык. В трекер?Думаю - да
...
Рейтинг: 0 / 0
23.04.2019, 14:46
    #39805404
Ivan_Pisarevsky
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Скорость бэкапа 2.5.8 и 3.0.5
hvladДумаю - да http://tracker.firebirdsql.org/browse/CORE-2251
Уж лет с десяток оно там, не вижу смысла делать дубль.

hvladЛучшей теории у меня пока нет.Странность еще и в том, что обычная база без блобов вполне себе бэкапится в установленный срок и пофиг на сервисы, скрипт бэкапа один на всех.

Завтра соберу все в табличку 3х3: есть серверы 3 шт. 1 - 2.5, 1 - 3.0 с сервисами и 1 - 3.0 без сервисов. И три базы: одна с блобами и две без таковых.
...
Рейтинг: 0 / 0
23.04.2019, 15:21
    #39805429
hvlad
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Скорость бэкапа 2.5.8 и 3.0.5
Ivan_Pisarevsky http://tracker.firebirdsql.org/browse/CORE-2251
Уж лет с десяток оно там, не вижу смысла делать дубль.Там про сервисы, у тебя (насколько я понимаю) от сервисов не зависит.
Можно просто добавить комментарий - это привлёчёт внимание.

Ivan_PisarevskyСтранность еще и в том, что обычная база без блобов вполне себе бэкапится в установленный срок и пофиг на сервисы, скрипт бэкапа один на всех.Для локального (embed) коннекта и должно быть пофиг.
Можешь подготовить небольшую (не 160ГБ) БД с блобами для исследования ?
...
Рейтинг: 0 / 0
23.04.2019, 18:43
    #39805522
Ivan_Pisarevsky
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Скорость бэкапа 2.5.8 и 3.0.5
hvladТам про сервисы, у тебя (насколько я понимаю) от сервисов не зависит.Я особо не исследовал, не сервисы запускал под рутом, доступ не проверялся, оно и работало. Сервис ФБ запускается штатно от юзера файрберд, ему и не дали доступа. Коммент - это можно.

hvladМожешь подготовить небольшую (не 160ГБ) БД с блобами для исследования ?Я еще проверю у себя на предмет косяков, если будет явно видна закономерность, что-нибудь придумаю. Как вариант набросаю на дельфях генератор такой БД, скормить ему пустую базу, файл и сколько раз запихать этот самый файл в ту самую базу.
...
Рейтинг: 0 / 0
23.04.2019, 18:49
    #39805524
Dimitry Sibiryakov
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Скорость бэкапа 2.5.8 и 3.0.5
Ivan_PisarevskyЯ еще проверю у себя на предмет косяков, если будет явно видна закономерность, что-нибудь
придумаю

Для начала gstat-ом посмотри статистику блобов в этой базе по уровням.
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
23.04.2019, 18:55
    #39805525
Ivan_Pisarevsky
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Скорость бэкапа 2.5.8 и 3.0.5
Dimitry SibiryakovДля начала gstat-ом посмотри статистику блобов в этой базе по уровням.База только-только создана, пару дней от роду, чего там такого может быть с уровнями?
...
Рейтинг: 0 / 0
23.04.2019, 19:01
    #39805528
Dimitry Sibiryakov
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Скорость бэкапа 2.5.8 и 3.0.5
Ivan_Pisarevskyчего там такого может быть с уровнями?

Распределение. Оно не зависит от старости.
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
26.04.2019, 11:13
    #39806644
Ivan_Pisarevsky
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Скорость бэкапа 2.5.8 и 3.0.5
Добрался таки сегодня до своих слоников:
Код: plaintext
1.
2.
3.
4.
5.
                          база1(без блобов)      база2(блоб)      база3(без блобов)
                          бэкап/рестор          бэкап/рестор          бэкап/рестор
2.5 без сервисов        45/200 (94)                 17/34 (160)         14/70 (27)
3.0 с сервисами         32/128(74,5)                24/52 (160)         10/43 (23)
3.0 без сервисов       74/144 (74,9)               195/26 (160)         24/34 (23)

Время в минутах, в скобках размер бд в гигабайтах после рестора.
Все три сервера имеют сильно похожую дисковую пара ССД в зеркале с которых идет бэкап на пару САТА, рэйд адаптек с батарейным модулем. Серверы в работе, поэтому возможны флуктуации из-за немного разной фоновой нагрузки

Изменение скрипта бэкапа на работу через сервисы проблему в общем-то закрыло, но циферка 195 все равно как-то не радует.

Влад, если надо тест кейз какой соорудить, скажи, постараюсь сделать.
...
Рейтинг: 0 / 0
26.04.2019, 12:04
    #39806684
Симонов Денис
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Скорость бэкапа 2.5.8 и 3.0.5
Ivan_Pisarevsky,

в этой табличке не хватает сравнение с 2.5 с сервисами.

У меня такое предположение. В 2.5 gbak работает через XNET без сервисов и использует буферизацию и работает в некотором смысле асинхронно, gbak на одном ядре, сам сервер на другом. В 3.0 без сервисов по умолчанию работает в режиме embedded, на одном процессорном ядре, и где то происходит сериализация. В случае с сервисами или tpc/ip, или если заставит gbak работать через XNET всё должно быть одинаково.
...
Рейтинг: 0 / 0
26.04.2019, 12:10
    #39806693
Симонов Денис
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Скорость бэкапа 2.5.8 и 3.0.5
Ivan_Pisarevsky,

хотя если это всё происходит на Linux моё объяснение не годится
...
Рейтинг: 0 / 0
26.04.2019, 12:19
    #39806705
hvlad
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Скорость бэкапа 2.5.8 и 3.0.5
Симонов ДенисВ 2.5 gbak работает через XNETXNET есть только в Windows
...
Рейтинг: 0 / 0
26.04.2019, 12:23
    #39806711
Ivan_Pisarevsky
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Скорость бэкапа 2.5.8 и 3.0.5
Симонов Денисв этой табличке не хватает сравнение с 2.5 с сервисами. а нет его, остался последний сервер на 2.5 и то я его планирую как можно скорее перевести на тройку.
Симонов Денисвсё происходит на LinuxНа всех центос7
...
Рейтинг: 0 / 0
26.04.2019, 12:29
    #39806717
Симонов Денис
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Скорость бэкапа 2.5.8 и 3.0.5
hvlad,

ну я в последнем посте отписался, что вроде моё пояснение не катит. Забыл, что Иван только на линуксах работает.

Dimitry Sibiryakov,

судя потому, что с использованием сервисов скорость приемлемая, объяснение про проверку прав на BLOB не находит подтверждения.
...
Рейтинг: 0 / 0
26.04.2019, 12:32
    #39806720
Симонов Денис
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Скорость бэкапа 2.5.8 и 3.0.5
Ivan_PisarevskyКогда я запустил исходный скрипт "на горячую" он отругал, что не может схватить залочить файл базы, т.е. я делаю вывод, что лезет через эмбед,

вот поэтому в любом случае лучше бекап через сервисы делать
...
Рейтинг: 0 / 0
26.04.2019, 13:54
    #39806802
hvlad
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Скорость бэкапа 2.5.8 и 3.0.5
Ivan_Pisarevsky,

а у тебя 3-ка - SS ?
2.5 наверняка был не SS ?
...
Рейтинг: 0 / 0
Форумы / Firebird, InterBase [игнор отключен] [закрыт для гостей] / Скорость бэкапа 2.5.8 и 3.0.5 / 25 сообщений из 30, страница 1 из 2
Целевая тема:
Создать новую тему:
Автор:
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]