powered by simpleCommunicator - 2.0.51     © 2025 Programmizd 02
Форумы / Firebird, InterBase [игнор отключен] [закрыт для гостей] / Зависание рестора
25 сообщений из 29, страница 1 из 2
Зависание рестора
    #37951814
Viktor_bs
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Добрый вечер!

Хочу поднять проблему, которую я ранее описывал в другой ветке...
Итак, имеем бекап, который не ресторится без использование ключа gbak -o "restore one table at a time".
Т.е. рестор выполняется командой
C:\Firebird25\bin\gbak.exe -r -user SYSDBA -pass masterkey -p 16384 -v -y test_db_rs.log E:\Backup\db_test.fbk F:\temp_db\db_test.fdb

Тестировагие проводилось на 3-х серверах (железе).
OS: Win2008_x86 и Win2008R2_x64
Firebird: CS_V2.5.1.26351_x86, CS_V2.5.2.26538_x86, SS_V2.5.2.26538_x64
Размер страницы БД: 16К и 8К
Варианты: localhost, xnet и service_mgr

Зависает на всех вариантах (100% загрузка ядра) при 0-й активности диска длительное время (ждал ~сутки).
Затыкается на размере базы в 449Г при 16к станице и на 451Г при 8к странице.
От размера таблицы не зависит, т.к. на нашел лог полугодичной давности - затыкалось на другой таблице (на каком размере базы сейчас уже не известно)
В данный момент последние записи в логе (вариант без service_mgr)

- до срубания Firebird:
gbak: 350000 records restored
gbak: 360000 records restored

- после срубания Firebird:
gbak: 1430000 records restored
gbak: 1440000 records restored
gbak: ERROR:connection lost to database
gbak: ERROR:gds_$send failed
gbak:Exiting before completion due to errors
gbak: ERROR:Error writing data to the connection.

Готов на тестовый сервер поставить любую сборку для локализации проблемы.
Передать fbk не представляется возможным из-за размера и, что более существенно, отсутствия разрешения, получить которое в данном случае невозможно (нас эта проблема пока не беспокоит).

To Vlad, dimitr: Писать в трекер или здесь обсудим, может будут идеи/советы?
...
Рейтинг: 0 / 0
Зависание рестора
    #37951822
Гаджимурадов Рустам
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Какой вкусный баг, однако. А на какой таблице выяснил, локализовал?

Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
Зависание рестора
    #37952278
dimitr
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
трекер, конечно, все стерпит (с) Но без примера закрыть тикет будет затруднительно.

первый вопрос, который меня интересует: без -verbose и без вывода в лог пробовали? если нет, то попробовать и доложить.
...
Рейтинг: 0 / 0
Зависание рестора
    #37952359
Viktor_bs
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Гаджимурадов РустамКакой вкусный баг, однако. А на какой таблице выяснил, локализовал?


Интересный момент забыл написать, на разном железе "затыкается" на разных таблицах, которые идут одна за другой. Т.е. у меня сейчас 6 тестов на 3-х серверах:
- на 2 серверах заткнулся на одной и той-же таблице.
- на 3-м - на следующей за ней.


И еще, виснет не gbak, а fb_inet_server (fbserver)

dimitrпервый вопрос, который меня интересует: без -verbose и без вывода в лог пробовали? если нет, то попробовать и доложить.
О! Я о таком варианте не подумал. Проверю.
...
Рейтинг: 0 / 0
Зависание рестора
    #37952364
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Viktor_bsвиснет не gbak, а fb_inet_server (fbserver)

Врубайся в него отладчиком, снимай стэк. После нескольких раз будет примерно ясно где
именно он крутится.
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
Зависание рестора
    #37952370
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Хотя нет, у тебя же Windows. Тут даже отладчик не нужен, достаточно несколько раз ткнуть в
соответствующую кнопочку Process Explorer-а (не забыв загрузить символы из PDB файлов,
конечно).
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
Зависание рестора
    #37952392
hvlad
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Viktor_bs,

заодно посмотри, сколько памяти съел процесс сервера в момент такого зависания.

Также можно снять полный дам памяти (full memory dump), например Process Explorer'ом, и дать нам на анализ. В этом случае нам также должны быть доступны .exe и .pdb файлы (если это снапшот, то сохрани их у себя, если регулярный билд, то не надо - эти файлы у нас есть).

Рестор делай через сервисы.
...
Рейтинг: 0 / 0
Зависание рестора
    #37953467
Viktor_bs
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
dimitrпервый вопрос, который меня интересует: без -verbose и без вывода в лог пробовали? если нет, то попробовать и доложить.
Завис. CS V2.5.1.26351 x86
C:\Firebird\bin\gbak.exe -r -se localhost:service_mgr -user SYSDBA -pass masterkey -p 16384 \\nbk\E$\Backup_test\db_test.fbk F:\test_corrupt\db_test.fdb

Дмитрий, Влад: куда слать дамп, стек? Размер дампа в архиве 50М.
...
Рейтинг: 0 / 0
Зависание рестора
    #37953476
hvlad
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Viktor_bsДмитрий, Влад: куда слать дамп, стек? Размер дампа в архиве 50М. 50МБ лучше выложить на любой файлообменник. Например ge.tt

Урл можно выслать на hvlad at users sf net
...
Рейтинг: 0 / 0
Зависание рестора
    #37953490
Viktor_bs
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Отправил.

Если вдруг кому еще интересно: http://ge.tt/3EW8vXN/v/0?c (Дамп, стек)
...
Рейтинг: 0 / 0
Зависание рестора
    #37953627
hvlad
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Viktor_bs,

пара простых вопросов:
а) сколько в БД таблиц и сколько индексов ?
б) попробуй отресторить только метаданные (gbak -r -m ...)
...
Рейтинг: 0 / 0
Зависание рестора
    #37954111
Viktor_bs
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
hvladViktor_bs,

пара простых вопросов:
а) сколько в БД таблиц и сколько индексов ?
б) попробуй отресторить только метаданные (gbak -r -m ...)
Таблиц на сегодня 1835. Индексов 5719. (в бекапе наверное немного меньше, он не свежий)

Запустил рестор только метаданных, отработает - отпишусь.

Ночью рестор завис и на другом сервере.
Не знаю насколько это важно/информативно, но на разных серверах затыкается немного в разных местах при одном и том-же бекап-файле. Информация о "File Pos" с TaskInfo ( http://www.iarsn.com/)

Код: plaintext
1.
2.
3.
4.
5.
6.
7.
Name         File Pos         Full Path
========================== сервер NBK =============================
db_test.fbk  513 546 076 160  E:\Backup_test\db_test.fbk
DB_TEST.FDB  481 546 452 992  F:\temp_db\DB_TEST.FDB
========================== сервер RASCHET =============================
db_test.fbk  513 957 765 120  \Device\Mup\nbk\E$\Backup_test\db_test.fbk
DB_TEST.FDB  482 003 271 680  F:\test_corrupt\DB_TEST.FDB
...
Рейтинг: 0 / 0
Зависание рестора
    #37954725
Viktor_bs
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
hvladб) попробуй отресторить только метаданные (gbak -r -m ...)
Рестор завершился успешно.
...
Рейтинг: 0 / 0
Зависание рестора
    #37957328
Viktor_bs
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Сделал Backup/Restore свежей базы (от 12.09) - завис на другой таблице, на размере базы 399Г.

Я так понимаю что стеки/дампы уже ничего не помогут и нужно готовить тестовый пример (скрипт создания синтетической базы) и писать в трекер в случае воспроизведения.
...
Рейтинг: 0 / 0
Зависание рестора
    #37957423
hvlad
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Viktor_bsЯ так понимаю что стеки/дампы уже ничего не помогутЯ бы ещё на пару дампов глянул, для сравнения
Viktor_bsнужно готовить тестовый примерЭто всегда лучше
...
Рейтинг: 0 / 0
Зависание рестора
    #37959337
Viktor_bs
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Пытаясь создать тестовую базу и воспроизвести этот баг наткнулся на...
...наш классик 2.5 стал многопоточным?
Или я что-то упустил?
...
Рейтинг: 0 / 0
Зависание рестора
    #37959344
Гаджимурадов Рустам
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Он и до того был многопоточным, просто не поток на коннект.

Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
Зависание рестора
    #37959350
hvlad
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Viktor_bsнаш классик 2.5 стал многопоточным?Да, но на выполнение запросов это не влияет.
Речь о служебных потоках лок-менеджера и т.п.
...
Рейтинг: 0 / 0
Зависание рестора
    #37959351
dimitr
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
как минимум двухпоточным он был всегда (на винде)
...
Рейтинг: 0 / 0
Зависание рестора
    #37959896
hvlad
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Viktor_bs,

а какова вероятность того, что к моменту зависания отресторилось >= 2^31 записей (во всех таблицах суммарно) ?
...
Рейтинг: 0 / 0
Зависание рестора
    #37960785
Viktor_bs
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
hvladViktor_bs,

а какова вероятность того, что к моменту зависания отресторилось >= 2^31 записей (во всех таблицах суммарно) ?
100500
Полез в лог рестора, только по известным мне большим таблицам до зависания отресторено 3 263 841 414 записей.
Думаю завтра ближе к вечеру будет результат рестора синтетической базы. В ней 1800 таблиц и 7 575 522 329 записей.
...
Рейтинг: 0 / 0
Зависание рестора
    #37961687
Viktor_bs
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Viktor_bsДумаю завтра ближе к вечеру будет результат рестора синтетической базы. В ней 1800 таблиц и 7 575 522 329 записей.
Печально, но рестор успешен. Правда там все таблицы одинаковой структуры и нет индексов.
...
Рейтинг: 0 / 0
Зависание рестора
    #37961779
hvlad
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Viktor_bs,

тут, похоже, сочетание 2-х факторов:
- общее кол-во записей > 2^31, и
- много таблиц и индексов

Будем ещё подумать
...
Рейтинг: 0 / 0
Зависание рестора
    #37961884
Viktor_bs
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
hvladViktor_bs,
- много таблиц и индексов
Налепить индексов на тестовую базу?
Активировать их обязательно или можно пока попробовать inactive?
...
Рейтинг: 0 / 0
Зависание рестора
    #37961890
hvlad
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Viktor_bsНалепить индексов на тестовую базу?
Активировать их обязательно или можно пока попробовать inactive?Можно попробовать и налепить. Активировать не нужно.
...
Рейтинг: 0 / 0
25 сообщений из 29, страница 1 из 2
Форумы / Firebird, InterBase [игнор отключен] [закрыт для гостей] / Зависание рестора
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]