powered by simpleCommunicator - 2.0.48     © 2025 Programmizd 02
Форумы / Firebird, InterBase [игнор отключен] [закрыт для гостей] / FB3.0: Портятся индексы, невосстановимый бекап
15 сообщений из 15, страница 1 из 1
FB3.0: Портятся индексы, невосстановимый бекап
    #39827971
Фотография arni
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
После миграции с 2.5 на 3.0 в логе контрольного бекапа появляются записи о порче индекса.
gbak stderr предыдущего инцидента
gbak:cannot commit index FK1_CUT_ITEM
gbak: ERROR:violation of FOREIGN KEY constraint "FK1_CUT_ITEM" on table "CUT_ITEM"
gbak: ERROR: Foreign key reference target does not exist
gbak: ERROR: Problematic key value is ("IZD_ITEM_ID" = 1260816676)
...
gbak:cannot commit index FK2_IZD_ITEM_1C_DETAIL
gbak: ERROR:violation of FOREIGN KEY constraint "FK2_IZD_ITEM_1C_DETAIL" on table "IZD_ITEM_1C_DETAIL"
gbak: ERROR: Foreign key reference target does not exist
gbak: ERROR: Problematic key value is ("IZD_ITEM_ID" = 1260816676)
...
gbak:committing metadata
gbak:fixing views dbkey length
gbak:updating ownership of packages, procedures and tables
gbak:adding missing privileges
gbak:fixing system generators
gbak:finishing, closing, and going home
gbak:adjusting the ONLINE and FORCED WRITES flags
gbak:Database is not online due to failure to activate one or more indices.
gbak:Run gfix -online to bring database online without active indices.

gbak stderr текущий
gbak:cannot commit index FK2_IZD_ITEM_1C_DETAIL
gbak: ERROR:violation of FOREIGN KEY constraint "FK2_IZD_ITEM_1C_DETAIL" on table "IZD_ITEM_1C_DETAIL"
gbak: ERROR: Foreign key reference target does not exist
gbak: ERROR: Problematic key value is ("IZD_ITEM_ID" = 1273470597)
gbak: activating and creating deferred index FK1_CUT_ITEM
gbak:cannot commit index FK1_CUT_ITEM
gbak: ERROR:violation of FOREIGN KEY constraint "FK1_CUT_ITEM" on table "CUT_ITEM"
gbak: ERROR: Foreign key reference target does not exist
gbak: ERROR: Problematic key value is ("IZD_ITEM_ID" = 1273470597)
gbak:committing metadata
gbak:fixing views dbkey length
gbak:updating ownership of packages, procedures and tables
gbak:adding missing privileges
gbak:fixing system generators
gbak:finishing, closing, and going home
gbak:adjusting the ONLINE and FORCED WRITES flags
gbak:Database is not online due to failure to activate one or more indices.
gbak:Run gfix -online to bring database online without active indices.


При этом по упоминаемому PK запись селектится из мастер-таблицы, а по FK селектятся данные из упоминаемых в тексте детальных таблиц.
В firebird.log ничего подозрительно нет: только традиционные 10054.

При выполнении операции "validate database, validate full" (в терминах IBE) в логе сервера пишется следующее
firebird.log предыдущего инцидента
PPS Thu May 23 00:05:14 2019
Database: C:\ARNISOFT\ORMA4
Validation started


PPS Thu May 23 00:05:58 2019
Database: C:\ARNISOFT\ORMA4
Error: Data page 1071699 {sequence 139755} marked as secondary but contains primary record versions in table IZD_ITEM (136)


PPS Thu May 23 00:05:58 2019
Database: C:\ARNISOFT\ORMA4
Warning: Pointer page 953146 {sequence 85} bits {0x09 full, secondary} are not consistent with data page 1071699 {sequence 139755} state {0x01 full} in table IZD_ITEM (136)


PPS Thu May 23 00:07:00 2019
Database: C:\ARNISOFT\ORMA4
Error: Data page 1372706 {sequence 439546} marked as secondary but contains primary record versions in table IZD_ITEM (136)


PPS Thu May 23 00:07:00 2019
Database: C:\ARNISOFT\ORMA4
Warning: Pointer page 1004174 {sequence 269} bits {0x09 full, secondary} are not consistent with data page 1372706 {sequence 439546} state {0x01 full} in table IZD_ITEM (136)


PPS Thu May 23 00:07:00 2019
Database: C:\ARNISOFT\ORMA4
Error: Data page 1372744 {sequence 439584} marked as secondary but contains primary record versions in table IZD_ITEM (136)


PPS Thu May 23 00:07:00 2019
Database: C:\ARNISOFT\ORMA4
Warning: Pointer page 1004174 {sequence 269} bits {0x09 full, secondary} are not consistent with data page 1372744 {sequence 439584} state {0x01 full} in table IZD_ITEM (136)


PPS Thu May 23 00:07:26 2019
Database: C:\ARNISOFT\ORMA4
Error: Data page 2497037 {sequence 561333} marked as secondary but contains primary record versions in table IZD_ITEM (136)


PPS Thu May 23 00:07:26 2019
Database: C:\ARNISOFT\ORMA4
Warning: Pointer page 1026618 {sequence 343} bits {0x09 full, secondary} are not consistent with data page 2497037 {sequence 561333} state {0x01 full} in table IZD_ITEM (136)


PPS Thu May 23 00:07:33 2019
Database: C:\ARNISOFT\ORMA4
Error: Data page 2612587 {sequence 593883} marked as secondary but contains primary record versions in table IZD_ITEM (136)


PPS Thu May 23 00:07:33 2019
Database: C:\ARNISOFT\ORMA4
Warning: Pointer page 1032745 {sequence 363} bits {0x09 full, secondary} are not consistent with data page 2612587 {sequence 593883} state {0x01 full} in table IZD_ITEM (136)


PPS Thu May 23 00:07:35 2019
Database: C:\ARNISOFT\ORMA4
Error: Data page 1546453 {sequence 612597} marked as secondary but contains primary record versions in table IZD_ITEM (136)


PPS Thu May 23 00:07:35 2019
Database: C:\ARNISOFT\ORMA4
Warning: Pointer page 1036824 {sequence 375} bits {0x09 full, secondary} are not consistent with data page 1546453 {sequence 612597} state {0x01 full} in table IZD_ITEM (136)


PPS Thu May 23 00:07:35 2019
Database: C:\ARNISOFT\ORMA4
Error: Data page 1546505 {sequence 612649} marked as secondary but contains primary record versions in table IZD_ITEM (136)


PPS Thu May 23 00:07:35 2019
Database: C:\ARNISOFT\ORMA4
Warning: Pointer page 1036824 {sequence 375} bits {0x09 full, secondary} are not consistent with data page 1546505 {sequence 612649} state {0x01 full} in table IZD_ITEM (136)


PPS Thu May 23 00:07:59 2019
Database: C:\ARNISOFT\ORMA4
Error: Data page 2326447 {sequence 748207} marked as secondary but contains primary record versions in table IZD_ITEM (136)


PPS Thu May 23 00:07:59 2019
Database: C:\ARNISOFT\ORMA4
Warning: Pointer page 1057239 {sequence 458} bits {0x09 full, secondary} are not consistent with data page 2326447 {sequence 748207} state {0x01 full} in table IZD_ITEM (136)


PPS Thu May 23 00:07:59 2019
Database: C:\ARNISOFT\ORMA4
Error: Data page 2326489 {sequence 748225} marked as secondary but contains primary record versions in table IZD_ITEM (136)


PPS Thu May 23 00:07:59 2019
Database: C:\ARNISOFT\ORMA4
Warning: Pointer page 1057239 {sequence 458} bits {0x09 full, secondary} are not consistent with data page 2326489 {sequence 748225} state {0x01 full} in table IZD_ITEM (136)


PPS Thu May 23 00:21:05 2019
Database: C:\ARNISOFT\ORMA4
Error: Data page 2612471 {sequence 101495} marked as secondary but contains primary record versions in table CUT_ITEM (202)


PPS Thu May 23 00:21:05 2019
Database: C:\ARNISOFT\ORMA4
Warning: Pointer page 100008 {sequence 62} bits {0x09 full, secondary} are not consistent with data page 2612471 {sequence 101495} state {0x01 full} in table CUT_ITEM (202)


PPS Thu May 23 00:21:19 2019
Database: C:\ARNISOFT\ORMA4
Error: Data page 2461545 {sequence 156497} marked as secondary but contains primary record versions in table CUT_ITEM (202)


PPS Thu May 23 00:21:19 2019
Database: C:\ARNISOFT\ORMA4
Warning: Pointer page 2442450 {sequence 95} bits {0x09 full, secondary} are not consistent with data page 2461545 {sequence 156497} state {0x01 full} in table CUT_ITEM (202)


PPS Thu May 23 00:21:39 2019
Database: C:\ARNISOFT\ORMA4
Error: Index 1 is corrupt {missing entries for record 75118561} in table CUT_ITEM (202)


PPS Thu May 23 00:25:30 2019
Database: C:\ARNISOFT\ORMA4
Validation finished: 12 errors, 11 warnings, 22 fixed

firebird.log текущего инцидента
PPS Tue Jun 18 20:04:48 2019
Database: C:\ARNISOFT\ORMA4
Validation started


PPS Tue Jun 18 20:06:08 2019
Database: C:\ARNISOFT\ORMA4
Error: Data page 2644905 {sequence 286289} marked as secondary but contains primary record versions in table IZD_ITEM (136)


PPS Tue Jun 18 20:06:08 2019
Database: C:\ARNISOFT\ORMA4
Warning: Pointer page 979673 {sequence 175} bits {0x09 full, secondary} are not consistent with data page 2644905 {sequence 286289} state {0x01 full} in table IZD_ITEM (136)


PPS Tue Jun 18 20:06:08 2019
Database: C:\ARNISOFT\ORMA4
Error: Data page 2644907 {sequence 286291} marked as secondary but contains primary record versions in table IZD_ITEM (136)


PPS Tue Jun 18 20:06:08 2019
Database: C:\ARNISOFT\ORMA4
Warning: Pointer page 979673 {sequence 175} bits {0x09 full, secondary} are not consistent with data page 2644907 {sequence 286291} state {0x01 full} in table IZD_ITEM (136)

PPS Tue Jun 18 20:28:36 2019
Database: C:\ARNISOFT\ORMA4
Error: Index 1 is corrupt {missing entries for record 75118561} in table CUT_ITEM (202)


PPS Tue Jun 18 20:32:05 2019
Database: C:\ARNISOFT\ORMA4
Error: Data page 64885 {sequence 61429} marked as secondary but contains primary record versions in table IZD_ITEM_1C_DETAIL (238)


PPS Tue Jun 18 20:32:05 2019
Database: C:\ARNISOFT\ORMA4
Warning: Pointer page 12247 {sequence 37} bits {0x08 secondary} are not consistent with data page 64885 {sequence 61429} state {0x00 } in table IZD_ITEM_1C_DETAIL (238)


PPS Tue Jun 18 20:34:44 2019
Database: C:\ARNISOFT\ORMA4
Validation finished: 4 errors, 3 warnings, 6 fixed

IBE по итогу показал
авторSummary of validation errors
Number of data page errors : 3
Number of index page errors : 1
Number of pointer page warnings : 3

После предыдущего "лечения" прошло менее двух недель и вот примерно такая же картина на тех же таблицах.
БД на серверном железе с рейдом с батарейкой, в серверной с ИБП. Серверная редакция Windows.
Аварийных завершений работы не было. Во всяком случае время работы сетевого интерфейса: 50 дней.
Forced Writes = OFF
Размер БД: 22Гб
До миграции на FB3.0.4 (в мае) работали последние лет 10-12 на FB2.1 и FB2.5 - ничего подобного не припомню.

Какие мысли?
...
Рейтинг: 0 / 0
FB3.0: Портятся индексы, невосстановимый бекап
    #39827974
Фотография Симонов Денис
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
arni,

было уже такое на этом форуме. Первичная страница по какой-то причине помечена как вторичная.
Причем насколько помню тоже при FW=OFF
...
Рейтинг: 0 / 0
FB3.0: Портятся индексы, невосстановимый бекап
    #39828696
hvlad
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
arniПосле миграции с 2.5 на 3.0 в логе контрольного бекапа появляются записи о порче индекса.

При этом по упоминаемому PK запись селектится из мастер-таблицы, а по FK селектятся данные из упоминаемых в тексте детальных таблиц.Тут речь об исходной или о ресторенной БД ?
Типы данных в мастере и деталях совпадают ?

arniПри выполнении операции "validate database, validate full"Тут, я полагаю, речь об исходной БД ?

Насчёт data\pointer page - проблему хотелось бы воспроизвести, но пока не удаётся.
gfix (валидация) её исправляет, кстати. Но хотелось бы найти и исправить причину.

Насчёт индекса - есть подозрение, что это ложное срабатывание валидации (она не понимает, что тр-ция может быть dead) и сборка мусора в таблице (или свип) его устранят.
...
Рейтинг: 0 / 0
FB3.0: Портятся индексы, невосстановимый бекап
    #39828806
Фотография arni
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
hvlad,

Лечилась исходная БД, проверочные селекты также на исходной БД производились.
Недоделанная БД после restore не исследовалась.

ID-поле мастер-таблицы и FK-поля детальных таблиц построены на одном домене на базе INTEGER
Код: sql
1.
CREATE DOMAIN DM_ID AS INTEGER;



Есть шанс, что FW=ON предотвратит проблему?
...
Рейтинг: 0 / 0
FB3.0: Портятся индексы, невосстановимый бекап
    #39829513
hvlad
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
arni,

не зная причины проблемы могу только гадать.
Вероятность есть.
...
Рейтинг: 0 / 0
FB3.0: Портятся индексы, невосстановимый бекап
    #39830908
Фотография arni
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Прошла неделя, и опять то же самое:
gbak stderrgbak:cannot commit index FK2_IZD_ITEM_1C_DETAIL
gbak: ERROR:violation of FOREIGN KEY constraint "FK2_IZD_ITEM_1C_DETAIL" on table "IZD_ITEM_1C_DETAIL"
gbak: ERROR: Foreign key reference target does not exist
gbak: ERROR: Problematic key value is ("IZD_ITEM_ID" = 1289536462)
gbak: activating and creating deferred index FK1_CUT_ITEM
gbak:cannot commit index FK1_CUT_ITEM
gbak: ERROR:violation of FOREIGN KEY constraint "FK1_CUT_ITEM" on table "CUT_ITEM"
gbak: ERROR: Foreign key reference target does not exist
gbak: ERROR: Problematic key value is ("IZD_ITEM_ID" = 1289536462)
gfix logPPS Wed Jun 26 21:58:35 2019
Database: ORMA4
Validation started


PPS Wed Jun 26 21:59:40 2019
Database: ORMA4
Error: Data page 1985819 {sequence 217819} marked as secondary but contains primary record versions in table IZD_ITEM (136)


PPS Wed Jun 26 21:59:40 2019
Database: ORMA4
Warning: Pointer page 967433 {sequence 133} bits {0x08 secondary} are not consistent with data page 1985819 {sequence 217819} state {0x00 } in table IZD_ITEM (136)


PPS Wed Jun 26 21:59:40 2019
Database: ORMA4
Error: Data page 1988055 {sequence 217887} marked as secondary but contains primary record versions in table IZD_ITEM (136)


PPS Wed Jun 26 21:59:40 2019
Database: ORMA4
Warning: Pointer page 967433 {sequence 133} bits {0x08 secondary} are not consistent with data page 1988055 {sequence 217887} state {0x00 } in table IZD_ITEM (136)


PPS Wed Jun 26 22:29:02 2019
Database: ORMA4
Validation finished: 2 errors, 2 warnings, 4 fixed

Решил поработать на FW=ON и понаблюдать что получится.
...
Рейтинг: 0 / 0
FB3.0: Портятся индексы, невосстановимый бекап
    #39830921
hvlad
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
arni,

какая архитектура сервера (SS\CS\SC) ?

Можно выделить какой-то регулярный шаблон работы с этой таблицей ?
Селекты интересуют в меньшей степени.
...
Рейтинг: 0 / 0
FB3.0: Портятся индексы, невосстановимый бекап
    #39879605
hvlad
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
arni,

понаблюдал ?
...
Рейтинг: 0 / 0
FB3.0: Портятся индексы, невосстановимый бекап
    #39880129
Фотография arni
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
hvlad,

после перевода на FW=on полный порядок.
и просадки перфоманса не заметил.
...
Рейтинг: 0 / 0
FB3.0: Портятся индексы, невосстановимый бекап
    #39880163
Фотография Старый плюшевый мишка
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
arniпосле перевода на FW=on полный порядок.
и просадки перфоманса не заметил.

Ну как не вспомнить - Волга впадает в Каспийское море. Это не персональный наезд, честное слово. Просто - мало-мальски поевшие собак люди говорили это ещё когда сервер на Pentium 90 был топовой экстравагантной штучкой...
...
Рейтинг: 0 / 0
FB3.0: Портятся индексы, невосстановимый бекап
    #39880168
hvlad
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
arni,

спасибо за инф-цию
...
Рейтинг: 0 / 0
FB3.0: Портятся индексы, невосстановимый бекап
    #39880183
Фотография kdv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
hvladспасибо за инф-цию
то есть, КГ/АМ ? При FW=OFF кэш пишется хер знает как, и Автор получает то, что иМел в виду. А при FW=ON всё записывается в базу как положено, соответственно, никаких проблем нет?

Что-то я не верю во всё это. У arni тогда должны были быть ресеты при FW=OFF. И в этом случае он сам себе долбоклюй (извините за выражение, но так оно и есть).
Однако, по предыдущему соообщению я вижу, что записи попадают на secondary page без всякого ресета. И отлавливать надо именно это. Разве нет?
...
Рейтинг: 0 / 0
FB3.0: Портятся индексы, невосстановимый бекап
    #39880194
hvlad
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
kdv,

кто сказал, что проблем нет ?
...
Рейтинг: 0 / 0
FB3.0: Портятся индексы, невосстановимый бекап
    #39880383
Фотография kdv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
hvlad,

откуда ж я знаю. трамблема и так есть (с путаницей secondary и primary).
...
Рейтинг: 0 / 0
Период между сообщениями больше года.
FB3.0: Портятся индексы, невосстановимый бекап
    #40112516
hvlad
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
arni,

надеюсь, это наконец-то исправлено в 3.0.8
см https://github.com/FirebirdSQL/firebird/issues/7044
...
Рейтинг: 0 / 0
15 сообщений из 15, страница 1 из 1
Форумы / Firebird, InterBase [игнор отключен] [закрыт для гостей] / FB3.0: Портятся индексы, невосстановимый бекап
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]