|
FB3.0: Портятся индексы, невосстановимый бекап
|
|||
---|---|---|---|
#18+
После миграции с 2.5 на 3.0 в логе контрольного бекапа появляются записи о порче индекса. gbak stderr предыдущего инцидента gbak:cannot commit index FK1_CUT_ITEM gbak: ERROR:violation of FOREIGN KEY constraint "FK1_CUT_ITEM" on table "CUT_ITEM" gbak: ERROR: Foreign key reference target does not exist gbak: ERROR: Problematic key value is ("IZD_ITEM_ID" = 1260816676) ... gbak:cannot commit index FK2_IZD_ITEM_1C_DETAIL gbak: ERROR:violation of FOREIGN KEY constraint "FK2_IZD_ITEM_1C_DETAIL" on table "IZD_ITEM_1C_DETAIL" gbak: ERROR: Foreign key reference target does not exist gbak: ERROR: Problematic key value is ("IZD_ITEM_ID" = 1260816676) ... gbak:committing metadata gbak:fixing views dbkey length gbak:updating ownership of packages, procedures and tables gbak:adding missing privileges gbak:fixing system generators gbak:finishing, closing, and going home gbak:adjusting the ONLINE and FORCED WRITES flags gbak:Database is not online due to failure to activate one or more indices. gbak:Run gfix -online to bring database online without active indices. gbak stderr текущий gbak:cannot commit index FK2_IZD_ITEM_1C_DETAIL gbak: ERROR:violation of FOREIGN KEY constraint "FK2_IZD_ITEM_1C_DETAIL" on table "IZD_ITEM_1C_DETAIL" gbak: ERROR: Foreign key reference target does not exist gbak: ERROR: Problematic key value is ("IZD_ITEM_ID" = 1273470597) gbak: activating and creating deferred index FK1_CUT_ITEM gbak:cannot commit index FK1_CUT_ITEM gbak: ERROR:violation of FOREIGN KEY constraint "FK1_CUT_ITEM" on table "CUT_ITEM" gbak: ERROR: Foreign key reference target does not exist gbak: ERROR: Problematic key value is ("IZD_ITEM_ID" = 1273470597) gbak:committing metadata gbak:fixing views dbkey length gbak:updating ownership of packages, procedures and tables gbak:adding missing privileges gbak:fixing system generators gbak:finishing, closing, and going home gbak:adjusting the ONLINE and FORCED WRITES flags gbak:Database is not online due to failure to activate one or more indices. gbak:Run gfix -online to bring database online without active indices. При этом по упоминаемому PK запись селектится из мастер-таблицы, а по FK селектятся данные из упоминаемых в тексте детальных таблиц. В firebird.log ничего подозрительно нет: только традиционные 10054. При выполнении операции "validate database, validate full" (в терминах IBE) в логе сервера пишется следующее firebird.log предыдущего инцидента PPS Thu May 23 00:05:14 2019 Database: C:\ARNISOFT\ORMA4 Validation started PPS Thu May 23 00:05:58 2019 Database: C:\ARNISOFT\ORMA4 Error: Data page 1071699 {sequence 139755} marked as secondary but contains primary record versions in table IZD_ITEM (136) PPS Thu May 23 00:05:58 2019 Database: C:\ARNISOFT\ORMA4 Warning: Pointer page 953146 {sequence 85} bits {0x09 full, secondary} are not consistent with data page 1071699 {sequence 139755} state {0x01 full} in table IZD_ITEM (136) PPS Thu May 23 00:07:00 2019 Database: C:\ARNISOFT\ORMA4 Error: Data page 1372706 {sequence 439546} marked as secondary but contains primary record versions in table IZD_ITEM (136) PPS Thu May 23 00:07:00 2019 Database: C:\ARNISOFT\ORMA4 Warning: Pointer page 1004174 {sequence 269} bits {0x09 full, secondary} are not consistent with data page 1372706 {sequence 439546} state {0x01 full} in table IZD_ITEM (136) PPS Thu May 23 00:07:00 2019 Database: C:\ARNISOFT\ORMA4 Error: Data page 1372744 {sequence 439584} marked as secondary but contains primary record versions in table IZD_ITEM (136) PPS Thu May 23 00:07:00 2019 Database: C:\ARNISOFT\ORMA4 Warning: Pointer page 1004174 {sequence 269} bits {0x09 full, secondary} are not consistent with data page 1372744 {sequence 439584} state {0x01 full} in table IZD_ITEM (136) PPS Thu May 23 00:07:26 2019 Database: C:\ARNISOFT\ORMA4 Error: Data page 2497037 {sequence 561333} marked as secondary but contains primary record versions in table IZD_ITEM (136) PPS Thu May 23 00:07:26 2019 Database: C:\ARNISOFT\ORMA4 Warning: Pointer page 1026618 {sequence 343} bits {0x09 full, secondary} are not consistent with data page 2497037 {sequence 561333} state {0x01 full} in table IZD_ITEM (136) PPS Thu May 23 00:07:33 2019 Database: C:\ARNISOFT\ORMA4 Error: Data page 2612587 {sequence 593883} marked as secondary but contains primary record versions in table IZD_ITEM (136) PPS Thu May 23 00:07:33 2019 Database: C:\ARNISOFT\ORMA4 Warning: Pointer page 1032745 {sequence 363} bits {0x09 full, secondary} are not consistent with data page 2612587 {sequence 593883} state {0x01 full} in table IZD_ITEM (136) PPS Thu May 23 00:07:35 2019 Database: C:\ARNISOFT\ORMA4 Error: Data page 1546453 {sequence 612597} marked as secondary but contains primary record versions in table IZD_ITEM (136) PPS Thu May 23 00:07:35 2019 Database: C:\ARNISOFT\ORMA4 Warning: Pointer page 1036824 {sequence 375} bits {0x09 full, secondary} are not consistent with data page 1546453 {sequence 612597} state {0x01 full} in table IZD_ITEM (136) PPS Thu May 23 00:07:35 2019 Database: C:\ARNISOFT\ORMA4 Error: Data page 1546505 {sequence 612649} marked as secondary but contains primary record versions in table IZD_ITEM (136) PPS Thu May 23 00:07:35 2019 Database: C:\ARNISOFT\ORMA4 Warning: Pointer page 1036824 {sequence 375} bits {0x09 full, secondary} are not consistent with data page 1546505 {sequence 612649} state {0x01 full} in table IZD_ITEM (136) PPS Thu May 23 00:07:59 2019 Database: C:\ARNISOFT\ORMA4 Error: Data page 2326447 {sequence 748207} marked as secondary but contains primary record versions in table IZD_ITEM (136) PPS Thu May 23 00:07:59 2019 Database: C:\ARNISOFT\ORMA4 Warning: Pointer page 1057239 {sequence 458} bits {0x09 full, secondary} are not consistent with data page 2326447 {sequence 748207} state {0x01 full} in table IZD_ITEM (136) PPS Thu May 23 00:07:59 2019 Database: C:\ARNISOFT\ORMA4 Error: Data page 2326489 {sequence 748225} marked as secondary but contains primary record versions in table IZD_ITEM (136) PPS Thu May 23 00:07:59 2019 Database: C:\ARNISOFT\ORMA4 Warning: Pointer page 1057239 {sequence 458} bits {0x09 full, secondary} are not consistent with data page 2326489 {sequence 748225} state {0x01 full} in table IZD_ITEM (136) PPS Thu May 23 00:21:05 2019 Database: C:\ARNISOFT\ORMA4 Error: Data page 2612471 {sequence 101495} marked as secondary but contains primary record versions in table CUT_ITEM (202) PPS Thu May 23 00:21:05 2019 Database: C:\ARNISOFT\ORMA4 Warning: Pointer page 100008 {sequence 62} bits {0x09 full, secondary} are not consistent with data page 2612471 {sequence 101495} state {0x01 full} in table CUT_ITEM (202) PPS Thu May 23 00:21:19 2019 Database: C:\ARNISOFT\ORMA4 Error: Data page 2461545 {sequence 156497} marked as secondary but contains primary record versions in table CUT_ITEM (202) PPS Thu May 23 00:21:19 2019 Database: C:\ARNISOFT\ORMA4 Warning: Pointer page 2442450 {sequence 95} bits {0x09 full, secondary} are not consistent with data page 2461545 {sequence 156497} state {0x01 full} in table CUT_ITEM (202) PPS Thu May 23 00:21:39 2019 Database: C:\ARNISOFT\ORMA4 Error: Index 1 is corrupt {missing entries for record 75118561} in table CUT_ITEM (202) PPS Thu May 23 00:25:30 2019 Database: C:\ARNISOFT\ORMA4 Validation finished: 12 errors, 11 warnings, 22 fixed firebird.log текущего инцидента PPS Tue Jun 18 20:04:48 2019 Database: C:\ARNISOFT\ORMA4 Validation started PPS Tue Jun 18 20:06:08 2019 Database: C:\ARNISOFT\ORMA4 Error: Data page 2644905 {sequence 286289} marked as secondary but contains primary record versions in table IZD_ITEM (136) PPS Tue Jun 18 20:06:08 2019 Database: C:\ARNISOFT\ORMA4 Warning: Pointer page 979673 {sequence 175} bits {0x09 full, secondary} are not consistent with data page 2644905 {sequence 286289} state {0x01 full} in table IZD_ITEM (136) PPS Tue Jun 18 20:06:08 2019 Database: C:\ARNISOFT\ORMA4 Error: Data page 2644907 {sequence 286291} marked as secondary but contains primary record versions in table IZD_ITEM (136) PPS Tue Jun 18 20:06:08 2019 Database: C:\ARNISOFT\ORMA4 Warning: Pointer page 979673 {sequence 175} bits {0x09 full, secondary} are not consistent with data page 2644907 {sequence 286291} state {0x01 full} in table IZD_ITEM (136) PPS Tue Jun 18 20:28:36 2019 Database: C:\ARNISOFT\ORMA4 Error: Index 1 is corrupt {missing entries for record 75118561} in table CUT_ITEM (202) PPS Tue Jun 18 20:32:05 2019 Database: C:\ARNISOFT\ORMA4 Error: Data page 64885 {sequence 61429} marked as secondary but contains primary record versions in table IZD_ITEM_1C_DETAIL (238) PPS Tue Jun 18 20:32:05 2019 Database: C:\ARNISOFT\ORMA4 Warning: Pointer page 12247 {sequence 37} bits {0x08 secondary} are not consistent with data page 64885 {sequence 61429} state {0x00 } in table IZD_ITEM_1C_DETAIL (238) PPS Tue Jun 18 20:34:44 2019 Database: C:\ARNISOFT\ORMA4 Validation finished: 4 errors, 3 warnings, 6 fixed IBE по итогу показал авторSummary of validation errors Number of data page errors : 3 Number of index page errors : 1 Number of pointer page warnings : 3 После предыдущего "лечения" прошло менее двух недель и вот примерно такая же картина на тех же таблицах. БД на серверном железе с рейдом с батарейкой, в серверной с ИБП. Серверная редакция Windows. Аварийных завершений работы не было. Во всяком случае время работы сетевого интерфейса: 50 дней. Forced Writes = OFF Размер БД: 22Гб До миграции на FB3.0.4 (в мае) работали последние лет 10-12 на FB2.1 и FB2.5 - ничего подобного не припомню. Какие мысли? ... |
|||
:
Нравится:
Не нравится:
|
|||
18.06.2019, 20:48 |
|
FB3.0: Портятся индексы, невосстановимый бекап
|
|||
---|---|---|---|
#18+
arni, было уже такое на этом форуме. Первичная страница по какой-то причине помечена как вторичная. Причем насколько помню тоже при FW=OFF ... |
|||
:
Нравится:
Не нравится:
|
|||
18.06.2019, 20:54 |
|
FB3.0: Портятся индексы, невосстановимый бекап
|
|||
---|---|---|---|
#18+
arniПосле миграции с 2.5 на 3.0 в логе контрольного бекапа появляются записи о порче индекса. При этом по упоминаемому PK запись селектится из мастер-таблицы, а по FK селектятся данные из упоминаемых в тексте детальных таблиц.Тут речь об исходной или о ресторенной БД ? Типы данных в мастере и деталях совпадают ? arniПри выполнении операции "validate database, validate full"Тут, я полагаю, речь об исходной БД ? Насчёт data\pointer page - проблему хотелось бы воспроизвести, но пока не удаётся. gfix (валидация) её исправляет, кстати. Но хотелось бы найти и исправить причину. Насчёт индекса - есть подозрение, что это ложное срабатывание валидации (она не понимает, что тр-ция может быть dead) и сборка мусора в таблице (или свип) его устранят. ... |
|||
:
Нравится:
Не нравится:
|
|||
20.06.2019, 11:08 |
|
FB3.0: Портятся индексы, невосстановимый бекап
|
|||
---|---|---|---|
#18+
hvlad, Лечилась исходная БД, проверочные селекты также на исходной БД производились. Недоделанная БД после restore не исследовалась. ID-поле мастер-таблицы и FK-поля детальных таблиц построены на одном домене на базе INTEGER Код: sql 1.
Есть шанс, что FW=ON предотвратит проблему? ... |
|||
:
Нравится:
Не нравится:
|
|||
20.06.2019, 14:33 |
|
FB3.0: Портятся индексы, невосстановимый бекап
|
|||
---|---|---|---|
#18+
arni, не зная причины проблемы могу только гадать. Вероятность есть. ... |
|||
:
Нравится:
Не нравится:
|
|||
22.06.2019, 22:42 |
|
FB3.0: Портятся индексы, невосстановимый бекап
|
|||
---|---|---|---|
#18+
Прошла неделя, и опять то же самое: gbak stderrgbak:cannot commit index FK2_IZD_ITEM_1C_DETAIL gbak: ERROR:violation of FOREIGN KEY constraint "FK2_IZD_ITEM_1C_DETAIL" on table "IZD_ITEM_1C_DETAIL" gbak: ERROR: Foreign key reference target does not exist gbak: ERROR: Problematic key value is ("IZD_ITEM_ID" = 1289536462) gbak: activating and creating deferred index FK1_CUT_ITEM gbak:cannot commit index FK1_CUT_ITEM gbak: ERROR:violation of FOREIGN KEY constraint "FK1_CUT_ITEM" on table "CUT_ITEM" gbak: ERROR: Foreign key reference target does not exist gbak: ERROR: Problematic key value is ("IZD_ITEM_ID" = 1289536462) gfix logPPS Wed Jun 26 21:58:35 2019 Database: ORMA4 Validation started PPS Wed Jun 26 21:59:40 2019 Database: ORMA4 Error: Data page 1985819 {sequence 217819} marked as secondary but contains primary record versions in table IZD_ITEM (136) PPS Wed Jun 26 21:59:40 2019 Database: ORMA4 Warning: Pointer page 967433 {sequence 133} bits {0x08 secondary} are not consistent with data page 1985819 {sequence 217819} state {0x00 } in table IZD_ITEM (136) PPS Wed Jun 26 21:59:40 2019 Database: ORMA4 Error: Data page 1988055 {sequence 217887} marked as secondary but contains primary record versions in table IZD_ITEM (136) PPS Wed Jun 26 21:59:40 2019 Database: ORMA4 Warning: Pointer page 967433 {sequence 133} bits {0x08 secondary} are not consistent with data page 1988055 {sequence 217887} state {0x00 } in table IZD_ITEM (136) PPS Wed Jun 26 22:29:02 2019 Database: ORMA4 Validation finished: 2 errors, 2 warnings, 4 fixed Решил поработать на FW=ON и понаблюдать что получится. ... |
|||
:
Нравится:
Не нравится:
|
|||
26.06.2019, 22:37 |
|
FB3.0: Портятся индексы, невосстановимый бекап
|
|||
---|---|---|---|
#18+
arni, какая архитектура сервера (SS\CS\SC) ? Можно выделить какой-то регулярный шаблон работы с этой таблицей ? Селекты интересуют в меньшей степени. ... |
|||
:
Нравится:
Не нравится:
|
|||
27.06.2019, 01:21 |
|
FB3.0: Портятся индексы, невосстановимый бекап
|
|||
---|---|---|---|
#18+
arni, понаблюдал ? ... |
|||
:
Нравится:
Не нравится:
|
|||
21.10.2019, 21:59 |
|
FB3.0: Портятся индексы, невосстановимый бекап
|
|||
---|---|---|---|
#18+
hvlad, после перевода на FW=on полный порядок. и просадки перфоманса не заметил. ... |
|||
:
Нравится:
Не нравится:
|
|||
22.10.2019, 21:42 |
|
FB3.0: Портятся индексы, невосстановимый бекап
|
|||
---|---|---|---|
#18+
arniпосле перевода на FW=on полный порядок. и просадки перфоманса не заметил. Ну как не вспомнить - Волга впадает в Каспийское море. Это не персональный наезд, честное слово. Просто - мало-мальски поевшие собак люди говорили это ещё когда сервер на Pentium 90 был топовой экстравагантной штучкой... ... |
|||
:
Нравится:
Не нравится:
|
|||
22.10.2019, 23:07 |
|
FB3.0: Портятся индексы, невосстановимый бекап
|
|||
---|---|---|---|
#18+
arni, спасибо за инф-цию ... |
|||
:
Нравится:
Не нравится:
|
|||
22.10.2019, 23:15 |
|
FB3.0: Портятся индексы, невосстановимый бекап
|
|||
---|---|---|---|
#18+
hvladспасибо за инф-цию то есть, КГ/АМ ? При FW=OFF кэш пишется хер знает как, и Автор получает то, что иМел в виду. А при FW=ON всё записывается в базу как положено, соответственно, никаких проблем нет? Что-то я не верю во всё это. У arni тогда должны были быть ресеты при FW=OFF. И в этом случае он сам себе долбоклюй (извините за выражение, но так оно и есть). Однако, по предыдущему соообщению я вижу, что записи попадают на secondary page без всякого ресета. И отлавливать надо именно это. Разве нет? ... |
|||
:
Нравится:
Не нравится:
|
|||
22.10.2019, 23:55 |
|
FB3.0: Портятся индексы, невосстановимый бекап
|
|||
---|---|---|---|
#18+
kdv, кто сказал, что проблем нет ? ... |
|||
:
Нравится:
Не нравится:
|
|||
23.10.2019, 01:11 |
|
FB3.0: Портятся индексы, невосстановимый бекап
|
|||
---|---|---|---|
#18+
hvlad, откуда ж я знаю. трамблема и так есть (с путаницей secondary и primary). ... |
|||
:
Нравится:
Не нравится:
|
|||
23.10.2019, 12:17 |
|
FB3.0: Портятся индексы, невосстановимый бекап
|
|||
---|---|---|---|
#18+
arni, надеюсь, это наконец-то исправлено в 3.0.8 см https://github.com/FirebirdSQL/firebird/issues/7044 ... |
|||
:
Нравится:
Не нравится:
|
|||
17.11.2021, 13:04 |
|
|
start [/forum/topic.php?fid=40&msg=40112516&tid=1559889]: |
0ms |
get settings: |
10ms |
get forum list: |
16ms |
check forum access: |
3ms |
check topic access: |
3ms |
track hit: |
29ms |
get topic data: |
11ms |
get forum data: |
2ms |
get page messages: |
49ms |
get tp. blocked users: |
1ms |
others: | 241ms |
total: | 365ms |
0 / 0 |