Добрый день.
После небольшого крэша виртуальной машины получается следующее. База вроде нормально работает, но иногда отваливается.
Проверка реорганизацией показала, что не находит какого-то объекта при перестроении индекса (ошибка выделена жирным). Потом восстанавливает себя и вроде как всё работает, но случаются редкие отключения. Как выяснить, что это за объект и его пофиксить? Пока нет времени на остановленном индексе пускать db2dart

<sup>2020-11-09-20.20.18.679000+180 E86019F546 LEVEL: Warning
PID : 2588 TID : 1140 PROC : db2syscs.exe
INSTANCE: DB2 NODE : 000 DB : ROS
APPHDL : 0-1170 APPID: *LOCAL.DB2.201109171502
AUTHID : DB2ADMIN
EDUID : 1140 EDUNAME: db2agent (ROS)
FUNCTION: DB2 UDB, data management, sqldIndexCreate, probe:1
MESSAGE : ADM5541W Rebuilding index with IID "1" in object with ID "318" and
table space ID "2" on table "PAYBUH .BUHDIVDELIVERY".

2020-11-09-20.21.34.027000+180 I86567F449 LEVEL: Error
PID : 2588 TID : 3484 PROC : db2syscs.exe
INSTANCE: DB2 NODE : 000 DB : ROS
APPHDL : 0-1225 APPID: *LOCAL.DB2.201109172132
AUTHID : DB2ADMIN
EDUID : 3484 EDUNAME: db2agent (ROS)
FUNCTION: DB2 UDB, data management, sqldGetTablePools, probe:12248
MESSAGE : Table (pool:2;obj:145) not found.

2020-11-09-20.21.34.027000+180 I87018F898 LEVEL: Error
PID : 2588 TID : 3484 PROC : db2syscs.exe
INSTANCE: DB2 NODE : 000 DB : ROS
APPHDL : 0-1225 APPID: *LOCAL.DB2.201109172132
AUTHID : DB2ADMIN
EDUID : 3484 EDUNAME: db2agent (ROS)
FUNCTION: DB2 UDB, data management, sqldGetTablePools, probe:5
CALLSTCK:
[0] 0x0000000180110116 pdLog + 0x350
[1] 0x0000000002049F0D sqltLogCallStack + 0x25
[2] 0x0000000002040D1A sqldGetTablePools + 0x45E
[3] 0x0000000002029BA3 sqldCheckPools + 0x89
[4] 0x00000000020291BE sqldLockTable + 0x21E
[5] 0x0000000002028C33 sqldLockTableFixTCB + 0x16B1
[6] 0x0000000001FCFC68 sqldGetTableData + 0x48C
[7] 0x00000000042717B9 atmTableInfoReq + 0x30D
[8] 0x00000000042713D0 atmDATableInfoReq + 0x13A
[9] 0x000000000426F258 atmAPI + 0x9C

2020-11-09-20.21.35.775000+180 I87918F3890 LEVEL: Severe
PID : 2588 TID : 3484 PROC : db2syscs.exe
INSTANCE: DB2 NODE : 000 DB : ROS
APPHDL : 0-1225 APPID: *LOCAL.DB2.201109172132
AUTHID : DB2ADMIN
EDUID : 3484 EDUNAME: db2agent (ROS)
FUNCTION: DB2 UDB, data management, sqldGetTableData, probe:157
MESSAGE : ZRC=0x8704007A=-2029780870=SQLD_REC_DELETED "DELETED RECORD ID"
DATA #1 : Pool ID, PD_TYPE_SQLB_POOL_ID, 2 bytes
2
DATA #2 : objectID, PD_TYPE_SQLD_OBJECT_ID, 2 bytes
0x0091
DATA #3 : objectClass, PD_TYPE_SQLD_OBJECT_CLASS, 1 bytes
SQLB_PERMANENT
DATA #4 : Hexdump, 528 bytes
0x0000000B710CC9C0 : 6800 0000 0000 0000 0000 0000 0000 0000 h...............
0x0000000B710CC9D0 : 0000 0000 0000 0000 0000 0000 0000 0000 ................
0x0000000B710CC9E0 : 0000 0000 0000 0000 0000 0000 0000 0000 ................
0x0000000B710CC9F0 : 0000 0000 0000 0000 0000 0000 0000 0000 ................
0x0000000B710CCA00 : 0000 0000 0000 0000 0000 0000 0000 0000 ................
0x0000000B710CCA10 : 0000 0000 0000 0000 0000 0000 0000 0000 ................
0x0000000B710CCA20 : 0000 0000 0000 0000 0000 0000 0000 0000 ................
0x0000000B710CCA30 : 0000 0000 0000 0000 0000 0000 0000 0000 ................
0x0000000B710CCA40 : 0000 0000 0000 0000 0000 0000 0000 0000 ................
0x0000000B710CCA50 : 0000 0000 0000 0000 0000 0000 0000 0000 ................
0x0000000B710CCA60 : 0000 0000 0000 0000 0000 0000 0000 0000 ................
0x0000000B710CCA70 : 0000 0000 0000 0000 0000 0000 0000 0000 ................
0x0000000B710CCA80 : 0000 0000 0000 0000 0000 0000 0000 0000 ................
0x0000000B710CCA90 : 0000 0000 0000 0000 0000 0000 0000 0000 ................
0x0000000B710CCAA0 : 0000 0000 0000 0000 0000 0000 0000 0000 ................
0x0000000B710CCAB0 : 0000 0000 0000 0000 0000 0000 0000 0000 ................
0x0000000B710CCAC0 : 0000 0000 0000 0000 0000 0000 0000 0000 ................
0x0000000B710CCAD0 : 0000 0000 0000 0000 0000 0000 0000 0000 ................
0x0000000B710CCAE0 : 0000 0000 0000 0000 0000 0000 0000 0000 ................
0x0000000B710CCAF0 : 0000 0000 0000 0000 0000 0000 0000 0000 ................
0x0000000B710CCB00 : 0000 0000 0000 0000 0000 0000 0000 0000 ................
0x0000000B710CCB10 : 0000 0000 0000 0000 0000 0000 0000 0000 ................
0x0000000B710CCB20 : 0000 0000 0000 0000 0000 0000 0000 0000 ................
0x0000000B710CCB30 : 0000 0000 0000 0000 0000 0000 0000 0000 ................
0x0000000B710CCB40 : 0000 0000 0000 0000 0000 0000 0000 0000 ................
0x0000000B710CCB50 : 0000 0000 0000 0000 0000 0000 0000 0000 ................
0x0000000B710CCB60 : 0000 0000 0000 0000 0000 0000 0000 0000 ................
0x0000000B710CCB70 : 0000 0000 0000 0000 0000 0000 0000 0000 ................
0x0000000B710CCB80 : 0000 0000 0000 0000 0000 0000 0000 0000 ................
0x0000000B710CCB90 : 0000 0000 0000 0000 0000 0000 0000 0000 ................
0x0000000B710CCBA0 : 0000 0000 0000 0000 0000 0000 0000 0000 ................
0x0000000B710CCBB0 : 0000 0000 0000 0000 0000 0000 0000 0000 ................
0x0000000B710CCBC0 : 0000 0000 0000 0000 0000 0000 0000 0000 ................
CALLSTCK:
[0] 0x0000000180110116 pdLog + 0x350
[1] 0x0000000001FD0B0C sqldGetTableData + 0x1330
[2] 0x00000000042717B9 atmTableInfoReq + 0x30D
[3] 0x00000000042713D0 atmDATableInfoReq + 0x13A
[4] 0x000000000426F258 atmAPI + 0x9C
[5] 0x000000000325B185 sqlrr_atm + 0x85
[6] 0x00000000042721C4 atmAPIEntry + 0x7E
[7] 0x0000000002266DE1 sqlerKnownProcedure + 0xCA1
[8] 0x000000000223E97A sqlerCallDL + 0x86E
[9] 0x00000000023CDB96 sqljs_ddm_excsqlstt + 0xA10

2020-11-09-20.21.35.853000+180 I91810F471 LEVEL: Severe
PID : 2588 TID : 3484 PROC : db2syscs.exe
INSTANCE: DB2 NODE : 000 DB : ROS
APPHDL : 0-1225 APPID: *LOCAL.DB2.201109172132
AUTHID : DB2ADMIN
EDUID : 3484 EDUNAME: db2agent (ROS)
FUNCTION: DB2 UDB, global services, sqlzeMapZrc, probe:45
MESSAGE : ZRC=0x8704007A=-2029780870=SQLD_REC_DELETED "DELETED RECORD ID"</sup>

Добавлю, после неудачной реорганизации и статистики, локальный оффлайн бэкап проходит успешно и даже успешно проверяется. Но вот онлайн бэкап с логами последний раз уходил на TSM аж 31.10 так что восстанавливать из него и накатывать логи очень долго. Нет ресурса времени.

При выполнении статистики падает на таблице и дальше нет соединения

RUNSTATS ON TABLE PAYSTAT.EDVSTATNAME ON ALL COLUMNS AND SAMPLED DETAILED INDEXES ALL ALLOW WRITE ACCESS SET PROFILE

SQL2310N Программа не может составить статистику. Возвращен код ошибки

"-1034".



RUNSTATS ON TABLE PAYSTAT.EDVSTATSETUP ON ALL COLUMNS AND SAMPLED DETAILED INDEXES ALL ALLOW WRITE ACCESS SET PROFILE

SQL1024N Отсутствует соединение с базой данных. SQLSTATE=08003



RUNSTATS ON TABLE KL.EK ON ALL COLUMNS AND SAMPLED DETAILED INDEXES ALL ALLOW WRITE ACCESS SET PROFILE

SQL1024N Отсутствует соединение с базой данных. SQLSTATE=08003



RUNSTATS ON TABLE CS.ENTERLOG ON ALL COLUMNS AND SAMPLED DETAILED INDEXES ALL ALLOW WRITE ACCESS SET PROFILE

SQL1024N Отсутствует соединение с базой данных. SQLSTATE=08003

Как бы пометить db2dart индексы этих таблица как невалидные и дропнуть, а потом пересоздать? Структура базы есть.

В таблицах на которой падает реорганизация и на которой статистика по одному индексу. Табличное пространство большое, разрешено восстановление отброшенной таблицы, контейнеры существующие. Может попробовать на тестовой машине их просто дропнуть (и если будут ещё падучие дропнуть и их) и потом пересоздать индексы?

Сейчас комплекс работает, но вот периодически в логе читаем например такое:

2020-11-10-09.01.34.209000+180 E1239246F845 LEVEL: Warning
PID : 4768 TID : 3464 PROC : db2syscs.exe
INSTANCE: DB2 NODE : 000 DB : ROS
APPHDL : 0-1503 APPID: 10.67.0.13.50356.201110060202
AUTHID : DB2ADMIN
EDUID : 3464 EDUNAME: db2agent (ROS)
FUNCTION: DB2 UDB, catalog services, sqlrlrci_all, probe:100
MESSAGE : ADM9510W An error (sqlcode "-902") occurred which prevented the
completion of the index rebuild process. Any invalid indexes that
have not been rebuilt when the process terminated will be recreated
on the first table access. The index rebuild process was invoked
either during an explicit or implicit restarting of the database, or
at the end of the HADR takeover.


То есть он всё же при обращении к таблице пытается восстановить индексы и не может. Получается их надо помечать как инвалидные или вообще дропать и создавать?

Chumakov_JA,

Если бы. тут проблема в RETCODE : ZRC=0x8704007A=-2029780870=SQLD_REC_DELETED "DELETED RECORD ID"

https://www.cursor-distribution.de/en/component/ibmbuglist/?view=bugdetail&get_bug=IT11482

Я тут бессилен, решает ТП, ждём.