Сервер IBM Informix Dynamic Server Version 10.00.UC6W5
Ошибка Assert Failed: Unexpected virtual processor termination, pid = 1155, exit = 0xf

05:07:52 Who: Session(2, informix@, 0, (nil))
Thread(8, soctcppoll, 0, 1)
File: mt.c Line: 13237
05:07:52 Stack for thread: 8 soctcppoll

base: 0x5f55d000
len: 36864
pc: 0x087a9c5b
tos: 0x5f564f54
state: running
vp: 1

0x087a9c5b (oninit)afstack (0x5f4e6c78, 0x482, 0x5f565224, 0x33b5, 0x0, 0x4)
0x087a9439 (oninit)afhandler(0x3, 0x5f5657b4, 0x0, 0x0, 0x601, 0x1)
0x087a895c (oninit)afcrash_interface(0x5f5657b4, 0x0, 0x0, 0x8b47002, 0x33b5, 0x0)
0x08786a8a (oninit)vp_child_handler(0x11, 0x5f565860, 0x5f5658e0, 0x11, 0x0, 0x2)
0x0086a890 </lib/tls/libpthread.so.0>(null)(0xadb8, 0x80cd00, 0x5f565fd8, 0x86a890, 0xe, 0x5f565c10
)
0x08783aab (oninit)slave_alarm_handler(0xe, 0x5f565c10, 0x5f565c90, 0xe, 0x0, 0x80)
0x0086a890 </lib/tls/libpthread.so.0>(null)(0x0, 0x5f4e6c78, 0x7, 0x0, 0x0, 0x0)
0x08789834 (oninit)startup (0x18, 0x5f56c018, 0x5f559fe0, 0x6018, 0xbeacc011, 0x0)
0x00000000 (*nosymtab*)0x0

Проявляться начала с 6 октября, на данный момент это уже пятое падение.
Переодичность: 06.10, 22.10, 03.11, 6.12, 19.12

Ошибка одинаковая во всех случаях. В конфигурации железа ничего не менялось, так же не менялась конфигурация Информикса.
Падение всегда проихсодит в промежуток времени с 04:29 до 05:12. В данный момент времени на сервере ничего не происходит. В кронтабе специально поставил на время 04:28 писать onstat -a.

В приложении предыдущие два аф.файла и за сегодня onstat -a перед падением.

Предыдущий файл за 19.12.2009, этот за 06.12.2009

Кусок из онстата перед падением.

Userthreads
address flags sessid user tty wait tout locks nreads nwrites
5ef2f018 ---P--D 1 root - 0 0 0 20693 1135433
5ef2f544 ---P--F 0 root - 0 0 0 0 7904435
5ef2fa70 ---P--F 0 root - 0 0 0 0 318015
5ef2ff9c ---P--F 0 root - 0 0 0 0 937
5ef304c8 ---P--F 0 root - 0 0 0 0 0
5ef309f4 ---P--F 0 root - 0 0 0 0 0
5ef30f20 ---P--F 0 root - 0 0 0 0 0
5ef3144c ---P--F 0 root - 0 0 0 0 0
5ef31978 ---P--F 0 root - 0 0 0 0 0
5ef31ea4 ---P--F 0 root - 0 0 0 0 0
5ef323d0 ---P--F 0 root - 0 0 0 0 0
5ef32e28 ---P--- 12 root - 0 0 0 0 1305
5ef33354 Y--P--D 15 root - 5f53dea8 0 0 4287 14866
5ef342d8 ---P--D 14063 root - 0 0 0 0 0
5ef34d30 ---P--D 26 root - 0 0 0 13 10
5ef3525c Y--P--D 28 root - 44080800 0 0 0 0
7078ebe8 ---P--B 125960 root - 0 0 0 79231 1014
37593234 ---P--D 14064 root - 0 0 0 0 0
18 active, 640 total, 577 maximum concurrent

Transactions
address flags userthread locks beginlg curlog logposit isol retrys coord
5ef59018 A---- 5ef2f018 0 0 9107 0x1272018 COMMIT 0
5ef59220 A---- 5ef2f544 0 0 0 0x0 COMMIT 0
5ef59428 A---- 5ef2fa70 0 0 0 0x0 COMMIT 0
5ef59630 A---- 5ef2ff9c 0 0 0 0x0 COMMIT 0
5ef59838 A---- 5ef304c8 0 0 0 0x0 COMMIT 0
5ef59a40 A---- 5ef309f4 0 0 0 0x0 COMMIT 0
5ef59c48 A---- 5ef30f20 0 0 0 0x0 COMMIT 0
5ef59e50 A---- 5ef3144c 0 0 0 0x0 COMMIT 0
5ef5a058 A---- 5ef31978 0 0 0 0x0 COMMIT 0
5ef5a260 A---- 5ef31ea4 0 0 0 0x0 COMMIT 0
5ef5a468 A---- 5ef323d0 0 0 0 0x0 COMMIT 0
5ef5a878 A---- 5ef32e28 0 0 0 0x0 COMMIT 0
5ef5aa80 A---- 5ef33354 0 0 8773 0x5358 COMMIT 0
5ef5b2a0 A---- 5ef34d30 0 0 0 0x0 COMMIT 0
5ef5b6b0 A---- 5ef3525c 0 0 0 0x0 COMMIT 0
5ef5dd48 A---- 5ef342d8 0 0 0 0x0 COMMIT 0
8261a5a8 A---- 7078ebe8 0 0 0 0x0 COMMIT 0
a50c3258 A---- 37593234 0 0 0 0x0 COMMIT 0
18 active, 1152 total, 1059 maximum concurrent

Latches with lock or userthread set
name address lock wait userthread

Locks
address wtlist owner lklist type tblsnum rowid key#/bsiz
0 active, 100000 total, 32768 hash buckets, 0 lock table overflows
Buffers
address userthread flgs pagenum memaddr nslots pgflgs xflgs owner waitlist

Buffer pool page size: 2048
0 modified, 200000 total, 262144 hash buckets, 2048 buffer size

АнатоЛой, Какой кусок нужен? За какой период времени??? Час, сутки, неделя? Или весь лог за это время?

Ниже лог за последние 12 часов работы сервера.

17:51:46 Maximum server connections 555
17:53:20 Checkpoint Completed: duration was 4 seconds.
17:53:20 Checkpoint loguniq 9100, logpos 0x1165244, timestamp: 0xd00c573f

...

23:42:47 listener-thread: err = -25580: oserr = 4: errstr = : System error occurred in network function.
System error = 4.
23:45:04 Shutdown Mode
23:45:05 Quiescent Mode
23:45:06 On-Line Mode
23:45:28 Checkpoint Completed: duration was 0 seconds.
23:45:28 Checkpoint loguniq 9102, logpos 0x79f018, timestamp: 0xd026a1a2

23:45:28 Maximum server connections 555
23:45:47 listener-thread: err = -25580: oserr = 4: errstr = : System error occurred in network function.
System error = 4.

...

01:09:46 listener-thread: err = -25580: oserr = 4: errstr = : System error occurred in network function.
System error = 4.
01:12:41 Checkpoint Completed: duration was 0 seconds.
01:12:41 Checkpoint loguniq 9107, logpos 0x1272018, timestamp: 0xd0329b09

01:12:41 Maximum server connections 555

...

05:06:44 listener-thread: err = -25580: oserr = 4: errstr = : System error occurred in network function.
System error = 4.
05:07:52 Assert Failed: Unexpected virtual processor termination, pid = 1155, exit = 0xf

05:07:52 IBM Informix Dynamic Server Version 10.00.UC6W5
05:07:52 Who: Session(2, informix@, 0, (nil))
Thread(8, soctcppoll, 0, 1)
File: mt.c Line: 13237
05:07:52 stack trace for pid 1154 written to /Buffer/tmp/af.3f04386
05:07:52 See Also: /Buffer/tmp/af.3f04386, shmem.3f04386.0
05:12:24 mt.c, line 13237, thread 8, proc id 1154, Unexpected virtual processor termination, pid = 1155, exit = 0xf
.
05:12:28 The Master Daemon Died
05:12:28 PANIC: Attempting to bring system down

Прокомментирую сразу вот такие строки.


После того как начались падения сервера, попросил админов чтобы сделали проверку на наличие жизни в инфориксе, они просто пытаются открыть порт который слушает информикс, если открывается значит он жив, если нет, значит начинают спамить СМСками меня.

АнатоЛойBoyaАнатоЛой, Какой кусок нужен? За какой период времени??? Час, сутки, неделя? Или весь лог за это время?


АнатоЛой
Де кусок online.log хотя бы между двумя падениями ?


Да, таки весь лог между двумя падениями... Между какими конкретно - тут уж на ваше усмотрение, хотя хотелось бы за то время, когда ещё не было бомбардировки со стороны админов... Только, пожалуйста, в аттач... Ну почему af-ки догадались упаковать и прикрепить, а с логом так нельзя, а? Состояние аффекта? Так вроде ещё рано...

Может быть потому что лог за такой период времени достаточно большой? :)

Первый кусок лога.

Второй кусок лога.

Изучил детально лог за первое полугодие. Обнаружил что ранее были падения с такой же ошибкой, но повторялись они реже.
21 апреля в 4:18
27 июня в 04:09
и затем только 6 октября.