pstack
1.
2.
3.
4.
5.
#0 0x000000325c8d6397 in semop () from /lib64/libc.so.6
#1 0x0000000001096993 in P ()
#2 0x0000000001097168 in idle_processor ()
#3 0x00000000010a38ca in startup ()
#4 0x0000000000000000 in ?? ()
Т.к. нить не находится в состоянии running, использовать pstack или onmode -X не нужно.
onmode -X дало пусто. у него в хелпе даже ключа такого нет.
"onmode -X stack <номер VP>" сохраняет стек в файл - проверьте лог, там должно быть что-то типа:
stack trace for pid <PID> written to <имя файла>
Яковлев Павел
onstat -g stk
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
0x0000000001090cb9 (oninit) yield_processor_mvp
0x000000000109256d (oninit) mt_yield
0x00000000010ad8b7 (oninit) mt_aio_wait
0x00000000010afef3 (oninit) mt_aio_start
0x00000000010c815b (oninit) mt_aio_fread
0x000000000087b187 (oninit) scread
0x000000000087f206 (oninit) dbcreate
0x000000000062abd6 (oninit) aud_dbcreate
0x00000000009fcd4e (oninit) excommand
0x00000000008d0beb (oninit) sq_execute
0x000000000098c716 (oninit) sqmain
0x00000000011565b7 (oninit) spawn_thread
0x00000000010a38ca (oninit) startup
По-хорошему надо собирать набор стеков с интервалом секунд в 5 - ну чтобы убедиться, что затык именно в этом контексте. Но предположим, что это именно так.
Конкретно данный стек говорит о том, что нить занимается созданием системного каталога. А точнее, хочет прочитать $INFORMIXDIR/etc/boot*.sql файл - запрос на чтение ушел к AIO VP, и нить "отдыхает" в ожидании данных.
Теперь, посмотрите на это:
AIO I/O queues:
q name/id len maxlen totalops dskread dskwrite dskcopy
fifo 0 0 0 0 0 0 0
drda_dbg 0 0 0 0 0 0 0
sqli_dbg 0 0 0 0 0 0 0
kio 0 0 97 271415488 265771982 5643506 0
kio 1 0 96 227052370 221310410 5741960 0
kio 2 0 89 193821546 188481299 5340247 0
kio 3 0 96 230928080 225027325 5900755 0
kio 4 0 118 209941739 204116166 5825573 0
kio 5 0 92 175250252 169940212 5310040 0
kio 6 0 94 149339764 143989597 5350167 0
kio 7 0 91 175761296 170102731 5658565 0
kio 8 0 96 101813114 96709351 5103763 0
kio 9 0 95 149871490 144246592 5624898 0
kio 10 0 95 123926988 118749124 5177864 0
kio 11 0 94 125228875 119640898 5587977 0
adt 0 0 0 0 0 0 0
msc 0 0 58 42154126 0 0 0
aio 0 195 2315 34890959 9004434 2 0
<...>
Cтрочка для aio - текущая длина очереди 195, максимальная - 2315! Это дофига и явно указывает на проблему с AIO.
Если не совсем ясно, поясню. Для чанков у вас используется KAIO, что хорошо и правильно. Но при создании базы Informix читает некоторые файлы из $INFORMIXDIR/etc - чтение файлов происходит через AIO.
На данный момент все выглядит так, что запросов для AIO сильно больше, чем AIO VPs могут обслужить.
AUTO_AIOVPS у вас включено или нет?
