Гость
Map
Форумы / Informix [игнор отключен] [закрыт для гостей] / IDS12.10FC1 Linux :: Никто не сталкивался с багами при Update Statistics for procedure? / 22 сообщений из 22, страница 1 из 1
16.09.2014, 12:09
    #38747672
vvt1
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
IDS12.10FC1 Linux :: Никто не сталкивался с багами при Update Statistics for procedure?
Коллеги!
Ни кто случаем не сталкивался с мертвым повисанием сервера при исполнении UPDATE STATISTICS FOR PROCEDURE <procname>?
У меня что-то стабильно стало. Вобщем 1 из 5 раз только нормально проходит.

Платформа: Linux
Дистрибутив: Red Hat Enterprise Linux Server release 6.5 (Santiago)
СУБД: 12.10FC1

Процедур немного, 12553. Чисто пользовательские, не системные.
Вначале грешил на распараллеливание задачи в 10 потоков, но потом и при исполнении в лоб по-одной, тот же результат.
Проявляется тем, что все замирает. Навечно.
Не отрабатываются onmode, dbaccess и коннекты к БД. Отрабатывает только onstat.
В таком состоянии onmode -ky также отрабатывает в 1 случае из 5.


Я поймал этот эффект на двух инсталляциях одной и той же БД на 12-м Informix. Разные по мощности сервера, разные СХД. Все базы были загружены через dbimport.

При этом UPDATE STATISTICS <LOW, MEDIUM, HIGH> FOR TABLE - даже в многопоточке, отрабатывают нормально. Вообще без проблем.
...
Рейтинг: 0 / 0
16.09.2014, 12:31
    #38747716
vvt1
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
IDS12.10FC1 Linux :: Никто не сталкивался с багами при Update Statistics for procedure?
Опишу буквально вот вчерашние эксперименты.

Для чистоты, выбрал все пользовательские (не системные) процедуры в БД:
Код: sql
1.
2.
3.
4.
UNLOAD TO user_proc.unl
      SELECT procname FROM sysprocedures
      WHERE MODE NOT IN ('P','p','o','r','d') {no system procedures}
      ORDER BY 1;



Подчистил файл user_proc.unl убрав разделитель полей. В этом файле в каждой строке - имя процедуры. Все.
Сформировал запрос и удалил все процедуры из БД:
Код: powershell
1.
cat user_proc.unl | awk '{print "echo \"DROP PROCEDURE "$1"\" | dbaccess invest98"}' | sh



Зачем я это сделал? От безысходности. Я предполагал, что у меня процедуры были загружены в БД с установленной PDQPRIORITY=100. Естественно, что у меня все процедуры и grant exec есть.

Дальше, остановил сервер СУБД. Выставил PDQPRIORITY=0 и запустил СУБД.
Загрузил процедуры.
Остановил СУБД. Разименовал переменную, просто сделав unset PDQPRIORITY. Запустил СУБД.

Для чистоты эксперимента, сделал полный UPDATE STATISTICS для таблиц БД. По скрипту от Shulzhenko.

Сформировал строку для исполнения UPDATE STATISTICS для процедур, чтоб в единицу времени исполнялась одна процедура ( немного поправлю её для того чтобы влезла, т.е. сделаю её многострочной ):
Код: powershell
1.
2.
3.
4.
time cat user_proc.unl | \
awk '{print "echo \"Procedure: "$1"\"; echo \"SET PDQPRIORITY 0; \
UPDATE STATISTICS FOR PROCEDURE "$1";\" | dbaccess invest98"}' | \
tee upgr_proc.log | sh > >(tee stdout.log) 2> >(tee stderr.log >&2)



Сделал 4 эксперимента. Все 4-е стабильных подвисания, снять которые по onmode -ky удалось один раз, остальные - только через pkill -9 oninit .

До этого эксперимента, висло на разных процедурах, однако вот вчера устойчиво наблюдал три раза повисание на одной процедуре, посмотрю её сегодня отдельно, но кажется, что это не причина.
Да и прошлые разы у меня два раза из 6 таки прошел UPDATE STATISTICS... С чем было связано, я не нашел.
...
Рейтинг: 0 / 0
16.09.2014, 16:06
    #38748101
vvt1
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
IDS12.10FC1 Linux :: Никто не сталкивался с багами при Update Statistics for procedure?
Вроде как есть Informix_Enterprise_12.10.FC4_LIN-x86_64_FixPack от June 19, 2014.

Странно, что я его раньше не заметил.

Попробую с ним.
...
Рейтинг: 0 / 0
16.09.2014, 16:39
    #38748176
victor16
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
IDS12.10FC1 Linux :: Никто не сталкивался с багами при Update Statistics for procedure?
vvt1,

лучше поставить сразу 12.10.FC4W1
в 12.10.FC4 есть баг, не позволяющий стартовать сервер на raw devices
...
Рейтинг: 0 / 0
16.09.2014, 16:46
    #38748192
vvt1
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
IDS12.10FC1 Linux :: Никто не сталкивался с багами при Update Statistics for procedure?
victor16,

W - я так понимаю, это WorkGroup?
У нас в паспортадвантаже нет такой версии.
Я вместо фикса сразу решил качнуть: IBM Informix Enterprise Edition V12.10.FC4 Linux x86 64 English(CN0CPEN)

C RAW грустно, если так.
...
Рейтинг: 0 / 0
16.09.2014, 16:55
    #38748211
victor16
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
IDS12.10FC1 Linux :: Никто не сталкивался с багами при Update Statistics for procedure?
vvt1У нас в паспортадвантаже нет такой версии.
попробуйте на FixCentral
...
Рейтинг: 0 / 0
16.09.2014, 17:01
    #38748217
vvt1
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
IDS12.10FC1 Linux :: Никто не сталкивался с багами при Update Statistics for procedure?
victor16,
Ага, понял. Спасибо. Поставил на закачку.
Однако, не знал, что есть такой на IBM. Да еще и свежайшие фиксы от 11 сентября.

Если я так правильно понял, то fix я могу сразу накатить на IDS12.10.FC1, не устанавливая предварительно поверх IDS12.10.FC4?
...
Рейтинг: 0 / 0
16.09.2014, 17:17
    #38748247
victor16
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
IDS12.10FC1 Linux :: Никто не сталкивался с багами при Update Statistics for procedure?
vvt1Если я так правильно понял, то fix я могу сразу накатить на IDS12.10.FC1, не устанавливая предварительно поверх IDS12.10.FC4?
В принципе, да. Однако IBM рекомендует ставить в отдельный каталог, куда потом копируются старые конфигурационные файлы.
Это делается с целью упрощения возврата к предыдущей версии, если что-то в процессе обновления пошло не так.
...
Рейтинг: 0 / 0
16.09.2014, 22:45
    #38748504
IDS12.10FC1 Linux :: Никто не сталкивался с багами при Update Statistics for procedure?
vvt1victor16,
W - я так понимаю, это WorkGroup?

Нет. FC4W1 это как бы уже и не FC4, но ещё и не FC5 - W1 это первое дополнение FC4, потом может быть W2 и так далее.
...
Рейтинг: 0 / 0
17.09.2014, 04:34
    #38748643
DrGonzo
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
IDS12.10FC1 Linux :: Никто не сталкивался с багами при Update Statistics for procedure?
vvt1,

Навскидку похожих дефектов найти не смог. Если переход на 12.10.FC4W1 проблемы не решит, обратитесь в поддержку. Учитывая, что проблема стабильно воспроизводится, должны разобраться достаточно быстро.
...
Рейтинг: 0 / 0
17.09.2014, 11:41
    #38748933
яфшуеі
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
IDS12.10FC1 Linux :: Никто не сталкивался с багами при Update Statistics for procedure?
Есть ли в теле проблемной процедурі обращение к другим серверам ?
Если есть, то при отсутвии доступа вполне возможно такое проявление.
...
Рейтинг: 0 / 0
17.09.2014, 12:31
    #38748986
vvt1
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
IDS12.10FC1 Linux :: Никто не сталкивался с багами при Update Statistics for procedure?
яфшуеі,

Нет, процедура локальная. Т.е. явных обращений в коде нет к другим БД или серверам.
...
Рейтинг: 0 / 0
17.09.2014, 13:07
    #38749043
яфшуеі
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
IDS12.10FC1 Linux :: Никто не сталкивался с багами при Update Statistics for procedure?
а что нити в єто время делают?
...
Рейтинг: 0 / 0
17.09.2014, 13:15
    #38749056
vvt1
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
IDS12.10FC1 Linux :: Никто не сталкивался с багами при Update Statistics for procedure?
яфшуеіа что нити в єто время делают?

Это, через onstat -g ath ?
...
Рейтинг: 0 / 0
17.09.2014, 13:43
    #38749098
Daugava
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
IDS12.10FC1 Linux :: Никто не сталкивался с багами при Update Statistics for procedure?
vvt1,

собственно такого бага не наблюдал, но на очень многих версиях от 7.2 до 10.00.UC6 у меня бывали падения сервера c руганью на mutex при выполнении "update statistics for procedure". Падений стало значительно меньше после того, как я стал по возможности паузить (не информиксными методами) другие задачи в момент сбора статистики.
...
Рейтинг: 0 / 0
17.09.2014, 14:11
    #38749140
яфшуеі
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
IDS12.10FC1 Linux :: Никто не сталкивался с багами при Update Statistics for procedure?
vvt1,

для начало достаточно по onstat -g ses <sid> глянуть чем они заняті
...
Рейтинг: 0 / 0
17.09.2014, 14:17
    #38749155
vvt1
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
IDS12.10FC1 Linux :: Никто не сталкивался с багами при Update Statistics for procedure?
яфшуеідля начало достаточно по onstat -g ses <sid> глянуть чем они заняті

Жаль не сохранил.
Там только одна сессия сбора.
Всякие умные вещи, типа автоапдейта - я выключил.

Сейчас ставлю 12.10.FC4W1, потом пройдусь по ней и посмотрю, чем оно занято при провисании.
...
Рейтинг: 0 / 0
17.09.2014, 14:18
    #38749158
vvt1
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
IDS12.10FC1 Linux :: Никто не сталкивался с багами при Update Statistics for procedure?
Daugava,

да на сервере, только моя сессия. Больше никого. По mtex.c обычно оно в online пишет и af-ку создает с дампом.
Тут без каких-либо признаков.
...
Рейтинг: 0 / 0
17.09.2014, 16:20
    #38749371
Daugava
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
IDS12.10FC1 Linux :: Никто не сталкивался с багами при Update Statistics for procedure?
Сейчас припомнил, что была похожая проблема на 7.xx версии еще в 90-х. В ночь перед стартом системы у заказчика в момент накатывания апгрейда сервер залипал. В итоге расколупали, что виноват update statistic по конкретной процедуре. Ее пересоздали и все завелось. Возможно у вас подобная проблема. Т.е. стоит разложить один "update statisctic for procedure" на 12553 выражения.

P.S. Перечитал тред, забыл, что вы это уже сделали. Думаю стоит копать ее на предмет чего угодно, у меня как-то была проблема из-за наличия какого-то спецсимвола, занесенного "левой" тулзой при редактировании.
...
Рейтинг: 0 / 0
17.09.2014, 17:13
    #38749461
vvt1
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
IDS12.10FC1 Linux :: Никто не сталкивался с багами при Update Statistics for procedure?
Перешел на IBM Informix Dynamic Server Version 12.10.FC4W1 .
Пока из 5-ти запусков в один поток (в один раз один updstat for procedure) все 5-ть закончились благополучно.

Сейчас проверю с распараллеливанием на 10 потоков, думаю, что тоже должно жить хорошо.

Скорее всего наступили на какую-нибудь скрытую багу FC1, которая проявляется при определенных сочетаниях...
...
Рейтинг: 0 / 0
17.09.2014, 17:43
    #38749507
vvt1
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
IDS12.10FC1 Linux :: Никто не сталкивался с багами при Update Statistics for procedure?
Sorry, что тут спрошу, но вот что-то странное поймал OPTIMIZING STORAGE:
Код: plaintext
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
25.
26.
27.
28.
29.
30.
31.
32.
33.
IBM Informix Dynamic Server Version 12.10.FC4W1 -- On-Line -- Up 04:29:59 -- 6219656 Kbytes

session           effective                            #RSAM    total      used       dynamic 
id       user     user      tty      pid      hostname threads  memory     memory     explain 
117073   informix -         -        0        -        1        94208      90552      off 

Program :
-

tid      name     rstcb            flags    curstk   status
117151   StorageM 565e7828         ---PR--  10688    IO Wait-

Memory pools    count 1
name         class addr              totalsize  freesize   #allocfrag #freefrag 
117073       V     86069040         94208      3656       70         7         

name           free       used           name           free       used      
overhead       0          3288           scb            0          144       
opentable      0          3792           filetable      0          568       
log            0          16536          temprec        0          4256      
keys           0          208            ralloc         0          17288     
gentcb         0          1600           ostcb          0          2944      
sqscb          0          18496          sql            0          72        
hashfiletab    0          552            osenv          0          1272      
sqtcb          0          7792           fragman        0          336       
compression    0          11408          

sqscb info
scb              sqscb            optofc   pdqpriority optcompind  directives
5708e368         8ad46028         0        0           2           1         

Sess       SQL            Current            Iso Lock       SQL  ISAM F.E. 
Id         Stmt type      Database           Lvl Mode       ERR  ERR  Vers  Explain    
117073     OPTIMIZING STORAGE invest98           CR  Not Wait   0    0    -     Off


Что это за зверь и чем это может быть плохо?

В логах оставляет такие записи:
Код: plaintext
1.
2.
17:36:12  SCHAPI Estimate Compression for invest98:"informix".xq_izv3 started
17:36:13  SCHAPI Estimate succeeded for index 'invest98:"informix".xq_izv3' partnum 400368.
17:36:13  admin_fragment_command('fragment estimate_compression ','4195176') succeeded


По-теме.
Запущенный в 10 параллельных потоков UPDATE STATISTICS FOR PROCEDURE - отрабатывает без виса...
Видимо с одной проблемой разрешилось.
...
Рейтинг: 0 / 0
17.09.2014, 18:54
    #38749589
Daugava
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
IDS12.10FC1 Linux :: Никто не сталкивался с багами при Update Statistics for procedure?
http://www-01.ibm.com/support/docview.wss?uid=swg21377085

Informix designed an inventive compression technique in the Storage Optimization feature for reducing the size of relational data. Using this new technique, Informix can compress data much more efficiently than usual compression techniques available in the market. The storage optimization feature reduces storage requirements, improves I/O efficiency, and provides quicker data access from the disk.

Вообщем все так хорошо, что только успевай на хлеб намазывать.
...
Рейтинг: 0 / 0
Форумы / Informix [игнор отключен] [закрыт для гостей] / IDS12.10FC1 Linux :: Никто не сталкивался с багами при Update Statistics for procedure? / 22 сообщений из 22, страница 1 из 1
Целевая тема:
Создать новую тему:
Автор:
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]