|
"Подвисает" OLTP на IDS 7.31. Чем (и как) узнать причину?
|
|||
---|---|---|---|
#18+
IDS admin onconfig (одинаковый для обоих серверов приложил) Очень надеюсь, что он действительно одинаковый. И что в нём актуальное состояние параметров. 1. onconfig ROOTNAME rootdbs # Root dbspace name ROOTSIZE 2000000 # Size of root dbspace (Kbytes) PHYSDBS rootdbs # Location (dbspace) of physical log LOGFILES 184 # Number of logical log files LOGSIZE 256000 # Logical log size (Kbytes) Что-то у меня подозрение, что onstat -d и onstat -l покажут, что логические журналы сидят в rootdbs... Давайте их (onstat) тоже сюда. ROOTSIZE уж больно большой. Читайте про перенос физического и логического журнала в другие dbspace. ... |
|||
:
Нравится:
Не нравится:
|
|||
17.06.2009, 11:42 |
|
"Подвисает" OLTP на IDS 7.31. Чем (и как) узнать причину?
|
|||
---|---|---|---|
#18+
IDS admin А почему тогда зависания не наблюдаются, когда на Secondary проходит менее длительный чекпойнт? Например, когда он был Код: plaintext
я бы, ради эксперимента, увеличил это значение до 30 : Код: plaintext
... и посмотрел бы, кореллирует ли оно с длительностью чекпойнта, при котором наблюдается зависание. ... |
|||
:
Нравится:
Не нравится:
|
|||
17.06.2009, 11:44 |
|
"Подвисает" OLTP на IDS 7.31. Чем (и как) узнать причину?
|
|||
---|---|---|---|
#18+
Мой имхо: "onstat -a" с обоих серверов - и сюда в аттач, или этот процесс растянется на месяц :) ... |
|||
:
Нравится:
Не нравится:
|
|||
17.06.2009, 11:50 |
|
"Подвисает" OLTP на IDS 7.31. Чем (и как) узнать причину?
|
|||
---|---|---|---|
#18+
profile конечно хорошо но, как говорил ДАО нужен хотя бы onstat -u в сосент трабл А вообще в вашем случае начинать нужно : onstat -u onstat -g lmx onstat -g wmx onstat -g act onstat -g ath | grep netnorm sar . iostat . vmstat в момент трабл с основного и репл. а потом уже идти дальше. Также, 1. трабла со всеми видами коннектов или только с сетевыми? 2. в момент трабл на основном сервере - на репликационном как работается? Насколько помню. на СКО была трабла с КАИО. Если у вас не используется КАИО - попробуйте увеличитть количетсво АИО (может вы просто переросли старые настройки) - увеличить иногда нужно в разы ... |
|||
:
Нравится:
Не нравится:
|
|||
17.06.2009, 11:52 |
|
"Подвисает" OLTP на IDS 7.31. Чем (и как) узнать причину?
|
|||
---|---|---|---|
#18+
onconfig CLEANERS 8 # Number of buffer cleaner processes #LRUS 64 # Number of LRU queues LRUS 256 непонятный дисбаланс между CLEANERS и LRUS. CLEANERS могут "не успевать". П.С.: На будущее - комментируя старое значение параметра в onconfig - ставьте также дату время(а иногда и (с) - если есть вероятность правки конфига разными людьми): Код: plaintext 1. 2. 3. 4. 5. 6. 7. 8. 9. 10.
Приведённые рекомендации приблизительны - всё-таки не хватает разных onstat для проверки предположений, а также нужны следить и после изменения параметров... ... |
|||
:
Нравится:
Не нравится:
|
|||
17.06.2009, 12:15 |
|
"Подвисает" OLTP на IDS 7.31. Чем (и как) узнать причину?
|
|||
---|---|---|---|
#18+
onconfig PHYSBUFF 32 # Physical log buffer size (Kbytes) Поднимите PHYSBUFF до 128. ... |
|||
:
Нравится:
Не нравится:
|
|||
17.06.2009, 12:27 |
|
"Подвисает" OLTP на IDS 7.31. Чем (и как) узнать причину?
|
|||
---|---|---|---|
#18+
И про чанки всё таки подробнее хотелось бы... onstat -d уже просили. Можно и onstat -D. ... |
|||
:
Нравится:
Не нравится:
|
|||
17.06.2009, 12:28 |
|
"Подвисает" OLTP на IDS 7.31. Чем (и как) узнать причину?
|
|||
---|---|---|---|
#18+
Приложил onstat -a с обоих серверов. На самом деле это не так легко как может показаться )) Сейчас пробую сделать по совету АнатоЛой. ... |
|||
:
Нравится:
Не нравится:
|
|||
17.06.2009, 12:31 |
|
"Подвисает" OLTP на IDS 7.31. Чем (и как) узнать причину?
|
|||
---|---|---|---|
#18+
не влез onstat -a с Sec сервера, прикладываю тут ... |
|||
:
Нравится:
Не нравится:
|
|||
17.06.2009, 12:33 |
|
"Подвисает" OLTP на IDS 7.31. Чем (и как) узнать причину?
|
|||
---|---|---|---|
#18+
АнатоЛой, Спасибо за совет. Но изменения CLEANERS = 32 LRU = 32 PHYSBUFF = 128 ничего не дали. Чекпойнты отрабатывают ровно столько же времени, что и раньше автор12:52:46 Checkpoint Completed: duration was 1 seconds. 12:53:19 Checkpoint Completed: duration was 4 seconds. 12:54:02 Checkpoint Completed: duration was 14 seconds. 12:54:24 Checkpoint Completed: duration was 5 seconds. 12:55:01 Checkpoint Completed: duration was 10 seconds. 12:55:28 Checkpoint Completed: duration was 8 seconds. 12:55:57 Checkpoint Completed: duration was 5 seconds. 12:56:29 Checkpoint Completed: duration was 6 seconds. 12:57:01 Checkpoint Completed: duration was 8 seconds. 12:57:32 Checkpoint Completed: duration was 7 seconds. ... |
|||
:
Нравится:
Не нравится:
|
|||
17.06.2009, 13:02 |
|
"Подвисает" OLTP на IDS 7.31. Чем (и как) узнать причину?
|
|||
---|---|---|---|
#18+
IDS admin, ещё раз читайте про вынос физического и логического журналов из rootdbs в отдельные dbspace - и жедательно на разных дисках... Вариант от svat2 с DRINTERVAL не проверяли? ... |
|||
:
Нравится:
Не нравится:
|
|||
17.06.2009, 13:47 |
|
"Подвисает" OLTP на IDS 7.31. Чем (и как) узнать причину?
|
|||
---|---|---|---|
#18+
АнатоЛой, логические журнал в отдельном DBSpace. DRINTERVAL по совету svat2 поменял (только на Secondary) , не изменилось ничего. Вынос физического журнала в отдельный DBspace не делал (не могу класть Primary). Зачем, кстати, это нужно? ... |
|||
:
Нравится:
Не нравится:
|
|||
17.06.2009, 14:22 |
|
"Подвисает" OLTP на IDS 7.31. Чем (и как) узнать причину?
|
|||
---|---|---|---|
#18+
Тааак... Похоже на Secondary сдохла батарейка на контроллере... Мой хвалёный кеш на запись не пашет. Во время каждого checkpoint'а на Secondary некоторые диски грузятся на 100 %, а процессор ожидает ВВ: Вот запись из online.log: Код: plaintext
А вот sar -u за этот период: Код: plaintext 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13. 14. 15. 16. 17. 18. 19. 20. 21. 22. 23. 24. 25. 26. 27. 28. 29. 30. 31. 32. 33. 34. 35. 36. 37. 38. 39. 40. 41. 42. 43. 44. 45. 46. 47. 48. 49. 50. 51. 52. 53. 54. 55. 56. 57. 58. 59. 60.
Это может быть причиной? ... |
|||
:
Нравится:
Не нравится:
|
|||
17.06.2009, 15:19 |
|
"Подвисает" OLTP на IDS 7.31. Чем (и как) узнать причину?
|
|||
---|---|---|---|
#18+
АнатоЛойvasilisПоддерживаю Александра. Инициируется КТ, все транзакции приостанавливаются, но алгоритм старых версий IDS не может приостановить ВСЕ текущие транзакции - продолжает работать та, в которой выполняется "критическая секция кода" (по доке). IDS adminТакие вещи происходят до 10 раз в сутки. В online.log только записи о КТ (0-2 сек), окончании очередного журнала и о бекапе журналов (2-7 сек). vasilis, а что, в этом случае длительность КТ измеряется от момента начала непосредственно записи на диск, а не от момента начала всего процесса? Или делаем допуск на недостаточную внимательность IDS admin при чтении online.log? Скорее всего, именно от начала всего процесса, но, возможно, и по другому. Увидеть такие задержки в КТ можно по показателю ckpwaits (кол-во, но не длительность). ... |
|||
:
Нравится:
Не нравится:
|
|||
17.06.2009, 15:31 |
|
"Подвисает" OLTP на IDS 7.31. Чем (и как) узнать причину?
|
|||
---|---|---|---|
#18+
АнатоЛойIDS adminНе могу понять, почему чекпойнты на read-only сервере дольше чем на основном. да и 22 секунды - это как то очень круто. Время окончания совпадает с временем "отвисания". И длительность похожа. Может как-то связано... Таки Александр и vasilis были правы. Дальше нужно разбираться с железом, ОС и конфигом secondary... Насчет нашей правоты я бы не торопился :) Я то думал на первичный сервер, а вот с секондари все может быть значительно сложнее. Никогда ранее плотно не мониторил вторичные сервера и поэтому для меня там много непонятного. И длинные КТ на вторичном сервере могут быть следствием как первичного сервера, так и внутренних собственных процессов. ... |
|||
:
Нравится:
Не нравится:
|
|||
17.06.2009, 15:36 |
|
"Подвисает" OLTP на IDS 7.31. Чем (и как) узнать причину?
|
|||
---|---|---|---|
#18+
IDS adminА почему тогда зависания не наблюдаются, когда на Secondary проходит менее длительный чекпойнт? очень логичный вопрос и ответ на него может сильно приблизить к решению проблемы. ... |
|||
:
Нравится:
Не нравится:
|
|||
17.06.2009, 15:42 |
|
"Подвисает" OLTP на IDS 7.31. Чем (и как) узнать причину?
|
|||
---|---|---|---|
#18+
IDS admin DRINTERVAL по совету svat2 поменял (только на Secondary) , не изменилось ничего. ...мда: "залил бензин в Жигули, не изменилось ничего: Москвич все равно не заводится" :) ... |
|||
:
Нравится:
Не нравится:
|
|||
17.06.2009, 15:55 |
|
"Подвисает" OLTP на IDS 7.31. Чем (и как) узнать причину?
|
|||
---|---|---|---|
#18+
IDS adminА разве КТ на Secondary сервере влияет на работу Primary? Ведь на Primary все КТ проходят быстро, а не 2-25 сек, как на Secondary. Включенный HDR влияет достаточно сильно на оба сервера (особенно под хорошей нагрузкой) и в обе стороны. К тому же, если включена синхронная репликация, то сервера просто вынуждены все время согласовывать свои действия (точнее, первичный поджидает вторичный). IDS adminКак сделать периодический просмотр блокировок или запрос по ожиданиям на блокировках по таблицам? ) Пользуетесь OnManager от Дениса Журавлева ? http://myinformix.narod.ru/ Или можно использовать готовые запросы (их довольно много в DBA_Tools http://www.ifolder.ru/f46081 Вот парочка старых, которые работали на 7.31 (для sysmaster): Locks waiting list (блокировки, которые кто-то ждет) Код: plaintext 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13. 14. 15. 16.
Waiters of locks (те, кто ждет блокировки) Код: plaintext 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13. 14. 15. 16. 17. 18.
... |
|||
:
Нравится:
Не нравится:
|
|||
17.06.2009, 16:09 |
|
"Подвисает" OLTP на IDS 7.31. Чем (и как) узнать причину?
|
|||
---|---|---|---|
#18+
svat2IDS admin DRINTERVAL по совету svat2 поменял (только на Secondary) , не изменилось ничего. ...мда: "залил бензин в Жигули, не изменилось ничего: Москвич все равно не заводится" :) Залью бензин в Москвич, при следующем ребуте )) ... |
|||
:
Нравится:
Не нравится:
|
|||
17.06.2009, 16:34 |
|
"Подвисает" OLTP на IDS 7.31. Чем (и как) узнать причину?
|
|||
---|---|---|---|
#18+
2 vasilis Спасибо, буду проверять. ... |
|||
:
Нравится:
Не нравится:
|
|||
17.06.2009, 16:42 |
|
"Подвисает" OLTP на IDS 7.31. Чем (и как) узнать причину?
|
|||
---|---|---|---|
#18+
АнатоЛой"onstat -p" мы так и не увидели :) :(. Конфиги с обоих серверов тоже. Стесняетесь? Боитесь? ОК. :( Безопасность в банках иногда зверствует :) Т.ч. человека понять можно, наверное и под гостевым аккаунтом не зря заходит :) И хотя данные IDS Admin предоставляет, я бы все же рекомендовал ему имена серверов заменять (как и др. конкретную специфику, по которой можно однозначно идентифицировать место работы). ... |
|||
:
Нравится:
Не нравится:
|
|||
17.06.2009, 17:00 |
|
"Подвисает" OLTP на IDS 7.31. Чем (и как) узнать причину?
|
|||
---|---|---|---|
#18+
IDS admin Предполагаю, что это из-за CKPTINTVL = 0. Хотя судя по документации IBMСервер баз данных также может производить обработку контрольных точек при других условиях, например, когда физический журнал заполнится на 75 процентов. но интервал в обеих IDS строго 30 секунд. Особенность 7.31? Никакой особенности здесь нет. 30 сек - минимальный интервал. При CKPTINTVL = 0 сервер. вроде, должен вообще перестать проверять время и инициировать КТ только по другим событиям. Но это не есть хорошо. С лишком частые КТ дают большую нагрузку на систему (вся работа, выполняемая сервером во время КТ описана в доке). Я бы очень рекомендовал установить хотя бы 5 мин. на первичном сервере. Если длительность этих значительно более редких КТ будет в пределах 1-2 сек, то еще увеличить до 10-15 мин. Если длительности КТ увеличаться, то регулировать уже LRU_MAX_DIRTY и LRU_MIN_DIRTY. Кстати, физ журнал в 32М для нагруженной системы это ОЧЕНЬ мало - очень вероятно переполнение физжурнала (тех самых 25% остатка может не хватить в случае выполнения "критической секции кода"), а это чревато серьезным сбоем и восстановлением системы с бэкапа. Нужно обязательно сделать что то типа 512М в отдельном дбпространстве. ... |
|||
:
Нравится:
Не нравится:
|
|||
17.06.2009, 17:28 |
|
"Подвисает" OLTP на IDS 7.31. Чем (и как) узнать причину?
|
|||
---|---|---|---|
#18+
АлексанПотому что сервер не настроен; Полностью поддержу - такое впечатление, что после начальной установки (поставили какие-то старые параметры с другого сервака) никто больше настройкой не занимался и под конкретную систему ничего не тьюнил. Алексан Ещё и NUMAIOVPS не установлен - по-умолчанию используется 4 AIO VPs, кажется...). Насколько помню, если NUMAIOVPS не установлен (для Unix систем) то устанавливается двойное кол-во активных чанков. И слишком большое кол-во (в данном случае кажется 128) тоже ничего хорошего не принесет - дисков то все равно на порядок меньше. Я увидел довольно много различий между установленными параметрами в onconfig и реально действующими в системе. Поетому, если можно - выполните запрос на предмет определения разницы DIFFERENCE list Original and Effective ONCONFIG parameters Код: plaintext 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13. 14. 15. 16. 17.
... |
|||
:
Нравится:
Не нравится:
|
|||
17.06.2009, 17:39 |
|
"Подвисает" OLTP на IDS 7.31. Чем (и как) узнать причину?
|
|||
---|---|---|---|
#18+
IDS adminРазличие есть только дисковой подсистеме, на которых работает информикс: на Primary SAS и 256 МБ кеш на Secondary SCSII U320 и 512 МБ кеш. А проверьте целостность RAID-а на 2-м сервере. Посмотрите утилитой конфигурирования - может там диск вылетел и скорость записи резко упала ? Какая , кстати, она в чистом виде 2-кб блоками ? IDS adminНа обоих серваках по 8 Core 2. По 4 ГБ ОП. А почему же тогда Информикс использует менее 1Г ? Да и CPUVP можно и нужно больше устанавливать , а не 4. В системе явно видны очереди ожиданий... IDS admin Месяц назад текущий Secondary был Primary. Работал точно так же, как сейчас работает бывший Secondary. Тогда тем более удивительно. Нужно тщательно проанализировать, что за это время могло измениться в системе, начиная от железа, установки драйверов, плат, заканчивая апдейтами прикладной системы или добавлением филиала, например.[/quot] IDS adminonconfig (одинаковый для обоих серверов приложил) Дам рекомендации уже завтра - к сожвлению, сегодня уже нет времени :( ... |
|||
:
Нравится:
Не нравится:
|
|||
17.06.2009, 17:49 |
|
"Подвисает" OLTP на IDS 7.31. Чем (и как) узнать причину?
|
|||
---|---|---|---|
#18+
Устранил проблему с батарейкой кеша контроллера. Пока все ок, checkpoint'ы на Secondary стали проходят быстрее. Код: plaintext 1. 2. 3. 4. 5. 6. 7. 8.
но пока все равно через каждые 30 сек. Кстати, может кто и с HDR продскажет? Если Secondary вырубить на 1 час - накатываться до состояния Primary он будет 2 часа. В любом случае всем спасибо. За дальнейшие рекомендации по оптимизации буду очень признателен. ... |
|||
:
Нравится:
Не нравится:
|
|||
17.06.2009, 19:04 |
|
|
start [/forum/topic.php?fid=44&msg=36046322&tid=1607802]: |
0ms |
get settings: |
9ms |
get forum list: |
14ms |
check forum access: |
3ms |
check topic access: |
4ms |
track hit: |
47ms |
get topic data: |
14ms |
get forum data: |
3ms |
get page messages: |
69ms |
get tp. blocked users: |
2ms |
others: | 14ms |
total: | 179ms |
0 / 0 |